跳到正文

#教學/實務

RSS
今日 0 則
11月14日週六
  1. Anthropic Research72

    Anthropic 說明如何設計更可靠的 AI 安全評測

    要判斷 AI 模型是否安全,不能只看一個分數,因為測驗可能問錯問題、被模型鑽漏洞,或漏掉真實對話中的風險。Anthropic 根據自家經驗整理做法:先說清楚要測什麼,再找領域專家設計貼近真實情況的多輪對話,並用明確規則評分。像是遇到自傷風險時,只看模型有沒有拒答並不夠,也要看它是否有同理地回應並引導使用者尋求真人協助。評分工具也要拿人工判斷來核對,並公開測試設定和結果的不確定範圍,讓其他人知道分數能說明什麼。

    推薦理由:Anthropic整理安全評測從設計、評分到報告的做法,說明如何避免測錯問題,並讓結果更貼近模型在真實對話中的表現。

  2. AWS Machine Learning Blog74

    AWS SageMaker HyperPod 示範如何用線上資料找出模型盲點並微調

    新產品上市後,分類模型可能沒有對應的類別,讓客服工單被分錯或只能送進通用佇列。AWS 示範用 SageMaker HyperPod Data Capture 把線上請求與回答存到 S3,再用 Athena 找出新產品造成的分類變化,透過 SQL 規則整理訓練資料,並在同一個叢集上微調模型。示範使用合成資料;測試集準確率從 83.9% 提升到 100%,但手寫測試為 20/24,也暴露出模型把「提到產品名稱」直接當成產品分類的問題。文章提醒,完整請求可能含個資,收集前應設定抽樣、加密與去識別處理。

    推薦理由:文章示範如何從線上請求找出新產品分類缺口,再用 SQL 標記資料並微調模型,呈現一套可重做的改善流程。

  3. Hugging Face Blog61

    Hugging Face 示範用 SimReady 資產在 Isaac Sim 模擬機械手臂夾取飲料罐

    機械手臂在畫面上看起來正常,不代表它在模擬中一定抓得住物品。Hugging Face 示範如何把 UR17G 手臂、Robotiq 2F-140 夾爪和飲料罐放進 Isaac Sim,先檢查關節設定、移動和接觸情況,再用 AI 助理協助組裝機器人並執行夾取、搬運和放下。範例使用固定起點和預先排好的動作,沒有使用視覺,也沒有測試不同位置或真實硬體,因此結果只適用於這套模擬設定。

    推薦理由:文章把模擬資產檢查、機械手臂組裝與夾取測試串成一套流程,也交代固定起點等假設,方便理解成果適用範圍。

  4. Meta Engineering75

    Meta 說明如何讓 Android Cuttlefish 在 Apple silicon 的 Mac 上執行

    Android 虛擬裝置原本只能在 Linux 上執行,使用 Mac 開發的人因此得在兩種模擬器之間切換,測試結果也可能和實際裝置有落差。Meta 調整 QEMU 和 Cuttlefish,讓它們能在 Apple silicon 的 macOS 上運作,也補上 Mac 原生畫面、觸控操作、建置與簽署支援。開發者因此能在 Mac 上使用較貼近實機的虛擬裝置,並與其他開發者及 CI 使用相同環境。Meta 已分享 QEMU 分支和 AOSP 修補檔供社群使用,也正在探索將改動送回上游。

    推薦理由:文章拆解 Cuttlefish 在 Apple silicon 上原生執行的主要改動,能幫助讀者理解 Linux 虛擬裝置框架移植到 macOS 時會遇到哪些工程問題。

11月13日週五
  1. Databricks Blog73

    Apache Spark Real-Time Mode 是什麼?如何讓串流資料更快處理

    資料要等到下一批才開始處理時,串流工作可能得花上一秒以上才有結果。Apache Spark 的 Real-Time Mode 會在資料一到就持續處理,沿用原本的查詢程式,讓不帶狀態的工作達到個位數毫秒延遲;有狀態的工作則約為 140 毫秒 p99。使用時要替所有處理階段預留運算資源,並用專屬延遲指標監控。它支援 Kafka 等來源與多種運算,但不能直接寫入 Delta 表;若工作可以等幾秒或幾分鐘,成本較低的微批次處理會更合適。

    推薦理由:文章整理 Real-Time Mode 的啟用條件、支援範圍與監控方式,能幫助團隊判斷哪些串流工作適合改用毫秒級處理。

  2. OpenRouter Announcements72

    RAG 重排教學:如何用 Reranker 修正錯誤檢索

    OpenRouter 說明如何在 RAG 向量搜尋後加入 Reranker,重新排序候選檔案,讓較可能包含答案的片段優先送入 LLM。

    推薦理由:文章以 274 題合成資料比較檢索與重排結果,並提供成本、延遲及候選資料,可作為設計自有 RAG 評測的參考。

  3. AWS Machine Learning Blog68

    Amazon Bedrock 推論成本調整指南:四項請求設定與測試方法

    Amazon Bedrock 說明如何透過調整快取期限、服務層級、推理努力程度與 maxTokens,測量推論成本及輸出變化。 - 快取期限:Claude Sonnet 5 與 Claude Opus 5 的快取讀取費率為輸入費率的 0.1 倍;在每小時至少三次請求、且請求間隔超過 5 分鐘的條件下,文中指出 1 小時快取可比不快取更省成本。

    推薦理由:文章以快取重用率、Flex 支援情況、推理努力程度與輸出上限為例,整理逐項測試成本並同步檢查品質的方法。

  4. AWS Machine Learning Blog74

    如何以 Amazon Bedrock 和 LiteLLM 建置自助式 LLM 閘道

    AWS 說明如何以 LiteLLM、AWS Fargate 與 Amazon Bedrock Application Inference Profiles 建置自助式 LLM 閘道,讓開發者透過 OpenAI 相容 API 使用模型,並管理個別使用者的成本與用量。

    推薦理由:文章以數百名開發者的部署經驗,說明閘道在成本控管、長請求逾時與跨區配額上的設定取捨,並提供可操作的配置範例。

  5. AWS Machine Learning Blog66

    AWS 說明如何降低 Amazon Bedrock 每項任務成本並衡量 Agent 投資報酬

    AWS 說明如何計算 Amazon Bedrock 的每項任務成本、降低 Agent 支出,並透過人工基準與對照實驗衡量投資報酬。 - 四項隱藏成本:Tokenizer 效率、輸出冗長程度、Agent 工具迴圈次數與推理開銷,都會影響實際任務成本。

    推薦理由:文章把模型成本拆解為 token 效率、輸出長度、工具迴圈與推理開銷,並提供以成功任務成本和人工基準衡量 Agent 投資報酬的實作框架。

  6. Vercel Blog76

    Vercel 教你如何測試 Agent 與其使用的軟體

    Vercel 說明如何用評測衡量 Agent 是否能正確完成使用者任務,並以咖啡訂單示範端到端評測的設計、執行與分析。 - 測試層級:依 LLM 呼叫次數分為確定性測試、單輪評測與端到端評測;若要檢查整個任務是否達成,端到端評測會在環境中執行完整流程,再驗證結果。

    推薦理由:文章以咖啡訂單示範如何設計端到端 Agent 評測,並說明成功率與 Pass^k 回答不同可靠性問題,協助團隊選擇合適指標。

  7. AWS Machine Learning Blog70

    如何使用 coding agent 將 Amazon Bedrock 知識庫遷移至 Managed Knowledge Base

    AWS 說明如何使用 Agent Toolkit for AWS 中的遷移指南,協助將 Amazon Bedrock 客戶管理知識庫遷移至 Managed Knowledge Base,並在切換流量前驗證檢索結果。

    推薦理由:文章將知識庫遷移拆成唯讀盤點、逐項審查計畫與核准後建置,並說明如何平行驗證檢索結果,提供可參照的遷移流程。

  8. AWS Machine Learning Blog66

    AWS 說明如何以 Agent DLC 將 AI 助理從原型推進至正式環境

    AWS 介紹 Agent Development Lifecycle(Agent DLC),以明確的驗收標準串起 AI 助理的建置、評估、發布與上線監測,並透過參考實作說明如何診斷失敗。

    推薦理由:文章以 HR 政策助理的實測說明,單看段落相關性可能漏掉檢索內容缺口,並整理出從定義標準到上線監測的評估流程。

  9. AWS Machine Learning Blog63

    Amazon Bedrock Managed Knowledge Base 如何為AI 助理工具實作細緻存取控制

    AWS 說明如何讓共用同一個AI 助理與知識庫的員工,只能搜尋自己獲準檢視的檔案,並以 Amazon Bedrock Managed Knowledge Base、AgentCore Gateway 和 MCP 工具示範實作方式。

    推薦理由:文章以共享知識庫的部門資料隔離為例,拆解工具層身分注入與資源層 ACL 過濾如何配合,並說明額外防線各自涵蓋的繞過路徑。

  10. AWS Machine Learning Blog68

    如何在 AWS 上以 A2A 建置可組合、可互通的多AI 助理系統

    AWS 示範如何透過 A2A,讓不同組織與框架建置的AI 助理跨帳戶協作,並以雙向 OAuth 驗證保護呼叫。 - 架構:LangChain 企業協調器透過 A2A 呼叫以 Strands Agents SDK 建置的 SaaS 合規AI 助理;SaaS AI 助理也會回呼企業情境AI 助理,取得帳戶中繼資料。

    推薦理由:文章以跨 AWS 帳戶部署示範 A2A 如何串接不同框架的AI 助理,並說明雙向 OAuth 與信任邊界的實作方式。

  11. Databricks Blog64

    Block 如何透過 Buzz 與 Unity Gateway 打造協作式 AI 助理

    Block 以開源協作空間 Buzz,讓員工與多個 AI 助理在同一環境中協作,並透過 Unity Gateway 存取不同模型。 - 協作方式:使用者可建立AI 助理、選擇其模型或 coding harness,並與同事在群組討論、專注對話或一對一交流中共同工作。

    推薦理由:文章以 Block 的 Buzz 為例,說明如何讓同事與多個 AI 助理在共享工作空間協作,並透過不同模型與 harness 配置探索任務效率與成本。

11月12日週四
  1. Hugging Face Blog74

    TRELLIS.2 3D 生成模型微調完整指南

    Hugging Face 提供 TRELLIS.2 微調指令碼與 Docker 容器,示範如何使用自備的 3D 資產訓練 LoRA,並可透過 Hugging Face Jobs 或本機執行。

    推薦理由:文章以鞋類資料集示範如何依任務需求選擇微調元件,並比較留出物件的幾何指標,呈現從資料準備到評估的可遷移流程。

  2. PyTorch Blog80

    PyTorch 與 TorchTitan 如何在歐洲公共基礎設施上訓練 1T 引數 MoE

    EUROPA consortium 說明如何運用 PyTorch 與 TorchTitan,在 JUPITER 超級電腦上將約 1T 引數的 MoE 預訓練吞吐量提升至每張 GPU 約 1,300 tokens/s。

    推薦理由:文章拆解了 PyTorch 與 TorchTitan 在共享超級電腦上的多項訓練調校,並以吞吐量變化呈現通訊、記憶體與計算重疊的影響。

  3. OpenRouter Announcements72

    OpenRouter 分析自架 LLM 與 API 的成本損益平衡

    OpenRouter 比較自架開放權重模型與 API 的成本,說明 GPU 負載、模型吞吐量和 API 價格如何影響損益平衡。資料以 2026 年 10 月 8 日價格計算,並提供零資料保留與區域路由的隱私選項。

    推薦理由:文章以同一組 token 組成比較 GPU 租用與 API 費用,並納入流量負載和每位使用者速度,呈現成本損益平衡的計算方式。

  4. OpenRouter Announcements73

    OpenRouter 教你如何評測 LLM,並比較 10 個模型的合成任務結果

    OpenRouter 說明如何用符合應用輸入與輸出格式的任務評測 LLM,並比較正確率、費用與請求時間;文中也公佈 10 個模型在 60 項合成任務上的結果。

    推薦理由:文章以可重現的合成任務示範如何同時檢查正確率、輸出格式、成本與回應時間,也揭示公開排名與特定工作負載結果可能不一致。

  5. OpenRouter Announcements78

    OpenRouter 教學:如何阻止 AI 助理陷入無限迴圈

    OpenRouter 說明如何用四種護欄阻止 AI 助理因工具呼叫失敗而持續重試,降低單次執行與多個工作階段累積的費用。 - 六個模型的測試:啟用 doom-loop detection 後,18 次測試中有 16 次在兩次實際工具呼叫後結束;工具呼叫總數從 314 降至 64,支出從 $0.29 降至 $0.05。

    推薦理由:文章以六個模型的測試說明重試護欄如何減少工具呼叫與支出,並整理單次執行和 API 金鑰層級的控管方式。

  6. AWS Machine Learning Blog76

    如何用反合一對形式化政策進行語意差異比對

    AWS 介紹如何用反合一比對形式化政策,將共通結構合併呈現,並把語意分歧標示為可審查的替代方案。 - 比對方式:引擎在 e-graph 中套用明確宣告的代數性質與領域改寫規則,忽略已涵蓋的表面差異;規則不足時,剩餘差異也可能只是尚未推導出的等價關係。

    推薦理由:文章以多種授權政策範例說明,如何用反合一定位形式化候選方案的語意分歧,並交由驗證、重播或人工審查處理。

  7. Databricks Blog63

    Databricks 說明如何偵測與處置憑證驅動的攻擊

    Databricks 說明如何從稽核紀錄辨識憑證遭竊後的連鎖活動,並調查、移除攻擊者建立的存取路徑。 - 六階段攻擊鏈:涵蓋使用有效憑證登入、盤點環境、竊取更多憑證、建立程式執行途徑、維持存取,以及收集資料與清理痕跡;攻擊事件可能非線性發生,應串連不同身分的活動判讀。

    推薦理由:文章以六階段攻擊鏈串連 Databricks 稽核事件,並說明如何用 Genie 調查、處置憑證遭竊後延伸出的存取路徑。