LangChain 說明如何以評測驅動開發改善 AI 助理
LangChain 說明如何透過評測驅動開發(EDD),在修改 AI 助理前先定義成功條件、建立評測,並比較每次變更的結果。 - 三個步驟:定義AI 助理應有的行為、先寫評測再開發,以及修改後比較實驗結果。
推薦理由:文章以新增 IT 工單工具為例,示範如何先定義行為、建立評測並比較實驗,找出平均分數掩蓋的回歸問題。
LangChain 說明如何透過評測驅動開發(EDD),在修改 AI 助理前先定義成功條件、建立評測,並比較每次變更的結果。 - 三個步驟:定義AI 助理應有的行為、先寫評測再開發,以及修改後比較實驗結果。
推薦理由:文章以新增 IT 工單工具為例,示範如何先定義行為、建立評測並比較實驗,找出平均分數掩蓋的回歸問題。
llama.cpp b12229 修正 OpenAI 相容 Chat Completions 端點處理 response_format 的 JSON Schema 問題:當 Schema 直接放在 response_format.schema 時,先前會被忽略,導致生成未受 Schema 約束。
Wiz 與 Sentra、Mandiant 發現,攻擊者於 2026 年 10 月 14 日至 26 日濫用與 Qubole 相關的 AWS 憑證,假冒受信任的跨帳戶角色進入多個客戶環境,列舉資源、取得設定與秘密、下載 S3 資料,並驗證找到的憑證。
推薦理由:事件顯示,第三方跨帳戶信任角色即使閒置仍可能遭濫用;文中提供 CloudTrail 搜尋線索與縮限信任、許可權及網路來源的防禦做法。
PyTorch 的 PR #201666 統一 CMake 建置選項的環境變數優先順序,讓所有轉送的變數都依同一規則套用,並在每次建置時重新生效。
團隊想了解 Athena 的查詢使用情況,常得從不同服務收集資料,還要自己維護整理流程。現在可啟用 Athena 系統表,讓跨工作組的查詢使用資料在查詢完成數分鐘內,以唯讀 Iceberg 表的形式存放在 Amazon S3 表類資料儲存服務中;保留期限也能自行設定。平臺團隊可直接用 SQL 搜尋、篩選和彙整資料,例如檢視各工作組、使用者或資料表掃描了多少資料,進一步整理成本。AWS 會管理表格結構與維護工作,資料也能交給支援 Iceberg 的工具查詢。系統表已在提供 Athena 和 Amazon S3 表類資料儲存服務的 AWS 區域推出。
Amazon DocumentDB 無伺服器版推出平臺版本 4,吞吐量最高可提升 35%。新建的無伺服器叢集會自動使用所在 AWS 區域提供的最新平臺版本;原本使用平臺版本 3 的叢集,則可透過待處理的維護操作升級,選擇立即更新或等到下次排定的維護時段。升級後無法退回舊版,因此管理者可以先安排更新時間,但要留意升級是單向的。
處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。
推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。
Databricks 推出 UCDataset Beta,讓 PyTorch 訓練工作直接從 Unity Catalog 表格串流資料至 GPU,省去匯出資料與撰寫自訂載入器的步驟。
推薦理由:UCDataset 直接從 Unity Catalog 表格串流資料至多 GPU 訓練;文中以 300 GB 特徵表的模擬工作負載比較 Parquet,呈現資料管線對訓練時間的影響。
ElevenLabs 推出 ElevenAgents Campaign Manager,可依聯絡人狀態持續追蹤與跟進,協助團隊推進外呼活動至指定結果。
推薦理由:Campaign Manager 將追蹤、重試、轉接與停止條件串成外呼流程,並提供聯絡人決策紀錄,呈現其如何管理整體活動進度。
AA-PersonalityBench 比較受測模型在 30 種人格特質上的百分位排名,發現真誠度高的模型通常較少產生灌水內容,創意度高的模型也往往更幽默。
Elith 與 NVIDIA 推出 Nemotron-Personas-Finance-Japan,以日本人口統計與家庭金融情境建立合成人物資料集,供金融 AI 開發與評估使用。
推薦理由:資料以日本官方統計為基礎,結閤家庭財務與金融素養資訊,提供金融 AI 開發與評估可用的合成資料。
Tripo 推出 Tripo App,讓使用者透過行動裝置從照片或文字生成 3D 內容,並可隨時編修與製作動畫。 後續流程:可匯出、列印,或在 Tripo Studio 繼續創作。
PyTorch 移除多項已棄用的公開 TorchScript API 及其測試,並調整 Python torch.load 對 TorchScript ZIP/模組封存檔的支援。
恭喜我們的朋友 @googlecloud 和 @AminVahdat!我們很榮幸能與你們合作,由 @AMD EPYC 擔任 TPU 8tx 的主機處理器。
需要處理大型工程問題時,工作可能跨好幾個程式碼庫,也不一定有清楚的邊界。Anthropic 推出 Claude Fable 5.2,並讓 AWS 客戶透過 Amazon Bedrock 和 AWS 雲端 Claude Platform 使用。它能連續工作數小時甚至數天,過程中自行測試,也會檢查難以重現的結果;Anthropic 表示,它在測試中曾協調數百個子助理。官方建議將它用於軟體工程、科學研究和金融工作。使用時也要留意,這款模型被列為需要保留資料以進行安全監控的模型;符合條件的客戶可使用零資料留存功能。
推薦理由:這次更新主打長時間自主處理大型工程問題,也延伸到科學研究與量化金融,可從中瞭解 Anthropic 建議的使用場景。
NVIDIA 在 CoRL 推出 GR00T 2、Isaac Lab 3.0、機器人模擬工具與評測基準,協助研究者訓練、評估並改善機器人精細操作能力。 - GR00T 2:在 50 項任務中,每項僅提供一次示範時平均成功率為 71%;提供五次示範時升至 95%。
推薦理由:NVIDIA 同步推出機器人模型、模擬工具與評測基準,文中提供訓練成功率、GPU 時間與吞吐量比較,可瞭解各工具如何支援精細操作訓練。
推薦理由:AutoRLBench 保留真實失敗訓練的程式碼、設定、紀錄與指標,可用來比較 10 個前沿AI 助理定位強化學習問題根因的能力差異。
Cloudflare 從 Vite Ecosystem Fund 發放首輪 $301,300,資助 Vite 生態系的 44 個專案與維護者。
推薦理由:Cloudflare 說明 AI 生成的 PR 增加維護者審查負擔,並以基金資助 Vite 生態系專案與維護者,呈現其支援開源永續的做法。
HOPE 是一種納入專家成對互動的 MoE 剪枝方法;在 3 個模型與多組基準測試中,它取得最佳整體排名,且在 50% 剪枝時優勢較明顯。 - 方法:HOPE 以校準資料計算專家互動矩陣,再透過二次規劃選出要移除的專家;作者提供校準、求解與剪枝工具。
推薦理由:HOPE 將專家間的成對互動納入剪枝決策,並以 50% 剪枝下的基準比較呈現這種方法在高剪枝率時的表現差異。
llama.cpp 在 b12224 修正後端行為,不再上傳沒有被讀取的輸入。 - 支援平臺與建置:發布專案列出 macOS、iOS、Linux、Android、Windows 與 openEuler 的建置版本,涵蓋 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等後端或加速選項。
Partner Communications 董事會通過發放 5 億新謝克爾特別股利,將以發行新債籌措資金;公司第三季營收與獲利指標也創下 14 年來新高。
Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出,這套分散式系統可透過單一 Python 使用者端描述訓練計算圖,由執行階段協調跨裝置工作。
推薦理由:文章說明 Pathways 如何以單一使用者端描述跨裝置的計算圖,並由執行階段安排資料傳遞與工作順序,呈現其相對於 SPMD 的執行方式差異。
每日論文雷達|2026-11-09
PyTorch 的 FSDP 改為在分片群組大小為 1 時,重用打包後的輸入作為 reduction 輸出,避免為不會執行 collective 的群組額外配置並複製梯度緩衝區。
PyTorch 調整 XPU 上 STFT 的 fp16 梯度比對容許誤差,移除原有的預期失敗標記,讓測試恢復涵蓋反向傳播。 - 原因與調整:前向輸出逐位元相同,差異出現在反向傳播的梯度加總順序。
NVIDIA 在與韓國科學技術資訊通訊部共同舉辦的 AI 新創合作論壇上,宣佈投資韓國新創 Point2,並規劃投資 Motif Technologies、RLWRLD 與 Upstage。
把 Workday 和 AWS 的資料放在一起分析,過去需要複製資料並維護 ETL 管線。現在,AWS 分析服務與 Workday Data Cloud 可直接查詢彼此的資料,不必搬動或複製資料,也會沿用兩邊原有的存取許可權。使用者可在 AWS 查詢 Workday 資料,也能在 Workday Analytics 查詢 AWS 的 Iceberg 資料表;例如把人力資料和業務資料連在一起,進行人才分析或人力規劃。這項整合已在提供 AWS Glue 的 AWS 商業區域推出。
現在,Amazon FSx 的檔案資料可以透過 S3 接入點,直接提供給使用 S3 的服務和程式使用,不必先搬動或複製資料。新增支援的範圍包括另外 4 個 AWS 區域的 FSx for NetApp ONTAP,以及另外 20 個區域的 FSx for OpenZFS。舉例來說,Amazon Bedrock 可以使用這些檔案資料提供回答所需的背景資訊,Amazon Athena 也能直接查詢同一份資料。這讓檔案留在原處,也能交給更多 AWS 工具使用。
以前,一個 VPC 只能連結一個 Route 53 Profiles 設定檔,所以負責 DNS 防火牆、私有託管區和轉送規則的不同團隊,都得把各自的設定放進同一個設定檔。現在,一個 VPC 可以連結多個設定檔,還能設定處理順序:Route 53 會先看優先順序數字較小的設定檔。這樣各團隊可以分開管理共用設定和團隊專用設定,不必把它們合在一起,也能配合最低許可權原則管理許可權。這項功能已在所有提供 Route 53 Profiles 的 AWS 區域推出,每個設定檔與 VPC 的連結都依標準價格計費。
在同一臺 EC2 上跑多個工作負載時,怎麼避免彼此影響,是多租戶和不受信任程式碼帶來的安全考量。AWS 推出 Nitro Sandboxes,讓 EKS 的容器組、ECS 的任務或輕量級虛擬機器,各自在 Nitro 硬體隔離的環境中執行;在 EKS 或 ECS 啟用只需改一行設定。工作負載也能透過加密認證確認隔離環境的完整性,再把機密資料交給它。這項服務可在多數 Nitro EC2 執行個體上使用,不另收費。
推薦理由:Nitro Sandboxes 為 EKS、ECS 工作負載提供各自的硬體隔離環境,也能在 EC2 上自行管理,適合評估不受信任程式碼的執行方式。
需要 GPU 和 EFA 的 Kubernetes 工作負載,得找到符合裝置條件的執行個體才能運作。Amazon EKS 自動模式和 Karpenter 現在支援動態資源分配(DRA),可依 GPU 或 EFA 的型號、架構等條件提出需求,再由 Karpenter 啟動符合條件且成本最低的 Amazon EC2 執行個體。執行分散式訓練或推論時,也能指定彼此拓撲相配的 GPU 和 EFA;Amazon EKS 自動模式還會避免使用 DRA 的工作負載與使用同類裝置外掛程式的工作負載共用節點。這項支援已在 AWS GovCloud(美國)和中國以外的 AWS 區域推出;EKS 自動模式需使用 Kubernetes 1.36 或更新版本。
NVIDIA 發布針對韓國多款開放模型的 Dynamo 部署配方,協助將模型部署至多節點環境中的 NVIDIA GPU。 - 涵蓋模型:SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2,以及 Motif Technologies 的 Motif-3。
NVIDIA、Rebellions 與 SK Telecom宣佈合作,將 Rebellions 的 R200 NPU、NVIDIA NVLink Fusion 與 MGX 機架架構整合至韓國主權 AI 基礎設施。
NVIDIA 與韓國科學技術情報通訊部(MSIT)擴大主權 AI 合作,範圍涵蓋 AI 半導體、資料中心基礎設施、人才、新創公司、模型、AI 助理與安全。
NVIDIA 正與韓國產業領導者合作,將加速運算、AI 與模擬應用於半導體製造、自動駕駛和機器人,推動實體 AI 從開發走向實際生產。
Dasha 1.10 為 PostgreSQL 叢集效能儀錶板新增 Patroni 自動探索、即時等待事件分析與複寫槽失效預測。 - 叢集探索:可從 etcd v3 或 Consul 讀取 Patroni 資訊,自動建立叢集並呈現成員與資料庫;DCS 僅供讀取,也支援顯示主從叢集關聯。
高盛 近期因資安與合規疑慮,撤回非工程師對 Claude Code 的使用許可權;同時消費級腦波耳機被曝暗中蒐集 EEG 資料訓練大模型。