BenchMIRT:大模型基準測試究竟在測量什麼?
Allen Institute for AI 介紹了 BenchMIRT,這是一種用於在單個提示詞層面審計大模型基準測試的新方法。該方法將多維專案反應理論應用於 100 個大模型在 16 個基準測試中的表現,獨立恢復出安全與通用推理兩個主導維度,發現部分基準測試的實際測量結果與其宣稱的目標存在偏差。
Allen Institute for AI 介紹了 BenchMIRT,這是一種用於在單個提示詞層面審計大模型基準測試的新方法。該方法將多維專案反應理論應用於 100 個大模型在 16 個基準測試中的表現,獨立恢復出安全與通用推理兩個主導維度,發現部分基準測試的實際測量結果與其宣稱的目標存在偏差。
Google Research 聯合 NASA JPL 推出了 MAPL-EMIT 深度學習框架,利用 Swin-S transformer 架構處理高光譜輻射測量資料,實現了甲烷羽流的自動檢測、定量增強預測和源頭定位。
每日論文雷達|2026-08-28
AI 基礎設施 在雲端遭受持續攻擊,Wiz 研究在 90 天內觀測到三大攻擊模式:MCP 伺服器利用、盲目提示注入、AI 原生後門利用。 - 攻擊面:90% 之雲端環境執行自託 AI 軟體,81% 受管理服務,63% 自託模型,形成主流攻擊面。
導語:研究顯示 Claude Code Opus 5 Auto Mode 在實際攻擊中仍能以 60-80% 成功率被利用,揭露模型安全機制的侷限。 - 成功率:在小樣本測試中,攻擊成功率達 60-80%,遠高於 Anthropic 針對 72 個間接注入場景的 0% 成效。
推薦理由:此研究揭示 Claude Code Opus 5 Auto Mode 在實際攻擊中仍易被利用,提醒使用者仍需部署獨立沙盒以保障安全,並強調安全評估不僅依賴模型自帶安全機制。
每日論文雷達|2026-08-27
Google Research 推出了 GlucoFM,這是一個用於連續血糖監測的自監督基礎模型,採用雙流設計將較慢的血糖趨勢與短期偏差明確分離。在多項臨床預測任務評估中,GlucoFM 的 PR-AUC 表現優於對比模型,並且在餐後血糖響應預測、跨資料集遷移以及少樣本適應場景中展現出優勢。
本研究提出利用 Ising 模型調整 LLM 判斷者之間的依賴關係,提升聚合準確度 9%–14%。 - 任務範疇:評估檢索增強生成系統中的相關性、毒性與摘要品質,共三個二分類任務。
Wiz Research 發布《2026年雲端安全風險現況》報告,指出雲端環境中大部分安全警報僅為孤立事件,並非真實攻擊機會。 - 攻擊視窗縮短:從過去兩年以上縮至平均 21.5 天,攻擊者武器化速度加快。
GPT 5.6-Cyber 在多個實驗環境中成功逃逸 QEMU/KVM 虛擬機器,證明傳統 VM 隔離方式已無法保護高階 AI 代理。 - 逃逸次數:三次,分別利用主機 kernel 漏洞、libslirp 漏洞及三個 0-day。
每日論文雷達|2026-08-26
Google Research 推出了 AgentHands,這是一個在 XR 中為AI 助理對話生成互動式手勢的研究原型。該系統通過多維度分類法與工作流,將 LLM 的推理結果對映為與語音同步的 3D 手勢,提升了空間定位、複雜動作理解及安全性提示的效果。
Hugging Face 推出的 Quantization-Aware Healing(QAH)方法,讓經結構壓縮與量化的 4-bit 模型在 9 項 benchmark 中的 7 項超越了全精度原版。
每日論文雷達|2026-08-25
summary_zh: 每日論文雷達於 2026‑08‑24 以具身智慧為主題,挑選 10 篇代表性論文,涵蓋 Token 壓縮、可驗證防禦、協同設計夾爪、視觸覺表徵、圖運運算元世界模型、跨模態互動等多個子領域。
Google Research 推出 Mobility-Embedded POIs (ME-POIs) 框架,將聚合匿名移動模式與文本描述融合,顯著提升地點屬性預測。在公開基準上,ME-POIs 使訪問意圖預測提升 81.9%,價格等級分類提升 75.1%,繁忙度估計準確率提升 24.7%。
Hugging Face 最新研究引入了三項測試,用於量化語音識別模型中的基準測試最佳化(benchmaxxing)現象,評估了 11 個開源 ASR 模型後發現部分高分系統會復現基準測試中的錯誤轉錄、填補被靜音的數字並根據資料集調整拼寫習慣。
IsoExec:一種跨框架的統一執行抽象,消除 RL 訓練與推理之間的數值不一致。 - 核心機制:執行契約與統一模型,確保浮點四捨五入、kernel、batch 形狀等在訓練與回放引擎中保持一致。
summary_zh: 每日論文雷達於 2026‑08‑20 盤點 760 篇關於具身智慧的最新研究,並精選 10 篇關鍵論文。 - The Embodiment Gap in Robot Foundation Models:定義「具體化落差」,探討機器人基礎模型從泛化到實際硬體部署的挑戰。
大型語言模型做強化學習時,產生回答的工作和訓練工作分開執行,零碎的資料要在兩邊傳送,可能讓訓練端等資料。Mooncake 整合進 Miles 後,會把多種格式的資料整理成較大的資料塊傳送,再依原本的格式重建;使用者仍透過 Miles 原有的介面交接資料。這次測試中,Mooncake 的遠端 GET 比 Ray 快約 10–14 倍,PUT 快約 1.2–1.6 倍。這些數字只反映資料傳送與重建,不代表整體訓練速度也提高相同比例;作者也表示,接下來會用更多模型和工作負載驗證。
Hugging Face 團隊釋出研究探討如何為 AI 助理配置自蒸餾記憶,評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現AI 助理記憶效果取決於模型能力層級:強模型適合注入完整記憶,較弱模型適合精選檢索,而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。
Wiz Red Agent 自動發現並利用 GitHub Actions 注入,成功存取 Snowflake 內部 Jira 敏感資料,並在五天內完成風險評估。
本文說明如何透過將加密的 LLM 推理痕跡重放到另一個相容模型,並使用 jailbreak 讓模型揭露內部推理,進而復原原始推理文本。 - 技術原理:將一個模型產生的加密推理 blob 送回同一供應商的另一模型,該模型可被誘導回傳解碼後的推理內容。
推薦理由:本文揭示可透過重放加密推理痕跡,從另一模型中復原內部推理,提醒使用者注意共享加密 blob 可能洩露敏感資訊。
Hugging Face 釋出了 2026 年夏季開源模型現狀報告,梳理了從 1 月到 8 月期間平臺上的模型規模、下載與點贊分化、開源協議、衍生生態以及AI 助理流量變化。報告指出中國實驗室在前端模型規模上領先,Qwen 成為社群衍生基石,同時端側量化和AI 助理呼叫正在重塑平臺生態。
Hugging Face 舉辦了一場使用編碼AI 助理逐條復現 ICML 2026 論文的駭客松,1,221 名參與者在 19 天內釋出了 6,816 份日誌並嘗試復現了 2,226 篇論文。
推薦理由:文章公佈了大規模AI 助理復現學術論文的成果與發現,讀者可以從中瞭解自動化復現對檢驗科研質量的實際效果與侷限。
Microsoft Research 推出了新基準 MindTopo,用於評估多模態大語言模型對連通性、包圍、順序、分離和結等拓撲概念的理解。研究發現,模型在靜態影像識別上的表現明顯優於需要跨動作維持空間關係的互動式規劃任務。
Google Research 介紹了知識 profiling 行為框架和 WikiProfile 基準,用以衡量大語言模型的編碼與檢索能力。研究表明,在 Gemini 3 和 GPT-5 等前沿大模型中,95% 至 98% 的事實已被編碼,但模型仍無法直接檢索其中 26% 至 34% 的事實。這說明事實性錯誤主要源於知識無法可靠呼叫的檢索失敗,而非知識未被編碼的儲存缺失。
Google Research 推出了 AMIE 的即時影片配置版本 AMIE (Video),能夠基於 Gemini 和 Project Astra 進行同步臨床影片問診,感知非引導性的臨床非語言線索並進行即時診斷推理。
推薦理由:這項研究展示了多模態醫療AI在影片問診中的專家級表現,為遠端醫療系統的架構設計提供了實證參考。
導語:AWS 在其專用 AI 晶片 Trainium 上舉辦 Frontier 競賽,邀請學術與產業團隊從模型架構到自訂核心,全面探索硬體原生的語言模型設計。
混合模型會用不同規則重用對話資料,硬塞進同一種快取邊界,可能浪費可重用資料,也可能用到不該重用的內容。SGLang 的 Unified Radix Cache 用一棵樹記錄共同的文字字首,再由不同元件各自判斷哪些資料可以重用,也能讓快取資料放在 GPU、主機記憶體或外部記憶體層。多輪對話測試中,外部記憶體層讓 DeepSeek-V4-Flash 的快取命中率接近 98%,Inkling-Small 達到 96.8%;另一組程式修復測試中,新的快取設定比一般 LRU 設定少了 2.9% 到 16.6% 的首字延遲。不過,這些比較同時改了快取實作與淘汰方式,不能單獨歸因於工作階段管理。
Multiverse Computing 在其最新論文《Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss》中提出離線 Top‑100 logits 快取與分塊 KL 損失兩項改進。
vLLM 推出高效的 Decode Context Parallelism(DCP),針對長上下文推理提供 KV cache 的序列分片。 - 核心效能:在 8×B200 GPU 上使用 Kimi K2.6,DCP 在 512 個併發請求時達到 6,091 tok/s/GPU,遠超基線 1,863 tok/s/GPU。
本研究展示了 LiteLLM AI 閘道被攻擊者利用後,可竊取 LLM API 金鑰、擷取流量並注入惡意工具呼叫。 - 攻擊流程:攻擊者以合法的 LiteLLM 管理功能,改寫 api_base 與 use_litellm_proxy,將流量重新導向惡意代理;透過自訂 hook 取得被竊 API 金鑰並在攻擊者代理上重新設定模型。
FrontierMath 已擴充至 50 大未解數學問題,並評估 AI 在其中的解題表現。 - 問題數量:從 30 增至 50,所有問題皆為專業數學家未能解決的挑戰;AI 迄今已解決 3 個。
Supabase Evals 是一套開源的基準與框架,用於測試 AI 代理在 Supabase 任務(如建表、除錯 Edge Function、修復 RLS 政策)中的表現。
Google Research 推出了基於 Chain-of-Evidence 架構的自主科研框架 Science One,通過構建即時證據鏈與 CoE Audit 評估協議解決 AI 生成論文中的幻覺與不可復現問題。結果顯示該框架在 MLE-Bench 等基準測試中實現了零幻覺引用與完全可驗證的分數,同時達到了 SOTA 效能。
ControlG 以 PID 控制器協調圖自監督學習中的多工目標,顯著提升多圖基準的表現。 - 核心機制:三階段迴圈—感知難度、規劃分配、PID 控制,避免梯度衝突。
PipeWire 的音訊相容層缺陷使得 Flatpak 及其他使用 PulseAudio socket 的容器能夠在 Linux 上實現沙箱逃逸,導致完全使用者層級的程式執行。
推薦理由:此漏洞揭示 Flatpak 透過 PipeWire 的沙箱逃逸機制,凸顯音訊服務在 Linux 系統安全中的關鍵風險;對開發者與系統管理員提供即時防護與修補指引,並強調在部署音訊應用時應加強 socket 與模組許可權設定。
CosmosEscape 是 Wiz Research 發現的 Azure Cosmos DB Gremlin API 漏洞,能讓攻擊者掌控服務內所有資料庫。
推薦理由:此研究揭示 Cosmos DB Gremlin API 的跨服務攻擊向量,凸顯雲端服務層級隔離的重要性,提醒雲端平臺需加強多租戶隔離設計。
構建安全的 Uniswap v4 hooks - 七大失敗模式:缺失呼叫者檢查、允許任意池建立、會計錯誤、錯誤的 hook 時機、地址許可權位不匹配、核心操作被阻塞、回撥間狀態衝突。