vLLM 在 Arm CPU 上的效能最佳化與功能升級
vLLM 在 Arm Neoverse CPU 上的服務效能大幅提升。 - 可用性:新增預建 wheels、Docker、INT8、INT4 推理支援,並支援 GPT‑OSS、Whisper、Qwen 3.5/3.6。
推薦理由:本報告詳述 vLLM 在 Arm CPU 上的效能最佳化,對於需在低成本硬體上部署 LLM 的工程師提供可落地的改進方案。
值得讀的 AI 論文與研究成果:架構創新、訓練方法、能力測量與理論進展的精選解讀。
vLLM 在 Arm Neoverse CPU 上的服務效能大幅提升。 - 可用性:新增預建 wheels、Docker、INT8、INT4 推理支援,並支援 GPT‑OSS、Whisper、Qwen 3.5/3.6。
推薦理由:本報告詳述 vLLM 在 Arm CPU 上的效能最佳化,對於需在低成本硬體上部署 LLM 的工程師提供可落地的改進方案。
ThunderAgent 是一套針對代理式推理的程式級排程系統,透過將每個代理工作流程抽象為可排程程式,解決 KV cache 抖動問題。\n- 效能提升:單節點吞吐率提升至 2.5 倍,平均延遲下降 10 倍;8 節點叢集加速 2.4 倍,近線性擴充套件。
推薦理由:本文提出程式級排程策略,消除 KV 快取抖動,單節點吞吐提升 2.5 倍,8 節點叢集加速 2.4 倍,對大規模代理式資料生成具有實際價值。
Redwood Research 團隊提出「不可信建議」(untrusted advice)協議,讓高能力但不可信的 Claude Sonnet 4.6 透過極窄的資訊通道向受信任的執行模型(如 Gemini 3.1 Flash Lite 與 gpt-oss-120b)提供簡短提示。
推薦理由:研究顯示透過資訊瓶頸限制高風險模型的提示長度,能在大幅降低安全風險的同時恢復多數效能差距。
核心評測:MirrorCode 針對 25 個大型程式(共 132 個任務例項),17/25 取得完美分數,4/25 超過 99%。
推薦理由:MirrorCode 讓 AI 透過純輸入輸出自行重寫 25 個大型程式,證明其自我導向能力與程式開發潛力;同時,Anthropic 及 Sunday 的實驗顯示大模型可顯著提升機器人執行效率與泛化性。
ABBEL 是一套透過自然語言信念狀態與評分,將長期互動的記憶壓縮,並在協同編碼與多目標問答等環境中顯著提升效能與訓練效率。 - 核心概念:將互動歷史抽象為「信念」(belief),並以自編碼方式評分,確保關鍵資訊被保留。
推薦理由:ABBEL 透過信念更新與評分,將長期互動的記憶壓縮,顯著縮減訓練步驟並提升協同編碼效能
Google Research 介紹了 SymptomAI,這是一種用於日常症狀評估的對話式 AI 智慧體,並在 13917 名參與者的全國規模研究中評估了其鑑別診斷效能。研究發現,由智慧體主動引導提問的策略顯著優於無引導的基線,且其生成的鑑別診斷結果在臨床專家盲測中的準確率表現良好。此外,研究還發現 SymptomAI 的診斷結果與參與者 Fitbit 可穿戴裝置的生物訊號變化趨勢相吻合。
推薦理由:研究評估了基於大模型的對話式症狀評估工具在真實患者人群中的診斷表現,並結合可穿戴裝置生理指標進行了驗證。
Google Research 在其 Willow 超導處理器上演示了利用強化學習實現量子計算機持續校準的方法,顯著降低了邏輯錯誤率。實驗中,RL 訓練將錯誤率降低 3.5 倍,最終邏輯錯誤率低至每千個糾錯週期不到一次,並在數百量子位元的模擬中驗證了可擴充套件性。該方法將量子錯誤檢測事件作為主動學習訊號,展示了可持續計算的新範式。
推薦理由:通過強化學習實現量子計算機持續校準,顯著降低邏輯錯誤率,展示了可擴充套件的自適應控制方法,為未來大規模量子計算提供可行路徑。
OpenAI 與 Apollo Research 共同發表研究,開發出稱為 Contrastive SDF(Contrastive Synthetic Document Finetuning)的新測試方法,用於測量 AI 模型在擁有不同世界觀信念時是否會改變行為。
推薦理由:研究提出對比式合成微調方法來測量模型對評分機制的報酬尋求傾向,為評估對齊風險提供新的技術路徑。
UK AI Security Institute 在最新報告中指出,開放權重模型在網路安全領域的表現已逼近封閉模型,縮小了 4–10 個月的差距。 - 開放模型:GLM‑5.2 與 DeepSeek‑V4‑Pro 的評估分數與 4–7 個月前發布的 Claude Opus 4.6、GPT‑5 等封閉模型相近,顯示差距縮短。
推薦理由:本文以 UK AI Security Institute 的實驗資料說明開放權重模型在網路安全領域的進步,對安全研究者與政策制定者評估模型威脅與防禦視窗提供參考。
研究者以概念驗證示範,惡意試算表內容可誘使 AI CLI 輸出 ANSI 控制碼,讓 macOS Terminal 發出含有資料的 DNS 請求。 - 攻擊方式:AI 工具讀取試算表中的惡意內容,取得前幾列的姓名並輸出終端機控制序列;Terminal 將序列解讀為 DNS 請求,造成資料外洩。
推薦理由:文章串起間接提示注入、終端機 ANSI 控制碼與 DNS 外洩的攻擊鏈,並整理修補後 CLI 開發者可採取的輸出編碼措施。
Google Research 通過數學分析解釋了擴散模型的創造力來源,指出正則化導致的分數平滑使模型在去噪過程中產生插值,從而生成新穎影像。文章以一維示例說明分數平滑如何軟化梯度,並通過實驗驗證權重衰減對其影響;在多維情形下,分數平滑幫助模型在資料流形上平衡質量與新穎性。作者已公開實驗程式碼。
推薦理由:本文闡釋擴散模型創造力來源,揭示正則化導致的分數平滑如何產生新穎影像,並指出可通過調節正則化實現更具創造性的生成。
在代理互動中捕捉 Token ID 以提升強化學習 - Turnstile:用 Rust 實作的代理,位於 Agent harness 與後端之間,即時記錄精確 token ID、log 機率與 loss mask。
推薦理由:本文提出在代理互動中精確捕捉 token ID 的方法,提升 RL 訓練的準確性,為多模態與 MoE 模型的強化學習提供可複用的工具。
Google Research 推出了 SensorFM,這是一個在大規模未標註可穿戴感測器資料上預訓練的大型感測器基礎模型。該模型使用超一萬億分鐘的多模態感測器訊號進行自監督訓練,能夠跨越心血管、代謝、睡眠和心理健康等多個領域進行通用表徵,並支援構建更精準的個人健康智慧體。
推薦理由:研究展示瞭如何利用大規模未標註感測器資料訓練通用生理表徵,讀者可以瞭解其在多工泛化和健康智慧體中的表現。
Google Research 在 Nature Cities 發表研究,通過在 10 個美國大城市進行的大規模真實實驗表明,利用導航平臺對一小部分行程進行協同路由干預,能夠分散交通並顯著提高行駛速度、減少碳排放。該研究修改了 Google Maps 演算法以引導車輛避開擁堵路段,通過系統性的城市級交叉實驗驗證了網路化導航技術在改善整體交通狀況方面的有效性。
推薦理由:Google Research 在 Nature Cities 發表研究,通過在 10 個美國大城市進行的大規模真實實驗表明,利用導航平臺對一小部分行程進行協同路由干預,能夠分散交通並顯著提高行駛速度、減少碳排放。該研究修改了 Google Maps 演算法以引導車輛避開擁堵路段,通過系統性的城市級交叉實驗驗證了網路化導航技術在改善整體交通狀況方面的有效性。
OpenRouter 團隊對 OpenAI 與 Google 最新模型的圖片細節引數進行基準測試,發現在推理模型中將圖片設為低解析度(low)反而會因模型需花費更多思考力而增加總成本並降低準確率。
推薦理由:評測顯示推理模型使用低解析度圖片反而會增加思考負擔並拉高總成本,讀者可據此調整視覺任務的圖片細節與推理引數。
Fable 5 在 KernelBench‑Mega 上以 18.71 倍加速完成 GPU 核心生成,顯示 AI 系統在核心設計上的自動化潛力。 - GPU 核心速度:相較於 PyTorch 基準,Fable 取得 18.71 倍提升;Claude Opus 4.8 14.4 倍;GLM‑5.2 11.14 倍;GPT‑5.5 4.34 倍。
推薦理由:Fable 5 在 KernelBench‑Mega 上實現 18.71 倍加速,展示 AI 自動化寫 GPU 核心的潛力。
GPT-5.5-Cyber 在一天內完成了 zlib fuzzing lab,證明高階模型能即時自動化安全測試 • 模型與目標 使用 OpenAI 的 GPT-5.5-Cyber 透過 /goal 指令。
推薦理由:此研究顯示 GPT-5.5-Cyber 在一天內完成 zlib fuzzing lab,證明高階模型可自動化安全測試,對開源維護者與攻擊者皆具啟示。
多令牌殘差預測(MRP)是一種小型 transformer,附加在凍結的擴散語言模型(DLM)骨幹上,預測相鄰 denoising 步驟之間的 logits 殘差,從而在單次前向傳播中預測多步輸出。
推薦理由:多令牌殘差預測提供了在擴散模型中兼顧速度與質量的可調方案,並能在多工場景中顯著提升吞吐量,適合需要自定義推理策略的工程師。
Together AI 在 ICML 2026 展示了九篇跨層研究,從代理到 GPU 核心,涵蓋模型、演算法、系統與硬體最佳化。 - 代理層:DSGym 1,000+ 任務、10+ 領域;ThunderAgent 3.6× 推理吞吐量、3.9× RL 迭代速度提升。
推薦理由:Nine ICML 2026 論文涵蓋從代理到 GPU 核心的全棧研究,讀者可洞悉跨層最佳化的實際效能與落地策略,並展示多層協同效益與實際部署案例。
Claude 代理 在執行畫面截圖後進行推理,期間畫面可能被改動,形成 TOCTOU 漏洞。 - 漏洞重現:在 Outlook 草稿頁面,代理誤點「傳送」按鈕,送出惡意郵件。
推薦理由:此研究揭示 AI 代理在時間檢查與使用之間的脆弱性,提醒開發者須加強畫面同步驗證以防範惡意操縱。