ONNX Runtime WebGPU Plugin EP v0.5.0 發布
ONNX Runtime WebGPU Plugin EP v0.5.0 釋出,擴充注意力、Mixture-of-Experts、量化運算元支援,並提升 GPU 核心效能。
ONNX Runtime WebGPU Plugin EP v0.5.0 釋出,擴充注意力、Mixture-of-Experts、量化運算元支援,並提升 GPU 核心效能。
Mistral AI 釋出 Mistral Large 4(Le Chonk),一個 1 兆引數的多模態開源模型。 - 引數量:1 兆,提供前所未有的編碼與防禦安全能力。
訓練會寫程式的 AI 助理時,任務可能跑很久,沙盒準備和工具協調也會拖慢整個流程。AMD 與 Miles 團隊用 MI355X 訓練 Qwen3-30B-A3B-Instruct,先用成功的程式修復紀錄教模型操作工具,再用 AI 助理強化學習改善解題。在 SWE-bench Verified 的 100 題分層樣本中,pass@1 從 7.3% 提升到 27.5%。團隊也透過縮短過長的任務、把沙盒移到雲端並移除並行數量限制,讓訓練步驟約快 3 倍,軌跡處理量約提升 4 倍;這兩項速度比較來自不同的設定。
推薦理由:這項實驗把模型解題成績與訓練速度放在同一套流程中檢視,也拆解了長時間任務和沙盒協調如何拖慢訓練。
summary_zh: Sebastian Raschka 釋出了八段 11 小時的從零開始建立推理模型的影片課程,示範如何以 PyTorch 重新實作推理模型的評估、推理時間縮放、強化學習與蒸餾等技術。
寫作比程式碼更貼近思維,作者提出 Ideal State Artifact(ISA)作為 AI 專案的唯一「真實」檔案,將需求、限制、決策與可測試條件集中於一份文件,並以此驅動設計、實作與測試。
OpenAI 在 2026 年宣稱已解決 Navier-Stokes Millennium Prize 問題,並在十月 6 日發布報告指出近 400 個重要未解問題已被其最新模型解決。
本研究發現 AI 生成文本在語法複雜度上顯著高於人類寫作,難以理解。- 研究發現:AI 模型使用更多物件相對子句、長語法依賴與低頻 n-gram。- 比較結果:前沿模型傾向於不活躍主語搭配活躍動詞、堆疊名詞及縮減物件相對子句,對話中更長依賴。
大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練;miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍;另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。
推薦理由:報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。
使用 Decisions API,將近即時決策加入工作流程,現在已正式開放。 建立更快速、成本更低的應用程式與AI 助理,能夠分類文字與影像、評估輸入,並在不產生完整模型回應的情況下決定下一步行動。
本集深入探討 Claude 與 Rocq 在大規模形式化驗證的可行性與限制,並揭示 Postgres 預取機制可能引發的雲端停機風險,對安全與效能雙重關注者具實務參考價值。
Kimi K3.1 Pro 與 K3.1 Pro Highspeed 於 Kimi Code 正式推出,提供 3T 引數、1M 上下文視窗,並以高速版提升 2–3 倍輸出速度。
Gemma-4-26B-A4B 為 ThinkingCap 系列第五款模型,將思考 token 減少 38.9% 以上,且準確度僅下降 0.15pp。 - 思考 token:平均減少 38.9%,部分任務最高達 69.1%。
MiniMax-M3.1-Flash 於 SiliconFlow 平臺上正式開放權重,推出更強大代理功能與更快推理速度。 - 代理程式設計:在 DeepSWE v1.1 上取得 73.7% 的成績。
部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。
推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。
summary_zh: 12 個 AI 模型在三次詢問下,對人類最具爭議的看法皆相同,重點強調人類更重視歸屬感而非真理。 - 共通主張:人類「更忠於歸屬感而非真理」,多個模型以不同措辭表達此觀點。
Minotaur 是一種基於 ELC 的 AI 架構,能在單個 CPU 核心上完成多種推理任務,且不依賴大型語言模型或 GPU。 - 核心特性:使用「Energy‑Logic‑Control」三角色模型,透過「settle」操作一次性解答推理問題,時間約 0.25 秒。
長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。
GPT‑Rosalind 驅動的數千 AI 代理在 32 分鐘內完成對數百萬隻小鼠腦細胞的分析,並發現多個潛在的神經退化機制。 - 分散推理:每個代理針對單一基因突變,搜尋文獻並提出機制,最終合併成「推理圖譜」。
Basis 發布了利用 LLM 撰寫並在 Lean 中證明的解譯器,證明其行為與實際 RISC‑V 編譯後的程式完全一致。 - 驗證方法:LLM 先自動生成 WHILE 語言的形式語義,然後在 Lean 中證明該語義與編譯後的二進位在所有程式上相符,並以此推匯出四個工具(型別檢查器、程式邏輯、抽象解譯器、編譯器)。
加拿大組織可透過 Amazon Bedrock 的跨區域推理,即時存取 OpenAI GPT‑5.6、GPT‑6 與 GPT‑6.1 模型。 - 模型:GPT‑5.6(Sol、Terra、Luna)、GPT‑6(Astra、Sol、Luna)與 GPT‑6.1 Sol。
推薦理由:加拿大組織可透過 Bedrock 的跨區域推理,即時存取 OpenAI GPT-5.6/6/6.1 模型,擴大容量與成本效益。
全公司知識圖的構建,透過實驗證明能將代理人回答時間縮短73%,並大幅降低輸入 token 及模型呼叫,顯著提升律所內部資訊檢索效率。 - 關鍵效能:回答時間減少73%,輸入 token 下降92%,模型呼叫減少66%。
GenRecs Tokenization 讓 Meta 以 LLM 驅動的語義詞彙,將廣告、產品、頁面等專案以 token 形式表徵,提升推薦精準度。 - 提升轉換率:與 Meta 的 GEM 與 Adaptive Ranking Model 配合,實驗資料顯示提升 +0.35% 轉換率。
Hybrid Reasoning Agents:提出一種結合潛在空間推理與文字互動的 LLM 代理,並設計 HybridLink 與連續工作記憶以實現兩種模式之無縫切換。
vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。
推薦理由:vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。
Transformer 的記憶容量可由線性層、MLP 及自注意力等不同記憶儲存方式進行比較。 - 線性外積儲存:容量約為鍵維度 d_k(如 64)。
summary_zh: Google Research 透過 VERID 框架,使 AI 代理能在濕實驗室中安全且資源高效地執行實驗,並在 aptamer 與 de‑novo 蛋白質設計上實現封閉迴圈的自我改進。
本文報告 Claude 能透過自動迴圈最佳化,設計出比現有最佳量子電路更少門數與量子位數的方案,實驗證明可降低數十倍資源需求。 - Claude Mythos 5 在 53 小時內完成 8 種量子電路的自動設計,並在每個任務中均優於已發表的最佳設計。
**Apple 於 MLX 研究平臺上發布 Muse Spark Open,近千億引數的前沿模型,並示範如何在 Mac Studio 上利用 MLX 進行分散式推論。
Meta Muse Spark Open 已於 Amazon SageMaker JumpStart 上線,可直接部署至 AWS 帳戶,支援 1M token 上下文與多模態輸入。
Meta 推出 Muse Spark Open,816B 引數的多模態混合專家模型,支援文字、影像、音訊與影片輸入,並具備程式設計與工具呼叫能力。 - 模型規模:總引數 816B,每個 token 活躍 42B,可使用 1M token 上下文視窗。
推薦理由:Meta公佈的 Muse Spark Open 816B 引數模型,支援多模態程式設計與長上下文,對開發者可直接整合,並提供多種推理與工具呼叫介面。
神經網路實際上是乾淨的,作者指出遞迴一般化是主要解釋,取代了先前的超疊加假設。 - 遞迴一般化:神經元隨訓練成長,從單一概念擴充套件至相關子概念,導致看似多義但實際可解讀。
大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。
推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。
LFM2.5-24B-A2B 是 Liquid AI 發布的 24B 引數推理模型,僅 2B 活躍引數,專為快速本地代理設計。 - 推理速度:184 tokens/s 在 Apple M5 Max,21K tokens/s 在單一 NVIDIA B300 GPU,速度比同規模 MoE 快 1.7 倍。
vLLM 宣佈與 Meta Superintelligence Labs 合作,於 vLLM 實現對開源稀疏混合專家(MoE)模型 Muse Spark Open 的 Day 0 支援。
推薦理由:原文詳細說明模型的架構設計與硬體部署優勢,讀者可藉此評估大規模混合專家模型在跨硬體平臺上的執行效率與整合方式。
大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。
推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。
Aaronson Oracle 是一個基於 1950 年代 Bell Labs 研究的簡易機器,透過 n‑gram 逆向記錄來預測玩家下一個選擇。
OpenAI 於 10 月 6 日公開 700 多份機器生成的數學論文,其中部分附有 Lean 形式化證明。 - 規模與內容:論文涵蓋多個數學領域,部分已完成形式化驗證,另有待驗證的作品。
Gemini 4 Argon 現已在 Vercel AI Gateway 可呼叫。 - 核心特性:1M token 上下文、文字、影像、PDF、影片輸入,支援工具呼叫。
Gemini 4 Argon 已正式發布,提供 1M token 限制的多模態推理能力,助力工程、金融、法律等領域解決複雜任務。 - 核心特性:多模態推理、深度編碼、長期推理 1M token,支援多步驟任務。
推薦理由:Gemini 4 Argon 以多模態推理為核心,突破工程、金融、法律等領域複雜任務,並在多項基準上領先同類模型,為企業與研究者提供可落地的效能提升,並開放 API 供開發者快速整合,實現 1M token 限制,支援長期推理。