Google Research:思考以檢索:推理如何解鎖大語言模型中的引數化知識
Google Research 探討了大語言模型中推理如何解鎖引數化知識,通過控制實驗揭示了計算緩衝區效應和事實啟動兩大機制。研究表明,即使面對簡單的單跳問題,啟用推理也能幫助模型召回原本難以觸及的正確答案。不過,推理階段產生的中途幻覺會顯著降低最終答案的正確率。
Google Research 探討了大語言模型中推理如何解鎖引數化知識,通過控制實驗揭示了計算緩衝區效應和事實啟動兩大機制。研究表明,即使面對簡單的單跳問題,啟用推理也能幫助模型召回原本難以觸及的正確答案。不過,推理階段產生的中途幻覺會顯著降低最終答案的正確率。
Modal 推出基於 DFlash 架構的 Qwen 3.5 397B-A17B speculator,並在 SGLang 推理引擎上實現 5–20% 的速度提升。
大型語言模型一次只生成一個 token,推論速度可能因此受限;一般草稿模型也要逐個產生候選內容。Z Lab、Modal 和 SGLang 團隊推出 DFlash 草稿模型,並將它整合進 SGLang 的 Spec V2 引擎。DFlash 一次平行草擬一整段內容,還會把目標模型整理好的上下文資訊送進草稿模型,幫助它提出較容易被接受的內容。在 Qwen 3.5 397B-A17B、HumanEval、請求並行數為 1 的測試中,DFlash 的吞吐量超過基準模型 4.3 倍,也比原生 MTP 高 1.5 倍。
推薦理由:文章比較 DFlash 與 EAGLE-3 的草稿速度、接受長度和端到端速度,並說明 KV 注入與平行草稿各自帶來的影響。
DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。
推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。
AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。
AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。
推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。
Mistral AI 推出 128B 開源旗艦模型 Mistral Medium 3.5,具備 256k 上下文視窗、可配置推理強度以及從頭訓練的視覺編碼器,並在 SWE-Bench Verified 上取得 77.6% 的成績。
推薦理由:Mistral Medium 3.5 的釋出和雲端非同步AI 助理能力的上線,展示瞭如何通過長上下文與多工具呼叫降低開發者的任務阻塞成本。
Together AI 針對編碼代理工作負載,推出一套大規模推理基準測試,量化多使用者同時長上下文對 TTFT、TPS 及吞吐的影響。 - 工作負載特徵:提示長度 45k–200k tokens,平均生成 450 tokens,模擬實際編碼會話增長。
近期開源大語言模型架構的發展核心在於提升長上下文效率,透過針對 Transformer 區塊、KV 快取與注意力計算的創新設計來降低記憶體與運算成本。 - Gemma 4:E2B 與 E4B 變體採用跨層注意力(KV 共享)機制,讓較後期的層重複使用早期層的 key-value 狀態,並結合 GQA 與 4:1 模式的滑動視窗注意力。
作者 Jack Clark 撰文分析認為,基於軟體工程、基準測試和AI 助理自主執行時間的進展,AI 系統有較大可能在 2028 年底前實現端到端自動化的 AI 研發。文章指出,當前模型在程式碼生成、復現論文、Kaggle 競賽和核心最佳化等任務上的能力顯著提升,正在逐步承擔原本需要人類完成的大量工程與科學實驗工作。
DeepSeek-V4 Pro 現已於 Together AI 上線,提供 512K 上下文推理,並支援 1M 模型層級長上下文。 - 模型規格:1.6T 引數 MoE,49B 啟用引數,Hybrid Attention(Compressed Sparse + Heavily Compressed)。
Google Research 推出了 ReasoningBank AI 助理記憶框架,通過從成功和失敗經驗中提取結構化推理模式來實現測試期自我進化。該方法通過記憶感知測試期擴充套件(MaTTS)機制,在網頁瀏覽和軟體工程基準測試中顯著提升了AI 助理的成功率和執行效率。
GRASP 是一種新的梯度規劃器,針對學習到的世界模型實現長時序規劃。它通過將軌跡提升到虛擬狀態實現並行最佳化、在狀態迭代中加入噪聲以增強探索、並重塑梯度以避免脆弱的狀態輸入梯度,從而顯著提升規劃魯棒性和速度。實驗顯示在 Push‑T 任務中,GRASP 在更長時間步上取得更高成功率且耗時更短。詳情見論文 https://arxiv.org/abs/2602.00475。
Claude Opus 4.7 被 ChatGPT 生成的對抗影像成功誘導執行記憶工具,將偽造的個人資訊寫入未來對話。 - 攻擊方式:利用 ChatGPT 產生含暗示文字的影像,誘導 Opus 4.7 解析並執行 memory_user_edits。
推薦理由:本研究揭示 Claude Opus 4.7 在面對 ChatGPT 生成的對抗影像時仍能被誘導執行記憶工具,提示在升級模型時仍需加強對抗性測試。
Google Research 介紹了 Simula 框架,這是一種採用第一性原理構建整個合成數據集的種子無關且具身智慧的方法。該框架通過全域性多元化、區域性多元化、複雜化和質量檢查四個可控軸來分解生成過程,並在多個領域評估中展示了最佳化資料屬性對下游效能的提升。
Google DeepMind 推出了 Gemini Robotics-ER 1.6,這是其專為機器人設計的最新模型,提升了空間推理、多視角理解和儀表讀取能力。該版本在安全性和物理約束遵守方面也有顯著改進,並已通過 Gemini API 和 Google AI Studio 對開發者開放。
推薦理由:Gemini Robotics-ER 1.6 通過增強空間推理和多視角理解,顯著提升機器人在真實環境中的自主決策能力,並首次實現儀表讀取功能,為工業設施監測提供更高精度。該模型在安全性和物理約束遵守方面也表現出顯著改進,幫助機器人更安全地執行任務。
Google DeepMind 推出了 Gemma 4,四種尺寸(E2B、E4B、26B MoE、31B Dense)支援多模態、長上下文(128K–256K)和 140+ 語言,具備高階推理、函式呼叫和程式碼生成能力,並以 Apache 2.0 許可免費開放,適用於從移動端到雲端的多場景部署。
summary_zh: OpenAI 研究團隊發現,對齊中訓練對 frontier LLMs 的影響有限,並未在更真實的聊天與代理評估中顯著提升對齊表現。
本文系統性梳理與盤點現代開源大模型中常見的各類注意力機制變體與混合架構,適合作為技術參考與學習資源。 - MHA 與 GQA:說明標準多頭注意力(MHA)的運作方式,並分析分組查詢注意力(GQA)如何在模型表現與 KV 快取記憶體之間取得平衡。
Mistral AI 釋出了 Mistral Small 4,這是一款統一推理、多模態與編碼功能的模型,採用 119B 引數、256k 上下文視窗,支援可配置推理強度,提供 40% 的延遲降低和 3 倍的吞吐量提升。該模型採用 Apache 2.0 許可,支援 vLLM、llama.cpp、SGLang 等開源框架,並已加入 NVIDIA Nemotron 聯盟。
推薦理由:Mistral Small 4 將推理、多模態與編碼功能統一,提供可配置推理強度和高效推理,幫助使用者在單一模型中完成多種任務。
Google Research 推出 AI 驅動的城市閃洪預測系統,並在 Flood Hub 上提供服務。該系統利用 Groundsource 資料集和 Gemini 分析新聞報道,構建 24 小時預警模型。
本文深度解析 2026 年 1 月至 2 月 期間發布的 10 款主要開源權重模型,涵蓋架構相似性、注意力機制與效率最佳化: - Arcee AI Trinity Large:採用 400B 引數的 Mixture-of-Experts(MoE)架構,結合滑動視窗注意力(SWA)與 QK-Norm 穩定訓練。
summary_zh: OpenAI 研究團隊提出一種利用內部推理模型(AI 判斷者)分析實際對話,檢測並診斷 AI 失調的簡單方法。 - 檢測方式:AI 判斷者偵測歷史生產對話中的情緒惡化,並離線推論是否有失調行為。
summary_zh: - DeepSeek R1:2025 年初發布的開源權重模型,採用 RLVR(Reinforcement Learning with Verifiable Rewards)與 GRPO 演算法,能在推理過程中自動生成中間步驟並提升答案準確度。
DeepSeek V3.2 於 2025 年 12 月 1 日正式發布,為開源大模型提供了新的稀疏注意力機制(DSA)和自我驗證的 RLVR 訓練流程。
Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。
推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。
本文 以從零開始的方式,說明 LLM 評估的四種主要方法,並提供完整的程式碼範例。 - 四大評估方法 多選題、驗證器、排行榜、LLM 評審。 - 實作範例 用純 PyTorch 實作 Qwen3 0.6B,並將程式碼上傳至 GitHub。
推薦理由:本文提供四種 LLM 評估方法的實作範例,幫助工程師快速選擇適合的評估策略,並瞭解各方法的優缺點與實務落地。
Mistral AI 釋出首個推理模型 Magistral,推出開源的 Magistral Small(24B)和企業級 Magistral Medium 兩個版本。
推薦理由:原文給出了兩個版本的具體效能指標與開放渠道,讀者可以據此評估其在真實業務和推理任務中的表現。
Lilian Weng 發表深度技術綜述 Why We Think,全面探討大模型在測試期運算(test-time compute)與思維鏈(CoT)機制的最新進展。
Mistral Small 3 正式發布,提供 24B 引數、低延遲且可在單 RTX 4090 上執行。 - 效能:與 Llama 3.3 70B、Qwen 32B 相比,速度 3 倍以上;MMLU 準確率 81%,每秒 150 tokens。
**Mamba 是一種基於 State Space Model 的長序列語言模型,能在保持 Transformer 相近表現的同時,以線性時間與空間複雜度處理多達 100 萬 token 的上下文。
summary_zh: 作者提出「預測人類偏好」方法,能預測使用者在特定查詢下會偏好哪一模型。 - 模型排名基準:使用 Chatbot Arena 於 2023 年 7 月公佈的 33,000 次人類比較,涵蓋 20 款模型。
本文以實例說明機器學習模型失效的常見原因,並提供避免錯誤的實務方法。 - 資料誤導:訓練集包含重疊、錯標或隱藏變數,導致模型學習到非實際特徵,例如 COVID 影像資料中姿勢偏好。
生成設定(溫度、top‑k、top‑p 與測試時計算)是調整語言模型創造力與一致性的關鍵手段。 - 溫度:調整 logits 以改變機率分佈,0.7 常用於創意生成,0 近似 argmax 以提升一致性。
summary_zh: GPT‑4 生成更佳 CLIP 影像字幕、Epsilon* 隱私、審查不可行、QuIP 2‑bit、鏈式推理提升準確。 - GPT‑4 生成更佳 CLIP 影像字幕,提升分類準確度。
Davis Blalock 整理多篇 arXiv 研究,涵蓋梯度下降、CPU 矩陣乘法、模型訓練與影片測試時適應等主題。 - 梯度下降:研究指出,重複使用不同步長的序列,即使其中個別步長過大,也可能比固定步長帶來更好的收斂保證。
本文整理 2023‑7‑9 arXiv 會議的多篇關鍵研究,重點探討 LLM 在長上下文中的注意力分佈、MoE 與指令調優的結合效益,以及其他與模型效能與安全相關的實驗結果。
Prompt Engineering 是一套不改模型權重即可調整 LLM 行為的技術,本文詳細說明瞭零樣本、少樣本、指令式、Chain‑of‑Thought、Self‑Consistency 等主流提示方法,並整理了範例選取、順序、校正偏差與自動化 Prompt 設計的實作技巧。