LLM 如何控制推理投入程度
LLM 的推理投入程度可透過訓練與推論階段的不同設計控制,文章整理其與推理長度、成本及任務表現的關聯。 - 控制方式:包括以 SFT 混合不同推理模式、在 RLVR 中依投入程度調整 token 懲罰,以及在推論時透過提示詞、chat template 或 token budget 設定。
LLM 的推理投入程度可透過訓練與推論階段的不同設計控制,文章整理其與推理長度、成本及任務表現的關聯。 - 控制方式:包括以 SFT 混合不同推理模式、在 RLVR 中依投入程度調整 token 懲罰,以及在推論時透過提示詞、chat template 或 token budget 設定。
OpenRouter 探討開發者該透過 OpenRouter 路由還是直接呼叫 DeepSeek 的 API,並分析平臺上的實際使用資料與供應商差異。
Fable 5 在 Devin Fusion 架構下的成本低於 Opus 4.8,同時取得更高分數。 - 成本比較:Fable + Sidekick 每次執行成本 $1.86,低於 Opus + Sidekick $2.04。
推薦理由:實驗顯示,Fable 5 在 Fusion 架構下成本更低、效能更高,說明管理風格可顯著影響代理成本與效能
讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。
推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。
測量開源衍生模型的可信度 - 評估工具:Cognition 建立了結合直接提問與真實編碼場景的評估套件,涵蓋宣傳、拒絕與差異化安全等三大維度。 - 實驗物件:對 Kimi K2.7 Code、DeepSeek‑V4、GLM 5.2、GPT 5.5、Claude Opus 4.8 以及新開發的 SWE‑1.7 進行測試。
推測解碼能減少模型逐步產生文字的時間,但同時驗證太多候選文字,負載一高也會拖慢服務。SGLang 團隊把 DSpark 整合進服務引擎,讓系統依每筆請求的預測把握度,決定要驗證多少候選文字;較有把握的請求可用較短的驗證範圍,降低運算負擔。文章用 DeepSeek-V4 等模型展示測試結果,並說明如何讓不同請求在同一批次採用不同範圍。團隊也提醒,測試硬體和流量與論文不同,重點是呈現運作方式與趨勢,數字不應直接視為論文結果的重現。
推薦理由:SGLang 團隊展示 DSpark 如何依各請求的預測把握度調整驗證長度,並比較不同負載下的吞吐量與延遲表現。
Hugging Face 與 Cerebras 聯合推出將開源語音 AI 架構與高速推理相結合的即時語音方案,實現自然的語音到語音互動。該開源級聯語音堆疊由 Nvidia Parakeet 進行語音識別、Cerebras 執行 Google DeepMind 的 Gemma 4 31B 模型進行推理、以及 Alibaba 的 Qwen3TTS 生成語音,並已應用於 Reachy Mini 機器人。
ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐 - 批次化:連續批次化可將 GPU 佔用率提升至 95%,每個 GPU 可同時處理多個請求,減少等待時間。
推薦理由:文章以 ElevenLabs 口語模型實測為基礎,闡述批次化、量化、KV 壓縮等技術在 GPU 資源稀缺時提升使用者吞吐的方案,對語音服務成本與效能提供參考。
DeepSeek 於 4 月 24 日發布旗艦 DeepSeek V4 模型後,在 OpenRouter 上的 token 佔有率在六個月內實現翻倍,其中很大一部分增長由 Agentic 工作負載驅動。
OpenRouter 盤點了 2026 年 6 月最具代表性的四大開源權重模型,分析其效能、成本與實際應用場景。
MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。
推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。
Epoch AI 分析了阿里巴巴、DeepSeek、MiniMax、Moonshot、Z.ai 與 ByteDance 等六家中國 AI 企業的 **1。
ParallelKernelBench 是一個測試多 GPU 核心生成的基準,評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性:87 個實際工作負載,涵蓋多種分散式並行策略。
推薦理由:此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限,提供可量化的基準與改進方向,並展示首批成功案例。
Epoch AI 提出為 AI 研發量身打造的 ONET,將 60+ 代表性任務拆解成六大類別,並對 AI 自動化程度進行 0–5 等級評估。 - 任務細分:將 AI 研究流程拆分為「規劃、實驗、執行、部署、評估、溝通」六大類別,每類再細分為多個子任務,遠超傳統 ONET 的高層描述。
強化學習:基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題:RL 後訓練需要三大獨立基礎設施,包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒;多節點擴充套件時權重同步成瓶頸。
Together AI 針對編碼代理工作負載,推出一套大規模推理基準測試,量化多使用者同時長上下文對 TTFT、TPS 及吞吐的影響。 - 工作負載特徵:提示長度 45k–200k tokens,平均生成 450 tokens,模擬實際編碼會話增長。
近期開源大語言模型架構的發展核心在於提升長上下文效率,透過針對 Transformer 區塊、KV 快取與注意力計算的創新設計來降低記憶體與運算成本。 - Gemma 4:E2B 與 E4B 變體採用跨層注意力(KV 共享)機制,讓較後期的層重複使用早期層的 key-value 狀態,並結合 GQA 與 4:1 模式的滑動視窗注意力。
Violin 是一款完全開源的影片翻譯工具,透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3,完成從語音辨識、翻譯到語音合成的全流程。
推薦理由:Violin 以開源方式提供多語言影片翻譯,並內建多模態對話助手,使用者可即時查詢影片內容並調整語音風格,讓全球觀眾可即時接觸內容。
DeepSeek-V4 支援百萬 token 上下文,核心在於混合注意力設計與 KV 壓縮,本文說明如何將此架構轉化為實際推理效能。 - 1M-token 上下文:透過 CSA、HCA、SWA 三種注意力路徑,將 token 軸壓縮,減少 KV 快取佔用。
推薦理由:文章說明 DeepSeek-V4 1M-token 上下文的架構最佳化與實際部署關鍵,幫助讀者評估長文本推理效能與成本。
DeepSeek-V4 Pro 現已於 Together AI 上線,提供 512K 上下文推理,並支援 1M 模型層級長上下文。 - 模型規格:1.6T 引數 MoE,49B 啟用引數,Hybrid Attention(Compressed Sparse + Heavily Compressed)。
分佈感知推測解碼(DAS)能在 RL 後訓練中將回合時間縮短 50%,同時保持獎勵曲線不變。• 核心技術 採用字尾樹草稿器和長度感知排程,實現零成本自適應。
summary_zh: - DeepSeek R1:2025 年初發布的開源權重模型,採用 RLVR(Reinforcement Learning with Verifiable Rewards)與 GRPO 演算法,能在推理過程中自動生成中間步驟並提升答案準確度。
DeepSeek V3.2 於 2025 年 12 月 1 日正式發布,為開源大模型提供了新的稀疏注意力機制(DSA)和自我驗證的 RLVR 訓練流程。
Lilian Weng 發表深度技術綜述 Why We Think,全面探討大模型在測試期運算(test-time compute)與思維鏈(CoT)機制的最新進展。
LLM 測試時計算量與模型規模擴充套件曲線研究 - 核心發現 在多種推理策略(並行多樣本、迭代修正、加權投票、波束搜尋、前瞻搜尋)下,測試時計算量的增加能顯著提升輸出品質,對於簡單問題可用較小模型加多次推理取代更大模型。
Continue 與 Ollama 讓開發者可在 VS Code 或 JetBrains 內部直接使用開源 LLM 進行程式碼補完與聊天。 - Codestral 22B:具備補完與聊天功能,需 22B 引數、較高 VRAM,適合研究測試。