跳到正文

推理能力

模型推理能力的進展:思維鏈、推理模型、數學與邏輯基準的突破與爭議。

最新精選

第 201–220 條 · 共 255 條
11月5日週四
  1. vLLM72

    vLLM 在發布當日加入對 Kimi K3.1 Pro 的服務支援,涵蓋 1M-token 上下文視窗,並支援 GPU、TPU 與 RL。 基準成績:搭配 Claude Code harness,在 Terminal-Bench 4.0 得分 65.7%。 適用情境:原文提及長時間程式開發、3D 創作與研究。

    推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。

  2. Hacker News (official RSS)86

    Kimi K3.1 Pro 開放權重發布

    Kimi K3.1 Pro 開放權重發布,這款原生多模態AI 助理模型採 MoE 架構,提供 1,048,576-token 上下文視窗。 - 模型規模:總引數 2.8T,啟用引數 104B;支援文字與影像輸入。

    推薦理由:材料列出模型規模、推論設定與多項基準成績,並說明 API 和推論引擎支援,便於比較其能力與部署條件。

11月4日週三
11月3日週二
  1. Dev.to Top Tech78

    Deep Principle 發布 Hydrogen-1.0 科學模型,提供 MIT 開放權重與多種量化版本

    Deep Principle 於 2026-11-02 發布 Hydrogen-1.0,這款以 zai-org/GLM-5.3 為基礎微調的開放權重科學 MoE 模型,鎖定化學、材料科學與生命科學。

    推薦理由:文章對照模型卡的 1M 上下文宣稱與 NVFP4 部署配方的 262K 上限,並整理權重門檻、量化路徑與推論設定,便於規劃實際部署檢查。

  2. ByteByteGo Newsletter (Alex Xu)61

    Nvidia 的 Nemotron 3 如何運作?解析 Mamba、MoE 與模型效率設計

    Nvidia 的 Nemotron 3 結合 Mamba、注意力與 MoE,並搭配多 token 預測及低精度權重,降低模型生成與儲存的成本。 - 架構:Mamba 以固定大小的狀態處理序列,注意力保留連結較遠位置的能力;MoE 路由器則為每個 token 選用部分專家。

    推薦理由:文章拆解 Nemotron 3 如何結合 Mamba、注意力與 MoE,並說明各方法對逐 token 計算、KV cache 和模型儲存成本的影響。

11月2日週一
  1. Dev.to Top Tech87

    Mistral Large 4 開源模型:完整安裝與部署指南

    Mistral Large 4 是一個 1.05T 引數的多模態 Mixture‑of‑Experts 模型,於 2026‑10‑29 以 MIT 開源授權公開,本文提供從 Hugging Face 下載、量化檔案選擇、GPU 部署到 API 方案的完整流程。

    推薦理由:提供完整的安裝與部署指南,讓開發者可快速部署 Mistral Large 4,並掌握其硬體需求與成本。

  2. LMSYS Org Blog79

    SGLang 如何用 HiCache 在多種部署配置中重用模型快取

    長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

    推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。

11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月29日週四
  1. LMSYS Org Blog79

    AMD 與 Miles 團隊用 MI355X 訓練 Qwen3-30B-A3B-Instruct,提升程式解題成績

    訓練會寫程式的 AI 助理時,任務可能跑很久,沙盒準備和工具協調也會拖慢整個流程。AMD 與 Miles 團隊用 MI355X 訓練 Qwen3-30B-A3B-Instruct,先用成功的程式修復紀錄教模型操作工具,再用 AI 助理強化學習改善解題。在 SWE-bench Verified 的 100 題分層樣本中,pass@1 從 7.3% 提升到 27.5%。團隊也透過縮短過長的任務、把沙盒移到雲端並移除並行數量限制,讓訓練步驟約快 3 倍,軌跡處理量約提升 4 倍;這兩項速度比較來自不同的設定。

    推薦理由:這項實驗把模型解題成績與訓練速度放在同一套流程中檢視,也拆解了長時間任務和沙盒協調如何拖慢訓練。

10月25日週日
  1. LMSYS Org Blog66

    miniTE 技術報告:用 NVFP4 加速強化學習,並處理訓練不穩問題

    大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練;miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍;另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。

    推薦理由:報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。

10月24日週六
  1. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。

10月21日週三
  1. AWS Machine Learning Blog79

    加拿大可透過 Amazon Bedrock 跨區域推理存取 OpenAI GPT 模型

    加拿大組織可透過 Amazon Bedrock 的跨區域推理,即時存取 OpenAI GPT‑5.6、GPT‑6 與 GPT‑6.1 模型。 - 模型:GPT‑5.6(Sol、Terra、Luna)、GPT‑6(Astra、Sol、Luna)與 GPT‑6.1 Sol。

    推薦理由:加拿大組織可透過 Bedrock 的跨區域推理,即時存取 OpenAI GPT-5.6/6/6.1 模型,擴大容量與成本效益。

10月20日週二
  1. Thom Wolf (@Thom_Wolf)82

    DeepInfer 全面開源,成為 DeepSeek‑V4.1‑Flash 的推理核心,提供高吞吐量與低延遲。 核心特性:內部推理框架,支援大規模部署,吞吐量提升、延遲降低。 對社群的影響:公開生產堆疊,降低計算成本與能源使用,促進 AI 更易於使用。 可用性:已在 Hugging Face 上發布,開發者可即時使用。

    推薦理由:開源的 DeepInfer 可幫助開發者降低推理成本與能源消耗,提升大模型部署效率。

10月18日週日
  1. vLLM Releases86

    vLLM v0.32.0 正式發布:多項推理最佳化與多模態功能升級

    vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。

    推薦理由:vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。

10月16日週五
  1. Hugging Face Blog82

    Meta 發布 Muse Spark Open:開源權重多模態混合專家模型

    Meta 推出 Muse Spark Open,816B 引數的多模態混合專家模型,支援文字、影像、音訊與影片輸入,並具備程式設計與工具呼叫能力。 - 模型規模:總引數 816B,每個 token 活躍 42B,可使用 1M token 上下文視窗。

    推薦理由:Meta公佈的 Muse Spark Open 816B 引數模型,支援多模態程式設計與長上下文,對開發者可直接整合,並提供多種推理與工具呼叫介面。

  2. LMSYS Org Blog74

    SGLang 支援 Beam,公開部署方式與服務效能測試

    大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。

    推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。

10月15日週四