跳到正文

推理能力

模型推理能力的進展:思維鏈、推理模型、數學與邏輯基準的突破與爭議。

最新精選

第 221–240 條 · 共 255 條
10月15日週四
  1. LMSYS Org Blog76

    SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試

    大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。

    推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。

10月14日週三
  1. Google DeepMind78

    Gemini 4 Argon:面向複雜任務的多模態推理模型發布

    Gemini 4 Argon 已正式發布,提供 1M token 限制的多模態推理能力,助力工程、金融、法律等領域解決複雜任務。 - 核心特性:多模態推理、深度編碼、長期推理 1M token,支援多步驟任務。

    推薦理由:Gemini 4 Argon 以多模態推理為核心,突破工程、金融、法律等領域複雜任務,並在多項基準上領先同類模型,為企業與研究者提供可落地的效能提升,並開放 API 供開發者快速整合,實現 1M token 限制,支援長期推理。

10月13日週二
10月9日週五
  1. Microsoft ONNX Runtime Releases74

    ONNX Runtime CUDA Plugin EP 0.3.0 發布

    ONNX Runtime CUDA Plugin EP 0.3.0 正式發布,針對模型推理與硬體加速帶來多項關鍵功能更新與效能最佳化。 - 核心亮點:加入稀疏注意力機制(Sparse Attention)與打包連續批次(Packed Continuous-Batching)支援,並引進 INT2 與混合寬度 QMoE 執行、解碼核心調校及可靠性修復。

    推薦理由:微軟釋出 ONNX Runtime CUDA Plugin EP 0.3.0,加入稀疏注意力與 INT2 混合量化等效能最佳化功能,開發者可據此評估升級以提升模型推論效率。

  2. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月2日週五
  1. AWS Machine Learning Blog72

    利用 AWS 上的情境多臂賽局提升獲客漏斗轉換率

    本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。

    推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。

10月1日週四
  1. Google DeepMind72

    Gemini 4 Argon 釋出:開啟前沿智慧新時代

    Google DeepMind 推出了 Gemini 4 Argon,這是一款具備長推理、跨領域多模態能力的前沿模型。Argon 在軟體工程、金融、法律和網路安全等行業基準上重新整理記錄,並已在內部工作流中提升效率;其 1M token 輸出上限和 $2/百萬輸入、$10/百萬輸出的價格為開發者提供更高性價比。

    推薦理由:Gemini 4 Argon 通過大幅提升推理長度和多模態能力,顯著提升軟體工程、金融與網路安全等領域的工作效率,並在多項行業基準上重新整理記錄,幫助企業加速技術迭代。

9月29日週二
  1. vLLM Official Blog86

    vLLM 分離式提供實務指南:拆分預填與解碼

    本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。

    推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。

9月16日週三
  1. LMSYS Org Blog76

    SGLang、Qwen 和 NVIDIA 團隊評測 NVFP4 KV cache,提升長上下文推論速度

    對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。

    推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。

9月8日週二
9月3日週四
8月26日週三
  1. LMSYS Org Blog78

    SGLang 在發布當天支援千問 Qwen3.8-Flash-Next

    長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。

    推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。

8月25日週二
  1. Hugging Face Blog74

    Granite 4.2 LLM:構建過程

    Granite 4.2 是 IBM 推出的三種規模(3B、8B、30B)的稠密解碼器推理 LLM,基於 Granite‑4.1 預訓練模型,使用約 15T 令牌的五階段訓練策略,擴充套件上下文視窗至 512K,並通過監督微調和多階段強化學習(包括 agentic RL)實現鏈式思考、工具呼叫與低成本思考模式。

    推薦理由:Granite 4.2 通過多階段 RL 訓練實現強推理與工具呼叫能力,讀者可瞭解其技術細節與效能提升。

8月21日週五
  1. LMSYS Org Blog71

    SGLang 團隊拆解 Ling-3.0-flash 如何在 Blackwell GPU 上加快推論

    一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。

    推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。

8月18日週二
  1. LMSYS Org Blog79

    Miles v0.1 推出完整的前沿模型後訓練系統

    訓練 AI 助理使用工具時,每個任務花的時間不同,等待最慢的任務會讓 GPU 閒著。Miles v0.1 把模型生成、訓練和更新權重接成可同時進行的流程;每個任務在自己的隔離環境中執行,完成後就能接著訓練。文章也示範用 64 張 NVIDIA GB300 訓練 GLM-5.2,模型能在終端操作任務中持續學習。這套系統也支援低精度訓練、不同訓練後端和 AMD GPU,讓研究人員與開發者能依裝置和訓練方式調整流程。

    推薦理由:Miles 把生成、訓練與權重更新接成非同步流程,文中以 64 張 GB300 訓練 GLM-5.2 的實例,展示這套做法如何支援大型模型的終端操作訓練。

8月11日週二
  1. LMSYS Org Blog74

    NVIDIA 推出 Nemotron 3.5 Lightning,SGLang 同步支援

    要讓 AI 助理長時間處理大量工作,模型得兼顧速度、準確度和部署方式。NVIDIA 推出 Nemotron 3.5 Lightning,並由 SGLang 在 Day 0 提供支援;這個模型共有 30B 引數,每次運算啟用 3B,支援最多 1 million tokens 的上下文視窗,也能針對特定工作流程再訓練。它提供 MTP、DFlash 和 DSpark 三種推測解碼方式,先猜後驗證多個 token 來加快生成;原文稱,在相近準確度下,部分 AI 助理任務可快最多 30%。開發者也能控制每個步驟是否進行推理,依工作難度調整回應方式。

    推薦理由:Nemotron 3.5 Lightning 把模型蒸餾、推測解碼與 SGLang 支援放在同一篇說明,能看出部署時如何取捨生成速度與工作需求。

8月4日週二
  1. LMSYS Org Blog78

    SpecForge v0.3.0 拆開推論與訓練流程,支援更多推測解碼方法

    訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法;團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。

    推薦理由:SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。

7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月27日週一
  1. vLLM Official Blog83

    vLLM 宣佈支援 **Kimi K3**:提供 Day-0 高效部署與效能最佳化指南

    vLLM 官方宣佈對 Kimi K3 模型提供 Day-0 完整支援,帶來混合快取、推測解碼與生產環境最佳化。 - 模型架構:Kimi K3 是一個 2.8 兆引數的混合專家(MoE)多模態模型,每個 token 啟用 16 個專家(共 896 個),支援 1M token 上下文視窗與原生視覺能力。

    推薦理由:vLLM 官方釋出針對 **Kimi K3** 的 Day-0 支援與完整效能最佳化方案,讀者可透過文內設定與架構解析評估其在大規模生產環境中的部署與加速策略。

  2. LMSYS Org Blog82

    SGLang 和 Miles 在 Kimi K3 發布當天提供推論與強化學習訓練支援

    Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。

    推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。