vLLM 透過 Ray Direct Transport (RDT) 實現大規模分片權重傳輸
本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸,將同步時間從 64.72 秒縮短至 3.49 秒,實現 1,049 GB/s 的頻寬。
推薦理由:此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒,對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。
把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸,將同步時間從 64.72 秒縮短至 3.49 秒,實現 1,049 GB/s 的頻寬。
推薦理由:此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒,對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。
一次只處理一個請求時,GPU 和主機之間的等待很難被其他工作抵銷,使用者也得等更久。SGLang 團隊在 4 張 Blackwell GPU 上調校 Ling-3.0-flash,先減少主機等待,再合併 GPU 工作,並比較兩種猜測解碼方法。單次請求測試中,NEXTN 的平均每個輸出 token 等待時間從 3.33 ms 降到 1.53 ms;相同條件下,DSpark 降到 0.78 ms,輸出速度為 1120 tok/s。測試使用固定的隨機輸入,這些數字反映該測試設定下的結果。
推薦理由:這篇拆解單次請求推論的延遲來源,並比較 NEXTN 與 DSpark 在相同機器和測試條件下的表現,呈現各項調校如何縮短等待時間。
大型模型服務重新啟動時,光是從硬碟載入權重就可能要等好幾分鐘。SGLang 的 Weight Cache Daemon 會把處理好的模型權重留在 GPU 記憶體裡;引擎重啟時,可直接共用這些資料,省去重新讀取和處理權重的時間。以 Ling-2.6-1T FP8 為例,權過載入時間從約 495 秒降到約 0.63 秒,完整啟動時間則從 8.8 分鐘降到 0.528 分鐘。這項功能目前已驗證未量化與區塊式 FP8,其他量化方式仍需加入支援並完成驗證。
推薦理由:原文以 Ling-2.6-1T FP8 的實測比較,說明共享 GPU 權重如何縮短 SGLang 重啟時間,也交代目前支援的量化方式有限。
DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。
推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。
訓練 AI 助理使用工具時,每個任務花的時間不同,等待最慢的任務會讓 GPU 閒著。Miles v0.1 把模型生成、訓練和更新權重接成可同時進行的流程;每個任務在自己的隔離環境中執行,完成後就能接著訓練。文章也示範用 64 張 NVIDIA GB300 訓練 GLM-5.2,模型能在終端操作任務中持續學習。這套系統也支援低精度訓練、不同訓練後端和 AMD GPU,讓研究人員與開發者能依裝置和訓練方式調整流程。
推薦理由:Miles 把生成、訓練與權重更新接成非同步流程,文中以 64 張 GB300 訓練 GLM-5.2 的實例,展示這套做法如何支援大型模型的終端操作訓練。
大型語言模型推論會連續啟動許多 GPU 操作,反覆由 CPU 發出指令可能拖慢速度。SGLang 團隊整理了 CUDA Graph 的做法,並把執行流程和捕捉方式拆開,讓預填充、解碼等工作能選用不同策略。文中重點介紹 BCG:遇到不適合錄進圖形的操作時,先讓它照常執行,再接著捕捉後面的工作,因此不必先用編譯器分析整個流程。團隊測得,單看預填充速度,BCG 比直接執行快 1.70 倍;完整捕捉快 1.93 倍,但目前仍屬實驗功能,主要支援 FlashAttention(fa4)和 FlashInfer。
推薦理由:文章比較三種 CUDA Graph 預填充捕捉方式,說明 BCG 如何減少編譯等待與重複記憶體佔用,並交代完整捕捉目前的適用限制。
大型模型有不同的運算狀態,讓伺服器難以安排工作,也可能拖慢速度。SGLang 和 Miles 宣佈在 Qwen3.8 推出當天就支援這個模型,並加入快取、資料傳送與推測解碼等處理方式,讓不同階段能採用各自適合的配置。文章列出多種測試結果,其中一種 NVFP4 配置在 8K 輸入、1K 輸出的測試中,每張 GPU 每秒處理 5,126 個 token;這些數字反映特定硬體與配置下的表現。
推薦理由:文章拆解 SGLang 如何處理 Qwen3.8 的多種運算狀態,並比較不同部署配置的吞吐量與單人速度,呈現服務大型模型的工程取捨。
Mistral AI 宣佈推出區域推理端點和優先服務層,支援在歐洲或美國執行推理,並提供 1 GW 計算容量目標。公司還將平臺開放給第三方模型,首批支援 Z.ai 的 GLM‑5.2,所有模型均在同一基礎設施下滿足區域控制與 SLA。為保障歐洲長期 AI 計算需求,Mistral 正與企業組建聯盟,形成歐洲計算單元(ECU)以鎖定多年容量。
推薦理由:Mistral 推出區域推理端點和開放模型支援,幫助企業實現 AI 主權與合規。
想在自己的電腦上執行多模態 AI 助理,速度和硬體需求常是難題。SGLang 宣佈從 Muse Glimmer 推出的第一天就提供支援,讓開發者能在多種 NVIDIA 顯示卡、DGX Spark 和 Apple Silicon 裝置上執行這個 30B 模型。文章列出不同硬體與設定下的速度:在 RTX 5090 上使用 NVFP4 和 DFlash 時,每位使用者每秒可生成 236 個 token,批次輸出速度最高為每秒 1,452 個 token。DFlash 能加快多數測試設定的互動速度,但 Apple Silicon 的 MLX 後端目前不支援這項功能。
推薦理由:Muse Glimmer 加入 SGLang 首日支援後,可在多種本機硬體上執行;文中資料也比較了不同平臺與解碼方式的速度差異。
AI 模型在伺服器上回答問題時,注意力運算、專家選擇和資料搬動都可能拖慢速度。Tencent Hunyuan 團隊把 HPC-Ops 的三種運算元整合進 SGLang,分別調整長短請求混在一起時的注意力運算、保留專家選擇所需的計算精度,以及減少小型專家運算前後的資料搬動。在 8 張 H20 顯示卡上,Hy3-FP8 同時使用注意力與 MoE 運算元後,部分批次的每個輸出詞元延遲降低 15.1–48.8%;LongCat-Flash-Lite-FP8 使用 Router GEMM 時,輸入處理速度提升 5.5–6.1%。這些結果來自文中列出的特定模型與測試設定。
推薦理由:HPC-Ops 三種運算元已整合進 SGLang,文中用 H20 與 H200 測試說明它們在不同模型和工作量下的速度變化。
vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。
推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。
本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。
推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。
訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法;團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。
推薦理由:SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。
團隊想在 GPU 和 TPU 之間更換硬體時,常得改用不同工具或重做部署。RadixArk 和 Google Cloud 合作,讓開源推論框架 SGLang 能在 Google TPU 上執行:目前可透過 SGL-JAX 使用,支援多種大型語言模型、多模態模型和影像及影片生成模型;RadixArk 也預計在今年稍晚推出以 PyTorch 為基礎的 SGL-torchtpu。團隊可以沿用同一套 SGLang API,依工作需求和價格效能選擇 GPU 或 TPU。
推薦理由:SGLang 已可透過 SGL-JAX 在 TPU 上執行,後續還會加入 PyTorch 原生後端,讓團隊沿用相同 API 跨硬體部署。
K-Search 透過結合 CUDA 核心最佳化知識與 MLX 翻譯層,成功將 NVIDIA GPU 的高效實作自動轉換至 Apple Silicon,達到接近專家水平的效能。
推薦理由:本研究展示如何將 CUDA 核心最佳化知識自動轉移至 Apple Silicon,為跨平臺 GPU 核心開發提供可落地方法。
vLLM 在 Arm Neoverse CPU 上的服務效能大幅提升。 - 可用性:新增預建 wheels、Docker、INT8、INT4 推理支援,並支援 GPT‑OSS、Whisper、Qwen 3.5/3.6。
推薦理由:本報告詳述 vLLM 在 Arm CPU 上的效能最佳化,對於需在低成本硬體上部署 LLM 的工程師提供可落地的改進方案。
強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。
推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。
支援越來越多模型格式和硬體後,SGLang 的量化程式變得難維護,新增一種格式或硬體也可能牽動其他部分。這篇文章說明 SGLang 正把工作拆成幾層:一層讀懂模型檔案的格式,一層負責把權重放進模型,另一層處理特定硬體上的轉換與執行。這樣不同格式可以共用同一套硬體程式,格式和硬體也能分開測試與更新。文章也列出 Qwen3-30B-A3B 在不同量化方式下的速度、準確度和權重大小比較;架構仍在逐步調整中,後續計畫還包括擴大格式與硬體支援。
推薦理由:文章拆解 SGLang 量化架構如何把格式處理與硬體執行分開,說明這樣的設計如何減少重複工作,讓新格式與後端更容易各自擴充。
Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。
推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。
學生模型可以學會教師模型的回答方式,但訓練時如果只靠任務獎勵,不一定能教會它用更短的推理完成工作。LMSYS Org 為 Miles 加入 OPD,讓學生模型能只跟著教師模型學,也能把教師指引和任務獎勵一起用;新的稀疏評分流程只請教師模型評分各位置需要的候選 token,減少多餘資料的傳送與解析。在千問 Qwen3.5-35B-A3B 的自我蒸餾實驗中,任務獎勵設為零,學生模型的回答長度從約 18.6k tokens 降至多數約 5.5k–6.7k tokens,保留的 DAPO 表現也從 0.8457 升至 0.8945。這是初步驗證,其他模型和任務仍待測試。
推薦理由:Miles 的稀疏評分流程減少教師模型不必要的資料傳送與解析,實驗也呈現縮短推理與維持任務表現的結果。