最新精選
第 321–340 條 · 共 349 條新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。
推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。
導語:NVIDIA 與 Microsoft 於 10 月 7 日在舊金山共同推出 RTX Spark,將完整 AI 堆疊帶入 Windows,並公佈 Microsoft Execution Containers(MXC)以支援安全、持續執行 AI 代理。
推薦理由:NVIDIA 與 Microsoft 推出 RTX Spark,將 AI 堆疊帶入 Windows,為多代理提供運算與執行。
- Hugging Face Blog精選品質評分7676
Nemotron 3 透過精細調校,取得 IOI 2026 535.4/600 及 IMO 2026 30/42 的金牌級成績,證明基礎模型可轉化為領先競賽專家。
推薦理由:透過精調 Nemotron,作者證明基礎模型可轉化為 IOI、IMO 金牌級專家,提供可複製的專家化流程。
- vLLM Official Blog精選品質評分8686
DeepSeek‑V4.1‑Flash 與 vLLM 結合後,三週內在 AgentX benchmark 上達到 5.3 倍 的吞吐量提升,低併發下 1.9 倍速度。
推薦理由:本文說明結合 DeepSeek‑V4.1‑Flash 與 vLLM 的 SWA bounded replay、CUDA graphs 等最佳化技巧,並展示實際 TTFT 減少 30–40% 的效果,幫助讀者提升推理效能。
- Recode China AI精選品質評分8585
DeepSeek 與 Huawei 針對 Nvidia 的 CUDA 鎖定釋出全套工具,並同步 Manus 以 Cue 個人代理重啟,點燃代理戰爭。
推薦理由:DeepSeek 和華為的舉措揭示中國 AI 硬體與模型共設計趨勢,對 Nvidia 產業格局構成挑戰。
- vLLM Official Blog精選品質評分7878
vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。
推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。
- vLLM Official Blog精選品質評分7272
vLLM 透過整合 NVIDIA GPU 的硬體解碼(PyNvVideoCodec)\,將影片字幕任務的解碼工作從 CPU 移至 GPU,實現多 GPU 伺服器的吞吐量提升。
推薦理由:本次更新將硬體解碼與多 GPU 伺服器結合,提升影片字幕任務吞吐量,對 AV 研發與資料標註流程有直接效益。
NVIDIA 在 AI Infra Summit 上釋出了 Vera Rubin 架構與 DSX 平臺,其中 Vera Rubin NVL72 系統在 MLPerf Inference v6.1 預覽測試中展現出顯著的吞吐量優勢。多項生態合作與基準測試顯示,新平臺通過電源最佳化和軟體協同,大幅提升了每瓦 tokens 產出與 agentic ワークロード的執行效率。
推薦理由:原文公佈了 Vera Rubin 架構在多個基準測試中的效能表現,讀者可以據此評估新一代 AI 基礎設施在能效和吞吐量上的提升幅度。
對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。
推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。
- vLLM Official Blog精選品質評分7979
本文說明瞭在 vLLM 中對 Kimi K3 進行的多項效能最佳化,最終吞吐量提升至 2.8 倍。 - 最終吞吐量:2.8× - 主要最佳化:自適應 speculative token。
推薦理由:本文詳細說明瞭多項效能最佳化技術,對於需要高吞吐量 Kimi K3 部署的工程師具有實務參考價值,可直接落地。
生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。
推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。
- Epoch AI Gradient Updates精選品質評分7272
**美國 AI 投資每年約 $400 億美元,卻因統計缺口被低估 0.3 個百分點 GDP 成長;若 Nvidia 持續增長,缺口可能在 2028 年擴大至 2 個百分點。
推薦理由:揭示 AI 投資對美國 GDP 影響被低估的真相,幫助政策制定者更準確評估產業貢獻,並指出未來數年可能達到兩個百分點的增長缺口。
- Recode China AI精選品質評分8585
Unitree 在上海科創板上市首日股價暴漲 629%,市值逼近 $66 B,但隨後兩個交易日即跌落近 $10 B。 - Unitree IPO:創造中國機器人市值新高,創辦人王興興淨值飆升約 $18 B。
推薦理由:Unitree IPO 亮相證明中國機器人產業已成百億市值新星,Nvidia 晶片出口政策變動則揭示中美技術競賽新動態。
- vLLM Official Blog精選品質評分7777
vLLM-Omni 0.27.0 版加入分散式層級解除安裝 (DLO) 與 AllGather,可讓 200B+ DiT 模型跨多個 NPU 或 GPU 以最小主機記憶體執行。
推薦理由:此文詳細說明如何利用 vLLM-Omni 的分散式層級解除安裝,讀者可快速部署 200B+ DiT 模型並評估效能。
要讓 AI 助理長時間處理大量工作,模型得兼顧速度、準確度和部署方式。NVIDIA 推出 Nemotron 3.5 Lightning,並由 SGLang 在 Day 0 提供支援;這個模型共有 30B 引數,每次運算啟用 3B,支援最多 1 million tokens 的上下文視窗,也能針對特定工作流程再訓練。它提供 MTP、DFlash 和 DSpark 三種推測解碼方式,先猜後驗證多個 token 來加快生成;原文稱,在相近準確度下,部分 AI 助理任務可快最多 30%。開發者也能控制每個步驟是否進行推理,依工作難度調整回應方式。
推薦理由:Nemotron 3.5 Lightning 把模型蒸餾、推測解碼與 SGLang 支援放在同一篇說明,能看出部署時如何取捨生成速度與工作需求。
- vLLM Official Blog精選品質評分8181
vLLM 官方部落格宣佈推出對 NVIDIA Nemotron 3.5 Lightning 的 Day-0 支援,這是一款專為全天候AI 助理(Agent)設計的可自訂開源混合式 MoE 模型,並透過多種推論加速技術提升吞吐量。
推薦理由:vLLM 宣佈首發支援 NVIDIA Nemotron 3.5 Lightning 模型,讀者可透過內文提供的配置指令與架構最佳化方案評估高吞吐量部署。
AI 模型在伺服器上回答問題時,注意力運算、專家選擇和資料搬動都可能拖慢速度。Tencent Hunyuan 團隊把 HPC-Ops 的三種運算元整合進 SGLang,分別調整長短請求混在一起時的注意力運算、保留專家選擇所需的計算精度,以及減少小型專家運算前後的資料搬動。在 8 張 H20 顯示卡上,Hy3-FP8 同時使用注意力與 MoE 運算元後,部分批次的每個輸出詞元延遲降低 15.1–48.8%;LongCat-Flash-Lite-FP8 使用 Router GEMM 時,輸入處理速度提升 5.5–6.1%。這些結果來自文中列出的特定模型與測試設定。
推薦理由:HPC-Ops 三種運算元已整合進 SGLang,文中用 H20 與 H200 測試說明它們在不同模型和工作量下的速度變化。
- Berkeley AI Research精選品質評分7777
K-Search 透過結合 CUDA 核心最佳化知識與 MLX 翻譯層,成功將 NVIDIA GPU 的高效實作自動轉換至 Apple Silicon,達到接近專家水平的效能。
推薦理由:本研究展示如何將 CUDA 核心最佳化知識自動轉移至 Apple Silicon,為跨平臺 GPU 核心開發提供可落地方法。
- Together AI Official Blog精選品質評分7373
ThunderAgent 是一套針對代理式推理的程式級排程系統,透過將每個代理工作流程抽象為可排程程式,解決 KV cache 抖動問題。\n- 效能提升:單節點吞吐率提升至 2.5 倍,平均延遲下降 10 倍;8 節點叢集加速 2.4 倍,近線性擴充套件。
推薦理由:本文提出程式級排程策略,消除 KV 快取抖動,單節點吞吐提升 2.5 倍,8 節點叢集加速 2.4 倍,對大規模代理式資料生成具有實際價值。
- Together AI Official Blog精選品質評分7777
Together AI 在 ICML 2026 展示了九篇跨層研究,從代理到 GPU 核心,涵蓋模型、演算法、系統與硬體最佳化。 - 代理層:DSGym 1,000+ 任務、10+ 領域;ThunderAgent 3.6× 推理吞吐量、3.9× RL 迭代速度提升。
推薦理由:Nine ICML 2026 論文涵蓋從代理到 GPU 核心的全棧研究,讀者可洞悉跨層最佳化的實際效能與落地策略,並展示多層協同效益與實際部署案例。