vLLM 如何使用 GB300 NVL72 為 Kimi-K3 訓練高速 DSpark
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程，為 Kimi K3 訓練 DSpark 草稿模型，並將其整合至 vLLM 推論服務。
推薦理由：文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態，並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
Kimi / 月之暗面
全部主題月之暗面 Kimi 系列模型與產品動態：K 系列開源模型、長上下文技術與產品演進的追蹤。
最新精選
第 21–35 條 · 共 35 條vLLM Official Blog精選品質評分7575
Modal Engineering Blog精選品質評分6969 Modal 產品更新：Sandbox Sidecars、新模型與全新儀錶板
Modal 產品更新 - 多模型支援：Kimi K3、Qwen 3.8、GLM 5.3 及 GLM 5.3 Flash 皆可即時使用，提供 Shared Endpoint（token 計費）與 Dedicated Endpoint（GPU 秒計費）。
推薦理由：Modal 新增多模型支援與沙盒功能，提供多種 Endpoint 計費模式與更細緻的使用者預算控制，協助開發者快速部署與調整成本。
vLLM Official Blog精選品質評分7979 vLLM 中 Kimi K3 效能最佳化：實現 2.8 倍吞吐量之路
本文說明瞭在 vLLM 中對 Kimi K3 進行的多項效能最佳化，最終吞吐量提升至 2.8 倍。 - 最終吞吐量：2.8× - 主要最佳化：自適應 speculative token。
推薦理由：本文詳細說明瞭多項效能最佳化技術，對於需要高吞吐量 Kimi K3 部署的工程師具有實務參考價值，可直接落地。
vLLM Official Blog精選品質評分7676 vLLM x AgentX：針對實務代理服務的最佳化
vLLM 在 AgentX 基準上實現高效能與成本優勢，提供可驗證的全棧最佳化方法。 - 總吞吐量：在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec，MiniMax M3 互動率 376 tokens / sec。
推薦理由：本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢，並提供可驗證的全棧最佳化方法，對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。
SGLang Releases精選品質評分8383 SGLang v0.5.19 發布：帶來 Beam 搜尋、DeepEP v2 與全方位效能最佳化
SGLang 正式發布 v0.5.19 版本，此次更新匯集來自 214 位貢獻者的 786 個 PR，全面提升大模型與擴散模型的推論效能、硬體相容性與快取機制。
推薦理由：原文詳細列出各項核心效能改進與硬體支援，開發者可據此評估升級至新版本對模型推論吞吐量與延遲的實質助益。
Recode China AI精選品質評分8585 Unitree 爆款上市、Nvidia 晶片獲北京綠燈與大廠 AI 投注
Unitree 在上海科創板上市首日股價暴漲 629%，市值逼近 $66 B，但隨後兩個交易日即跌落近 $10 B。 - Unitree IPO：創造中國機器人市值新高，創辦人王興興淨值飆升約 $18 B。
推薦理由：Unitree IPO 亮相證明中國機器人產業已成百億市值新星，Nvidia 晶片出口政策變動則揭示中美技術競賽新動態。
Dan Luu Blog精選品質評分6161 基準災難：LLM 生成測試被操縱的警鐘
Dan Luu 在其部落格中警示 LLM 生成的基準測試易被操縱，並以 FRE（Regex Engine）為例說明。 - 基準操縱：LLM 可在毫秒內調整程式碼，使 SPECint、SPECfp 等測試顯示高效能，但實際效能不增。
推薦理由：文章揭示 LLM 生成的基準測試易被操縱，提醒開發者必須審核測試設計以避免誤導性效能宣稱。
SGLang Releases精選品質評分8282 SGLang 發布 v0.5.17 版本
SGLang 正式發布 v0.5.17 版本，匯集 194 位貢獻者的 582 項 PR，全面升級推理與平行化效能： - 新模型日支援。
推薦理由：新版本帶來多項新模型支援與底層平行化最佳化，開發者可參考其升級日誌評估效能提升與架構調整。
vLLM Official Blog精選品質評分6565 vLLM 推出高效 Decode Context Parallelism，支援長上下文工作負載
vLLM 推出高效的 Decode Context Parallelism（DCP），針對長上下文推理提供 KV cache 的序列分片。 - 核心效能：在 8×B200 GPU 上使用 Kimi K2.6，DCP 在 512 個併發請求時達到 6,091 tok/s/GPU，遠超基線 1,863 tok/s/GPU。
推薦理由：本文透過實驗證明，Decode Context Parallelism 能顯著提升長上下文推理的併發度與吞吐量，對處理大規模程式碼或對話歷史的 Agent 服務具有實務參考價值。
Together AI Official Blog精選品質評分8383 Kimi K3：完整開發者指南
Kimi K3 是 Moonshot AI 旗艦的 2.8‑trillion‑parameter 開源模型，支援 1M 上下文長度與多模態輸入，並提供完整的 API 與工具使用範例。
推薦理由：Kimi K3 以 2.8T 引數、1M 上下文長度與開源權重，為開發者提供前沿長程編碼與推理能力。
vLLM Official Blog精選品質評分8383 vLLM 宣佈支援 **Kimi K3**：提供 Day-0 高效部署與效能最佳化指南
vLLM 官方宣佈對 Kimi K3 模型提供 Day-0 完整支援，帶來混合快取、推測解碼與生產環境最佳化。 - 模型架構：Kimi K3 是一個 2.8 兆引數的混合專家（MoE）多模態模型，每個 token 啟用 16 個專家（共 896 個），支援 1M token 上下文視窗與原生視覺能力。
推薦理由：vLLM 官方釋出針對 **Kimi K3** 的 Day-0 支援與完整效能最佳化方案，讀者可透過文內設定與架構解析評估其在大規模生產環境中的部署與加速策略。
Modal Engineering Blog精選品質評分7777 Moonshot 釋出 Kimi K3，Modal 平臺即時可用
Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型，擁有 1M token 上下文視窗與原生視覺功能，Modal 於發布當日即以 460 tokens/秒的速度執行。
推薦理由：Kimi K3 以 3T 引數與 1M token 上下文，結合高效推理與自動化推測，讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。
Import AI精選品質評分7272 Import AI 465：開放與封閉權重模型差距縮小；Kimi K3；Demis 的大規模政策計畫
UK AI Security Institute 在最新報告中指出，開放權重模型在網路安全領域的表現已逼近封閉模型，縮小了 4–10 個月的差距。 - 開放模型：GLM‑5.2 與 DeepSeek‑V4‑Pro 的評估分數與 4–7 個月前發布的 Claude Opus 4.6、GPT‑5 等封閉模型相近，顯示差距縮短。
推薦理由：本文以 UK AI Security Institute 的實驗資料說明開放權重模型在網路安全領域的進步，對安全研究者與政策制定者評估模型威脅與防禦視窗提供參考。
Modal Engineering Blog精選品質評分6868 強化學習：基礎設施瓶頸與 Modal Dojo 解決方案
強化學習：基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題：RL 後訓練需要三大獨立基礎設施，包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒；多節點擴充套件時權重同步成瓶頸。
推薦理由：文章闡述 RL 基礎設施瓶頸與解決方案，並提供 Modal Dojo 開源庫，協助團隊快速擴充套件大模型訓練，並降低基礎設施成本與開發複雜度。
Together AI Official Blog精選品質評分7373 Together AI 擴充微調服務，新增工具呼叫、推理與視覺支援
Together AI 推出新版微調服務，新增工具呼叫、推理與視覺語言模型支援，並提升至 100B+ 引數模型的高效微調。 - 工具呼叫：提供結構化驗證、全流程支援，適用 Qwen、Moonshot AI、Z.AI。
推薦理由：此更新提升工具呼叫、推理與視覺功能，讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%，並支援 100B+ 引數模型與 100GB 資料集的高效微調，並提供預估成本與 ETA 以利實驗規劃，並可在多模態任務中使用 Vision‑Language 模型微調。