vLLM 中 Kimi K3 高效最佳化:快速且負責任的推進
vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。
推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。
vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。
推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。
Vercel 發布 2026 年 10 月 AI Gateway 生產指數,指出開源模型在企業生產環境中的流量與支出佔比顯著增長。 - 流量與支出分佈:開源模型目前處理超過十分之七的 Gateway token,並佔將近四分之一的支出;整體 Gateway 支出較去年 12 月增長 13 倍,平均每個 token 價格下降 47%。
AI‑DLC 是一個開源框架,將 AI 編碼助手轉變為可驗證的工作流程,支援 Claude Code、Kiro CLI/IDE、Codex CLI、Cursor、opencode 與 GitHub Copilot。
vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。
推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。
Ollama 與 Fly.io 合作,將 Ollama Cloud 整合於 Fly.io Sprites,為 AI 代理提供安全沙盒環境。
本文說明如何透過迴圈工程降低 AI 生成程式的驗證成本,並提供可操作的檢查點與修正流程,幫助團隊快速定位問題。 - 核心概念:迴圈工程(outer, inner, build, learning loops)將 AI 生成、驗證與人類審查分離,提升流程透明度。
summary_zh: AI 仍未能完全自動化 AI 研發,最新測試顯示前沿模型在 InnovationEval 任務中僅達到 SDPO 原始效能的 15%。
本集聚焦 NVIDIA GPU 大量暴露漏洞與 AI 研究新進展,揭示跨領域安全風險與科學發現。 - NVIDIA GPU:上萬顆高階 GPU 暴露於公網,CVE-2026-47483,可能導致內網流量狂吃 1TB。
vLLM 現已支援 NVIDIA Vera Rubin NVL72,透過 Rubin‑tuned kernels 與 locality‑domain 技術,單張 GPU 的推理吞吐率比 GB200 NVL72 高達 7.8 倍,在 AgentX 端點與 MLPerf VLM 測試中分別提升 5.18 倍 與 3.7 倍。
推薦理由:本篇展示 vLLM 在新一代 NVIDIA Vera Rubin NVL72 上的 7.8 倍吞吐提升,並說明如何利用 Rubin‑tuned kernel 與 locality‑domain 技術達成高效代理推理,為部署高效代理模型提供實際效能參考。
summary_zh: 我將 AI Agent 部署於 Nokia 110 4G,打造可直接在手機鍵盤輸入並透過 DeepSeek chat API 執行多項功能的原生聊天應用。
DeepSeek 4.1 Flash 以每月 $10 的價格提供與前沿模型相媲美的效能,並透過 KV cache 最佳化將成本降至每次會話不到 $1。 - KV cache 下降約 437 倍,減少 GPU 記憶體使用,降低執行成本與環境負擔。
新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。
推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。
GPU 估算工具 讓使用者能快速計算在 1 億/兆/兆 tokens 的工作負載下,對應 Llama 3.3 70B 等模型所需的 GPU 數量。- 核心計算:1 兆 tokens/月(30 天)約 367 臺 H100 GPU,基於 1,000 tokens/s 的 H100 速度與 50% 利用率。
DeepSeek‑V4.1‑Flash 與 vLLM 結合後,三週內在 AgentX benchmark 上達到 5.3 倍 的吞吐量提升,低併發下 1.9 倍速度。
推薦理由:本文說明結合 DeepSeek‑V4.1‑Flash 與 vLLM 的 SWA bounded replay、CUDA graphs 等最佳化技巧,並展示實際 TTFT 減少 30–40% 的效果,幫助讀者提升推理效能。
Pyramid‑JiT 是一種無 VAE 的畫素空間文本到影像模型,透過多解析度預測顯著縮減訓練樣本與 GPU 時間。 - 訓練樣本:比 Linum v2 少 11.3 倍,僅 138M。
Together Link 讓工程團隊在不改變工作流程的情況下,將現有工具連結到 Together AI 的開放模型,並可節省 50% 以上的成本。 - 成本效益:相較於使用閉源模型,開放模型可節省超過 50% 的每月支出。
推薦理由:開放模型可使工程團隊成本下降超過五成,提供可直接套用於現有開發流程的成本效益方案,同時保持高效能與低延遲,讓團隊能即時切換至最佳模型。
summary_zh: 團隊在一個月內專注於 GLM 5.3 Flash,雖然首半月順利,但後半月因 1B tokens 分配到其他模型及基礎設施問題,導致成本與能源使用超標。
ds4 是一款為高記憶體 Mac、CUDA 與 ROCm 機器設計的 C 推理引擎,支援 DeepSeek V4、GLM 5.x、Qwen3.8 等大型模型。
summary_zh: OpenRouter 於 2026‑10‑02 推出 Model Router Benchmarks 頁面,讓使用者可比較 Auto Router、Free Models Router 等路由器在品質、速度與成本上的表現。
SGLang v0.5.21 正式發布,帶來重大效能最佳化與架構改進。新版本主要亮點包含: - 預設核心調整:統一的 radix cache 預設改由 Rust 核心運作。
推薦理由:原文提供版本更新與架構改進細節,讀者可據此評估推理效能與升級相容性。
| OpenAI 的 Opus 5.5 在 Show HN 上被賦予一個模擬畫布,並以程式碼方式創作油畫。 - 創作方式:模型寫程式控制油畫布模擬(毛刷、濕油、乾燥、分層釉彩),完全不使用影像模型。
Epoch AI 研究指出,未來兩年內產出的算力硬體若用於執行當今頂尖模型,將可支援數千萬至數億個 AI 助理,若執行更高效的模型更可達數十億個。
DeepSeek Harness 以外掛式架構提供可擴充的桌面與 Web 版 AI 助手,開放原始碼可直接整合於開發流程。 - 可擴充外掛:允許使用者新增或自行開發外掛,擴充套件工作流程。
本文介紹瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升。
推薦理由:本文詳細闡述瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升,幫助讀者快速搭建高效、成本友好的分散式 RL 基礎設施。
SGLang v0.5.20 釋出多模型支援、推理效能提升與跨平臺部署功能,協助開發者更快落地實際應用,並提供 CPU、GPU、XPU 等多硬體環境的最佳化實現,讓模型部署更靈活高效。
推薦理由:SGLang v0.5.20 釋出多模型支援、推理效能提升與跨平臺部署,協助開發者更快落地實際應用。
Open-weight 模型 在 AI Gateway 8 月份佔據 56% 的代幣量,首次超過所有封閉模型。 - 代幣成本:平均每代幣價格較 5 個月前下降 23.2%,中位團隊每代幣支付 7.6% 更低。
DeepSeek V4 系列並非單一模型,其中僅 DeepSeek V4.1 Flash 與 DeepSeek V4 Flash Vision Exp 支援原生影像輸入,其餘 Pro 與 Flash 檢查點皆為純文字模型。
NVIDIA 在 AI Infra Summit 上釋出了 Vera Rubin 架構與 DSX 平臺,其中 Vera Rubin NVL72 系統在 MLPerf Inference v6.1 預覽測試中展現出顯著的吞吐量優勢。多項生態合作與基準測試顯示,新平臺通過電源最佳化和軟體協同,大幅提升了每瓦 tokens 產出與 agentic ワークロード的執行效率。
推薦理由:原文公佈了 Vera Rubin 架構在多個基準測試中的效能表現,讀者可以據此評估新一代 AI 基礎設施在能效和吞吐量上的提升幅度。
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程,為 Kimi K3 訓練 DSpark 草稿模型,並將其整合至 vLLM 推論服務。
推薦理由:文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態,並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。
推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。
Axolotl v0.19.0 釋出宣告式模型支援與多新模型家族,提供更簡易的微調流程並提升推理效能。 - 宣告式模型支援:模型只需宣告差異,省去多處配置。
Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。
推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。
OpenRouter 正式推出複合式推理系統 Fusion,能將單一提示詞同時傳送給多個模型進行平行審議,並透過裁判模型與呼叫模型綜合產出最終解答。
部署 DeepSeek-V4.1 時,龐大的記憶體需求和複雜的運算流程會佔用硬體資源。SGLang 和 Miles 加入支援,讓 Engram 記憶表可放到主機記憶體,釋出 GPU 空間;也能只重算部分內容,減少前置處理時間。在測試中,主機記憶體配置讓 KV cache 容量增加 36%;有限重算則讓前置處理速度提升 1.56 倍或 1.37 倍。重算會帶來近似結果,部分功能也有限制,因此需要依工作需求選擇。
推薦理由:文章比較 DeepSeek-V4.1 的記憶體配置與有限重算方法,並列出吞吐量、正確率和功能限制,方便評估部署取捨。
vLLM 在 AgentX 基準上實現高效能與成本優勢,提供可驗證的全棧最佳化方法。 - 總吞吐量:在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec,MiniMax M3 互動率 376 tokens / sec。
推薦理由:本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢,並提供可驗證的全棧最佳化方法,對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。
MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。
推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。
Hugging Face 團隊釋出研究探討如何為 AI 助理配置自蒸餾記憶,評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現AI 助理記憶效果取決於模型能力層級:強模型適合注入完整記憶,較弱模型適合精選檢索,而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。
DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。
推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。
DeepSeek V4 Pro 0813 在 DeepSWE 基準中,單次回合成本僅 $0.24,比 Claude Fable 5 的 $21.63 低 90 倍。
vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。
推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。