跳到正文

#DeepSeek

RSS
今日 0 則
10月16日週五
  1. vLLM Official Blog72

    vLLM 中 Kimi K3 高效最佳化:快速且負責任的推進

    vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。

    推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。

  2. Vercel Blog74

    Vercel 發布 2026 年 10 月 AI Gateway 生產指數:開源模型佔 71.5% 流量與 23% 支出

    Vercel 發布 2026 年 10 月 AI Gateway 生產指數,指出開源模型在企業生產環境中的流量與支出佔比顯著增長。 - 流量與支出分佈:開源模型目前處理超過十分之七的 Gateway token,並佔將近四分之一的支出;整體 Gateway 支出較去年 12 月增長 13 倍,平均每個 token 價格下降 47%。

10月15日週四
10月14日週三
  1. vLLM Official Blog85

    vLLM 官方推出強化學習訓練與推論位元級一致性方案與開源 Agent 技能

    vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。

    推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。

10月13日週二
10月12日週一
  1. Hacker News (official RSS)58

    迴圈工程:最佳化程式碼生成與驗證

    本文說明如何透過迴圈工程降低 AI 生成程式的驗證成本,並提供可操作的檢查點與修正流程,幫助團隊快速定位問題。 - 核心概念:迴圈工程(outer, inner, build, learning loops)將 AI 生成、驗證與人類審查分離,提升流程透明度。

10月10日週六
10月9日週五
  1. vLLM Official Blog80

    vLLM 在 NVIDIA Vera Rubin NVL72 上實現 7.8 倍吞吐提升

    vLLM 現已支援 NVIDIA Vera Rubin NVL72,透過 Rubin‑tuned kernels 與 locality‑domain 技術,單張 GPU 的推理吞吐率比 GB200 NVL72 高達 7.8 倍,在 AgentX 端點與 MLPerf VLM 測試中分別提升 5.18 倍 與 3.7 倍。

    推薦理由:本篇展示 vLLM 在新一代 NVIDIA Vera Rubin NVL72 上的 7.8 倍吞吐提升,並說明如何利用 Rubin‑tuned kernel 與 locality‑domain 技術達成高效代理推理,為部署高效代理模型提供實際效能參考。

  2. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月7日週三
  1. vLLM Official Blog86

    DeepSeek‑V4.1‑Flash 在 vLLM 上自發布日起實現 5 倍 Agentic 推理吞吐量

    DeepSeek‑V4.1‑Flash 與 vLLM 結合後,三週內在 AgentX benchmark 上達到 5.3 倍 的吞吐量提升,低併發下 1.9 倍速度。

    推薦理由:本文說明結合 DeepSeek‑V4.1‑Flash 與 vLLM 的 SWA bounded replay、CUDA graphs 等最佳化技巧,並展示實際 TTFT 減少 30–40% 的效果,幫助讀者提升推理效能。

10月5日週一
  1. Together AI Official Blog77

    Together Link:將團隊已使用的工具連結至開放模型,僅需一指令即可上線

    Together Link 讓工程團隊在不改變工作流程的情況下,將現有工具連結到 Together AI 的開放模型,並可節省 50% 以上的成本。 - 成本效益:相較於使用閉源模型,開放模型可節省超過 50% 的每月支出。

    推薦理由:開放模型可使工程團隊成本下降超過五成,提供可直接套用於現有開發流程的成本效益方案,同時保持高效能與低延遲,讓團隊能即時切換至最佳模型。

10月3日週六
  1. SGLang Releases77

    SGLang v0.5.21 發布

    SGLang v0.5.21 正式發布,帶來重大效能最佳化與架構改進。新版本主要亮點包含: - 預設核心調整:統一的 radix cache 預設改由 Rust 核心運作。

    推薦理由:原文提供版本更新與架構改進細節,讀者可據此評估推理效能與升級相容性。

10月2日週五
9月26日週六
9月19日週六
9月17日週四
9月16日週三
  1. NVIDIA Blog72

    NVIDIA 釋出 Vera Rubin 架構與 DSX 平臺,展示 AI 工廠能效與吞吐量提升

    NVIDIA 在 AI Infra Summit 上釋出了 Vera Rubin 架構與 DSX 平臺,其中 Vera Rubin NVL72 系統在 MLPerf Inference v6.1 預覽測試中展現出顯著的吞吐量優勢。多項生態合作與基準測試顯示,新平臺通過電源最佳化和軟體協同,大幅提升了每瓦 tokens 產出與 agentic ワークロード的執行效率。

    推薦理由:原文公佈了 Vera Rubin 架構在多個基準測試中的效能表現,讀者可以據此評估新一代 AI 基礎設施在能效和吞吐量上的提升幅度。

9月15日週二
9月11日週五
  1. Together AI Official Blog81

    Together AI 擴充 Fine‑Tuning 服務:新增多款模型、即時指標與更精細控制

    Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。

    推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。

9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

  2. LMSYS Org Blog77

    SGLang 和 Miles 加入 DeepSeek-V4.1 首日支援

    部署 DeepSeek-V4.1 時,龐大的記憶體需求和複雜的運算流程會佔用硬體資源。SGLang 和 Miles 加入支援,讓 Engram 記憶表可放到主機記憶體,釋出 GPU 空間;也能只重算部分內容,減少前置處理時間。在測試中,主機記憶體配置讓 KV cache 容量增加 36%;有限重算則讓前置處理速度提升 1.56 倍或 1.37 倍。重算會帶來近似結果,部分功能也有限制,因此需要依工作需求選擇。

    推薦理由:文章比較 DeepSeek-V4.1 的記憶體配置與有限重算方法,並列出吞吐量、正確率和功能限制,方便評估部署取捨。

9月8日週二
  1. vLLM Official Blog76

    vLLM x AgentX:針對實務代理服務的最佳化

    vLLM 在 AgentX 基準上實現高效能與成本優勢,提供可驗證的全棧最佳化方法。 - 總吞吐量:在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec,MiniMax M3 互動率 376 tokens / sec。

    推薦理由:本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢,並提供可驗證的全棧最佳化方法,對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。

8月29日週六
  1. LMSYS Org Blog65

    SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3

    MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。

    推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。

8月19日週三
  1. Hugging Face Blog65

    AI 助理究竟需要多少記憶容量:ALTK-Evolve 評測與劑量校準方法

    Hugging Face 團隊釋出研究探討如何為 AI 助理配置自蒸餾記憶,評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現AI 助理記憶效果取決於模型能力層級:強模型適合注入完整記憶,較弱模型適合精選檢索,而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。

  2. LMSYS Org Blog83

    LMSYS 團隊實測 DeepSeek-V4-Pro 如何在 H20 上提升服務效能

    DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。

    推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。

8月17日週一
8月14日週五
  1. vLLM Official Blog74

    vLLM 推出 DSpark 自適應驗證功能

    vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。

    推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。