跳到正文

#DeepSeek

RSS
今日 3 則
10月17日週六
  1. Hacker News (official RSS)59

    DeepSeek v4.1 Flash 1017 釋出

    DeepSeek v4.1 Flash 1017 是 DeepSeek 推出的高效多模態推理模型,提供 1M 上下文、1.25 秒延遲與 156 tps 的吞吐量,且僅收費 $0.15/M 內部輸入、$0.60/M 輸出,並支援影像輸入與工具呼叫。

10月16日週五
  1. vLLM Official Blog72

    vLLM 中 Kimi K3 高效最佳化:快速且負責任的推進

    vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。

    推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。

  2. Vercel Blog74

    Vercel 發布 2026 年 10 月 AI Gateway 生產指數:開源模型佔 71.5% 流量與 23% 支出

    Vercel 發布 2026 年 10 月 AI Gateway 生產指數,指出開源模型在企業生產環境中的流量與支出佔比顯著增長。 - 流量與支出分佈:開源模型目前處理超過十分之七的 Gateway token,並佔將近四分之一的支出;整體 Gateway 支出較去年 12 月增長 13 倍,平均每個 token 價格下降 47%。

10月15日週四
10月14日週三
  1. vLLM Official Blog85

    vLLM 官方推出強化學習訓練與推論位元級一致性方案與開源 Agent 技能

    vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。

    推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。

10月13日週二
10月12日週一
  1. Hacker News (official RSS)58

    迴圈工程:最佳化程式碼生成與驗證

    本文說明如何透過迴圈工程降低 AI 生成程式的驗證成本,並提供可操作的檢查點與修正流程,幫助團隊快速定位問題。 - 核心概念:迴圈工程(outer, inner, build, learning loops)將 AI 生成、驗證與人類審查分離,提升流程透明度。

10月11日週日
10月10日週六
10月9日週五
  1. vLLM Official Blog80

    vLLM 在 NVIDIA Vera Rubin NVL72 上實現 7.8 倍吞吐提升

    vLLM 現已支援 NVIDIA Vera Rubin NVL72,透過 Rubin‑tuned kernels 與 locality‑domain 技術,單張 GPU 的推理吞吐率比 GB200 NVL72 高達 7.8 倍,在 AgentX 端點與 MLPerf VLM 測試中分別提升 5.18 倍 與 3.7 倍。

    推薦理由:本篇展示 vLLM 在新一代 NVIDIA Vera Rubin NVL72 上的 7.8 倍吞吐提升,並說明如何利用 Rubin‑tuned kernel 與 locality‑domain 技術達成高效代理推理,為部署高效代理模型提供實際效能參考。

  2. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月7日週三
  1. vLLM Official Blog86

    DeepSeek‑V4.1‑Flash 在 vLLM 上自發布日起實現 5 倍 Agentic 推理吞吐量

    DeepSeek‑V4.1‑Flash 與 vLLM 結合後,三週內在 AgentX benchmark 上達到 5.3 倍 的吞吐量提升,低併發下 1.9 倍速度。

    推薦理由:本文說明結合 DeepSeek‑V4.1‑Flash 與 vLLM 的 SWA bounded replay、CUDA graphs 等最佳化技巧,並展示實際 TTFT 減少 30–40% 的效果,幫助讀者提升推理效能。

10月6日週二
10月5日週一
  1. Together AI Official Blog77

    Together Link:將團隊已使用的工具連結至開放模型,僅需一指令即可上線

    Together Link 讓工程團隊在不改變工作流程的情況下,將現有工具連結到 Together AI 的開放模型,並可節省 50% 以上的成本。 - 成本效益:相較於使用閉源模型,開放模型可節省超過 50% 的每月支出。

    推薦理由:開放模型可使工程團隊成本下降超過五成,提供可直接套用於現有開發流程的成本效益方案,同時保持高效能與低延遲,讓團隊能即時切換至最佳模型。

10月4日週日
10月3日週六
  1. SGLang Releases77

    SGLang v0.5.21 發布

    SGLang v0.5.21 正式發布,帶來重大效能最佳化與架構改進。新版本主要亮點包含: - 預設核心調整:統一的 radix cache 預設改由 Rust 核心運作。

    推薦理由:原文提供版本更新與架構改進細節,讀者可據此評估推理效能與升級相容性。

10月2日週五