跳到正文

#DeepSeek

RSS
今日 0 則
8月11日週二
  1. Hugging Face Blog68

    想用 ACE 嗎?ALTK-Evolve 用更少 Token 實現

    Hugging Face 部落格介紹了 ALTK-Evolve 庫,該庫通過高效的記憶檢索實現與 ACE 相比更低的 Token 消耗,同時保持或提升準確率。ALTK-Evolve 與 ACE 都利用代理自身軌跡學習,但在記憶構建和交付方式上不同:ACE 採用完整的 playbook 注入,而 ALTK-Evolve 只檢索模型可用的指導原則,從而顯著降低推理 token。

  2. SGLang Releases82

    SGLang 發布 v0.5.17 版本

    SGLang 正式發布 v0.5.17 版本,匯集 194 位貢獻者的 582 項 PR,全面升級推理與平行化效能: - 新模型日支援。

    推薦理由:新版本帶來多項新模型支援與底層平行化最佳化,開發者可參考其升級日誌評估效能提升與架構調整。

8月7日週五
8月6日週四
  1. Hugging Face Blog53

    Baseten 接入 Hugging Face Inference Providers

    Baseten 現已成為 Hugging Face Hub 的推理提供商,支援在模型頁面和 JS/Python 客戶端 SDK 中直接呼叫無伺服器推理服務。首批上線支援對話和文本生成任務,涵蓋 DeepSeek V4 Flash、GLM-5.2 等開源權重模型。使用者可通過自定義 API 金鑰或由 Hugging Face 路由兩種模式呼叫,並已整合至多個主流 Agent 框架中。

7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月28日週二
  1. openrouter blog68

    如何跨延遲、吞吐量與正常執行時間評估大模型服務商效能

    OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。

7月26日週日
7月25日週六
7月21日週二
7月13日週一
  1. Cognition / Devin Blog74

    Fable 在 Fusion 架構下成本低於 Opus

    Fable 5 在 Devin Fusion 架構下的成本低於 Opus 4.8,同時取得更高分數。 - 成本比較:Fable + Sidekick 每次執行成本 $1.86,低於 Opus + Sidekick $2.04。

    推薦理由:實驗顯示,Fable 5 在 Fusion 架構下成本更低、效能更高,說明管理風格可顯著影響代理成本與效能

7月10日週五
  1. LMSYS Org Blog67

    AMD 讓 DeepSeek-V4 Flash 能在 Instinct MI355X 上進行強化學習訓練

    讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。

    推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。

7月8日週三
  1. Cognition / Devin Blog56

    測量開源衍生模型的可信度

    測量開源衍生模型的可信度 - 評估工具:Cognition 建立了結合直接提問與真實編碼場景的評估套件,涵蓋宣傳、拒絕與差異化安全等三大維度。 - 實驗物件:對 Kimi K2.7 Code、DeepSeek‑V4、GLM 5.2、GPT 5.5、Claude Opus 4.8 以及新開發的 SWE‑1.7 進行測試。

7月6日週一
  1. LMSYS Org Blog74

    SGLang 整合 DSpark,依請求把握度調整推測解碼

    推測解碼能減少模型逐步產生文字的時間,但同時驗證太多候選文字,負載一高也會拖慢服務。SGLang 團隊把 DSpark 整合進服務引擎,讓系統依每筆請求的預測把握度,決定要驗證多少候選文字;較有把握的請求可用較短的驗證範圍,降低運算負擔。文章用 DeepSeek-V4 等模型展示測試結果,並說明如何讓不同請求在同一批次採用不同範圍。團隊也提醒,測試硬體和流量與論文不同,重點是呈現運作方式與趨勢,數字不應直接視為論文結果的重現。

    推薦理由:SGLang 團隊展示 DSpark 如何依各請求的預測把握度調整驗證長度,並比較不同負載下的吞吐量與延遲表現。

7月1日週三
  1. Hugging Face Blog68

    Hugging Face 與 Cerebras 推出基於 Gemma 4 的即時語音 AI

    Hugging Face 與 Cerebras 聯合推出將開源語音 AI 架構與高速推理相結合的即時語音方案,實現自然的語音到語音互動。該開源級聯語音堆疊由 Nvidia Parakeet 進行語音識別、Cerebras 執行 Google DeepMind 的 Gemma 4 31B 模型進行推理、以及 Alibaba 的 Qwen3TTS 生成語音,並已應用於 Reachy Mini 機器人。

6月30日週二
6月27日週六
6月26日週五
  1. LMSYS Org Blog68

    SGLang 如何用 Waterfill 和 LPLB 平衡 DeepEP MoE 負載

    MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。

    推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。

6月23日週二
  1. Together AI Official Blog77

    ParallelKernelBench:前沿 LLM 尚未能快速編寫多 GPU 核心

    ParallelKernelBench 是一個測試多 GPU 核心生成的基準,評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性:87 個實際工作負載,涵蓋多種分散式並行策略。

    推薦理由:此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限,提供可量化的基準與改進方向,並展示首批成功案例。

6月1日週一
5月19日週二
5月14日週四
  1. Together AI Official Blog79

    Violin:開源影片翻譯工具突破語言障礙

    Violin 是一款完全開源的影片翻譯工具,透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3,完成從語音辨識、翻譯到語音合成的全流程。

    推薦理由:Violin 以開源方式提供多語言影片翻譯,並內建多模態對話助手,使用者可即時查詢影片內容並調整語音風格,讓全球觀眾可即時接觸內容。

5月11日週一
  1. Together AI Official Blog74

    Serving DeepSeek-V4:為何百萬 token 上下文成為推理系統難題

    DeepSeek-V4 支援百萬 token 上下文,核心在於混合注意力設計與 KV 壓縮,本文說明如何將此架構轉化為實際推理效能。 - 1M-token 上下文:透過 CSA、HCA、SWA 三種注意力路徑,將 token 軸壓縮,減少 KV 快取佔用。

    推薦理由:文章說明 DeepSeek-V4 1M-token 上下文的架構最佳化與實際部署關鍵,幫助讀者評估長文本推理效能與成本。

4月29日週三
4月24日週五
5月31日週五