跳到正文

#DeepSeek

RSS
今日 0 則
11月22日週日
  1. Browser Use Releases37

    Browser Use 1.0.8 修正瀏覽器操作、登入與計費問題

    使用 Browser Use 時,可能會遇到密碼被印出來、連上瀏覽器卻開了空白分頁,或餘額不夠而讓工作中斷。Browser Use 1.0.8 做了幾項修正:不再印出密碼欄位的內容;連線時會接上已開啟的分頁;透過 SSH 或沒有螢幕的電腦操作時,可以用連結和驗證碼在其他裝置核准。模型在最後一步拒絕照指定方式回答時,也會再試一次,讓工作有機會拿到答案。呼叫服務時預留的輸出 token 從 32,768 降為 16,384,較小的餘額比較不會在執行途中遭到拒絕。

11月20日週五
  1. LMSYS Org Blog74

    Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論

    DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟;在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。

    推薦理由:這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。

11月19日週四
  1. LMSYS Org Blog68

    Humming 整合 SGLang,讓低位元 MoE 模型跑得更快

    大型 MoE 模型需要存放大量專家權重,怎麼在省記憶體的同時加快運算,是實際部署時的難題。Humming 把低位元權重接上專用運算核心,整合到 SGLang 後,仍由 SGLang 負責分派工作,Humming 負責處理輸入和矩陣運算。文章在 8 張 H20-3e GPU 上測試 DeepSeek-V4.1-Flash-1017:相同 A16 精度下,長上下文輸入的速度比 Marlin 快 1.07 到 1.23 倍;改用 FP8 專家運算也能提高部分測試的輸出速度。這些結果只適用於文中測試的設定,不能直接代表其他模型或工作負載。

    推薦理由:文章比較 Humming 在不同精度與專家分流設定下的速度,並交代測試條件,能看出加速幅度會隨工作負載與設定改變。

11月18日週三
  1. OpenBMB44

    混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好;在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。

11月17日週二
  1. Unsloth AI Releases76

    Unsloth 0.1.919-beta 加入電腦操作,並更新模型選擇與圖片模型支援

    AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。

    推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。

  2. Databricks Blog68

    Databricks 推出 AI Index,追蹤企業採用哪些 AI 模型及其成本

    企業可選的 AI 模型越來越多,光看模型表現或每個 token 的價格,很難知道哪種選擇最適合手上的工作。Databricks 推出公開的 AI Index,整理企業使用模型的情況與花費,也用實際程式開發任務比較不同模型和 AI 助理工具組合的成功率與每項任務成本,並計畫每週更新。資料顯示,開放權重模型在企業流量中的佔比從 7 月的 7.3% 升到 11 月的 30.9%;有些模型 token 單價較低,完成任務卻可能花更多錢。Index 也提醒企業按自己的工作內容比較品質和成本,因為測試結果不一定適用所有團隊。

    推薦理由:Databricks AI Index 把企業採用情況和程式任務的品質、成本放在一起比較,呈現模型選擇如何隨工作需求改變。

  3. vLLM52

    同一個模型和推論軟體,換到不同硬體後,每張晶片能處理多少 token 可能差很多。vLLM Project 公佈 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的 AgentX 基準測試結果,使用 Dynamo 和 vLLM,並與同樣搭配 Dynamo 和 vLLM 的 GB300 NVL72 比較。每位使用者以 400 tok/s 生成時,Vera Rubin 的每張晶片總 token 吞吐量是 GB300 的 63.4 倍;以 600 tok/s 生成時則是 93.3 倍。這些數字呈現了特定模型、硬體和測試條件下的效能差距。

11月14日週六
  1. Baseten75

    部署 DeepSeek V4.1-Flash 時,推論速度會受到使用的硬體配置影響。Baseten 宣佈用 Rust 和 CUDA 從頭打造了一套推論引擎,並將它開源。Baseten 表示,使用 4xB300 時,解碼速度約為 1,740 TPS;使用 8xB300 時,約為 2,060 TPS,而處理 1M-token 的預填約需 12 秒。

    推薦理由:Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。

11月13日週五
  1. DeepSeek66

    想在自己的應用程式裡加入 DeepSeek App 的功能,現在可以透過 DeepSeek API 使用搜尋、檔案、連結、安全和語音功能。開發者可以用幾個引數開啟內建功能,也能單獨呼叫 OCR、ASR 和 TTS,打造更多元的對話,或重現完整的 DeepSeek App。DeepSeek 也提供開源前端示範,支援匯入 DeepSeek 對話紀錄。

    推薦理由:DeepSeek 將 App 的搜尋、檔案與語音等功能開放給 API 使用,並提供可匯入對話紀錄的前端示範,方便了解整合方式。

  2. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

11月12日週四
  1. OpenRouter Announcements73

    OpenRouter 教你如何評測 LLM,並比較 10 個模型的合成任務結果

    OpenRouter 說明如何用符合應用輸入與輸出格式的任務評測 LLM,並比較正確率、費用與請求時間;文中也公佈 10 個模型在 60 項合成任務上的結果。

    推薦理由:文章以可重現的合成任務示範如何同時檢查正確率、輸出格式、成本與回應時間,也揭示公開排名與特定工作負載結果可能不一致。

  2. Epoch AI Gradient Updates80

    Epoch AI 11 月 11 日簡報整理模型能力、資安研究與全球 AI 算力

    Epoch AI 的 11 月 11 日簡報彙整模型能力、資安、全球算力與生物學研究等多項新分析。 - 資安測試:研究者在離線沙盒中測試 GLM 5.3,模型無需人工輸入,便為 Firefox 最近的六個版本建立可讀取訪客電腦檔案並傳送給攻擊者的網頁;每個版本約花費 $1,000。

    推薦理由:受控沙盒測試呈現開放權重模型利用修補時差攻擊 Firefox 的方式與成本,並指出此類風險可能擴及其他軟體。

11月11日週三
  1. vLLM Official Blog84

    vLLM 如何以 EPD 分離多模態服務中的編碼、Prefill 與 Decode

    vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。

    推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。

11月10日週二
  1. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月8日週日
  1. Vercel Blog57

    DeepSeek V4.1 Flash 1017 Ultrafast 開放於 Vercel AI Gateway 公開預覽

    DeepSeek V4.1 Flash 1017 Ultrafast 現已透過 Fireworks 在 Vercel AI Gateway 開放公開預覽,生成速度可達每秒 1,000 個以上 token。 模型與使用情境:此版本提供 DeepSeek V4.1 Flash 的 10 月 17 日更新,透過 Fireworks 加速的無伺服器端點提供;適用於互動式程式開發、推理與 AI 助理工作流程。 上下文與可用性:上下文視窗為 1M token,可處理大型程式碼庫與長輸入;公開預覽無候補名單,也沒有工作階段時間限制。 接入方式:模型名稱為 deepseek/deepseek-v4.1-flash-1017-ultrafast。在 Claude Code、Codex、Cursor 等工具中,安裝最新版 Vercel CLI 並執行設定後,即可在AI 助理中選取此模型;詳情見 coding agents guide,也可至 model playground 試用。 AI Gateway 費用與功能:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障切換與效能最佳化。服務依供應商定價,不加價,也不對推論收取平臺費用,包含 BYOK 請求。

11月7日週六
  1. Vercel Blog63

    Vercel AI Gateway 新增 DeepSeek Search 與 DeepSeek Fetch 工具

    Vercel AI Gateway 開放 DeepSeek Search 與 DeepSeek Fetch,可透過同一組 AI Gateway API key 搭配支援工具呼叫的模型使用。 工具功能:Search 找出相關頁面並提供標題、URL 與摘要;Fetch 擷取網頁內容,轉成 Markdown 供模型閱讀。 模型與搜尋工具:切換模型供應商時可沿用這兩項工具;Search 失敗時可改用其他搜尋工具,Fetch 可擷取這些工具找到的 URL。搜尋備援由模型決定,供應商順序與重試次數僅盡力處理。 版本與設定:支援 AI SDK v6 6.0.321 及更新版本,或 v7 7.0.160 及更新版本。使用 pnpm add ai@latest 更新並設定 AI_GATEWAY_API_KEY,不需要另外申請 DeepSeek 帳號。 費用:Search 與 Fetch 各為每 1,000 次可計費請求 $0.75;失敗請求、逾時與空結果不收工具費,模型 token 費用另計。

11月6日週五
  1. vLLM Official Blog82

    REINFORCE Zero:解決核對齊,提升 DeepSeek-V4.1 與 Kimi K3.1 的非同步 RL 穩定性

    REINFORCE Zero 是一種將核對齊與無截斷重要性抽樣結合的非同步 RL 方案,能在保持高品質的同時大幅提升訓練吞吐量。 - 核心機制:先將 rollout 與 learner 的 kernel 進行對齊,消除 kernel mismatch;再使用無截斷 IS 校正 weight lag,避免截斷帶來的偏差。

    推薦理由:本文提出 REINFORCE Zero 通過核對齊與無截斷 IS 實現非同步 RL 穩定性提升,讀者可參考其方法最佳化大規模代理訓練,並評估其在多模型上的適用性。

11月5日週四
  1. Artificial Analysis58

    Artificial Analysis 比較 100 美元預算下,Opus 5.5、DeepSeek V4.1 Flash 1017 與 GPT-6 Luna 可完成的 Intelligence Index 任務數。 Opus 5.5:medium reasoning effort 可完成 40 項任務,max effort 可完成 10 項。 DeepSeek V4.1 Flash 1017:max effort 可完成 166 項任務。 GPT-6 Luna:medium effort 可完成 2,500 項任務。 任務包含多種任務型別。https://t.co/fxgRJZzuTv

  2. vLLM72

    vLLM 在發布當日加入對 Kimi K3.1 Pro 的服務支援,涵蓋 1M-token 上下文視窗,並支援 GPU、TPU 與 RL。 基準成績:搭配 Claude Code harness,在 Terminal-Bench 4.0 得分 65.7%。 適用情境:原文提及長時間程式開發、3D 創作與研究。

    推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。

11月4日週三
11月2日週一
11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月31日週六
10月30日週五
10月29日週四
  1. openrouter blog75

    如何使用LLM從PDF提取表格

    LLM 直接讀取 PDF 表格並以嚴格 JSON 模式輸出,開發者可即時驗證精確度與成本。 - 支援格式 數位 PDF 與掃描檔,掃描需加 OCR(mistral‑ocr)或使用能讀檔的模型 - 成本 GPT‑6 Luna 與 Claude Haiku 5.5 以每 1。

    推薦理由:本文示範如何使用LLM直接讀取PDF表格並以嚴格JSON模式輸出,讓開發者能即時驗證精確度與成本。