跳到正文

#DeepSeek

RSS
今日 3 則
10月2日週五
9月30日週三
  1. The Decoder66

    Anthropic 稱智譜開源 GLM-5.3 漏洞利用能力接近 Claude Mythos Preview

    Anthropic 評估顯示智譜的開源模型 GLM-5.3 在漏洞利用和網路攻擊能力上幾乎趕上了 Claude Mythos Preview。測試表明,GLM-5.3 在 ExploitBench 和內部二進位制測試中表現接近,且由於其開源權重,安全防護極易通過技術手段被剝離。美國機構 CAISI 的獨立評估也指出 GLM-5.3 是迄今為止網路能力最強的開源模型。

  2. The Verge · AI54

    中國 AI 公司會放慢速度嗎?頂尖眾議院民主黨人呼籲美中 AI 安全條約

    眾議院民主黨領袖羅·卡納(Ro Khanna)向美國情報機構和中國 AI 公司(DeepSeek、阿里巴巴、Moonshot AI)發函,要求其提供關於超級智慧、遞迴自我改進(RSI)以及安全防護措施的資料,並呼籲美中籤署禁止 RSI、監控前沿 AI 實驗室的條約。卡納還批評美國科技高管和白宮會議缺乏監管,提議設立中美專家工作組以制定安全標準。

9月27日週日
9月26日週六
9月22日週二
9月19日週六
9月17日週四
9月16日週三
  1. NVIDIA Blog72

    NVIDIA 釋出 Vera Rubin 架構與 DSX 平臺,展示 AI 工廠能效與吞吐量提升

    NVIDIA 在 AI Infra Summit 上釋出了 Vera Rubin 架構與 DSX 平臺,其中 Vera Rubin NVL72 系統在 MLPerf Inference v6.1 預覽測試中展現出顯著的吞吐量優勢。多項生態合作與基準測試顯示,新平臺通過電源最佳化和軟體協同,大幅提升了每瓦 tokens 產出與 agentic ワークロード的執行效率。

    推薦理由:原文公佈了 Vera Rubin 架構在多個基準測試中的效能表現,讀者可以據此評估新一代 AI 基礎設施在能效和吞吐量上的提升幅度。

9月15日週二
9月13日週日
9月11日週五
  1. Together AI Official Blog81

    Together AI 擴充 Fine‑Tuning 服務:新增多款模型、即時指標與更精細控制

    Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。

    推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。

9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

  2. LMSYS Org Blog77

    SGLang 和 Miles 加入 DeepSeek-V4.1 首日支援

    部署 DeepSeek-V4.1 時,龐大的記憶體需求和複雜的運算流程會佔用硬體資源。SGLang 和 Miles 加入支援,讓 Engram 記憶表可放到主機記憶體,釋出 GPU 空間;也能只重算部分內容,減少前置處理時間。在測試中,主機記憶體配置讓 KV cache 容量增加 36%;有限重算則讓前置處理速度提升 1.56 倍或 1.37 倍。重算會帶來近似結果,部分功能也有限制,因此需要依工作需求選擇。

    推薦理由:文章比較 DeepSeek-V4.1 的記憶體配置與有限重算方法,並列出吞吐量、正確率和功能限制,方便評估部署取捨。

9月8日週二
  1. Nathan Lambert (Interconnects)79

    最新開源實體 (#24):Motif‑3、GLM‑5.3、Hy4‑preview 及開放模型授權

    GLM‑5.3 於 2026 年以自訂授權釋出,要求 10 億美元營收的服務商須通過 Z.AI 安全審核。 - 西方模型授權趨勢:Google 與 Meta 轉向 Apache 2.0,降低採用門檻。

    推薦理由:本文闡述西方開源授權與中國模型授權的差異,對開發者評估採用風險與合規成本具有參考價值,並列舉多款新模型與其授權條款,方便快速比較。

  2. vLLM Official Blog76

    vLLM x AgentX:針對實務代理服務的最佳化

    vLLM 在 AgentX 基準上實現高效能與成本優勢,提供可驗證的全棧最佳化方法。 - 總吞吐量:在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec,MiniMax M3 互動率 376 tokens / sec。

    推薦理由:本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢,並提供可驗證的全棧最佳化方法,對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。

8月30日週日
8月29日週六
  1. LMSYS Org Blog65

    SGLang 用 SSD Expert Pack 在消費級硬體上執行 DeepSeek-V4-Flash 和 Kimi-K3

    MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。

    推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。

8月23日週日
  1. Recode China AI85

    Unitree 爆款上市、Nvidia 晶片獲北京綠燈與大廠 AI 投注

    Unitree 在上海科創板上市首日股價暴漲 629%,市值逼近 $66 B,但隨後兩個交易日即跌落近 $10 B。 - Unitree IPO:創造中國機器人市值新高,創辦人王興興淨值飆升約 $18 B。

    推薦理由:Unitree IPO 亮相證明中國機器人產業已成百億市值新星,Nvidia 晶片出口政策變動則揭示中美技術競賽新動態。

8月19日週三
  1. Hugging Face Blog65

    AI 助理究竟需要多少記憶容量:ALTK-Evolve 評測與劑量校準方法

    Hugging Face 團隊釋出研究探討如何為 AI 助理配置自蒸餾記憶,評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現AI 助理記憶效果取決於模型能力層級:強模型適合注入完整記憶,較弱模型適合精選檢索,而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。

  2. LMSYS Org Blog83

    LMSYS 團隊實測 DeepSeek-V4-Pro 如何在 H20 上提升服務效能

    DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。

    推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。

8月17日週一
8月16日週日
8月14日週五
  1. vLLM Official Blog74

    vLLM 推出 DSpark 自適應驗證功能

    vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。

    推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。

8月11日週二
  1. Hugging Face Blog68

    想用 ACE 嗎?ALTK-Evolve 用更少 Token 實現

    Hugging Face 部落格介紹了 ALTK-Evolve 庫,該庫通過高效的記憶檢索實現與 ACE 相比更低的 Token 消耗,同時保持或提升準確率。ALTK-Evolve 與 ACE 都利用代理自身軌跡學習,但在記憶構建和交付方式上不同:ACE 採用完整的 playbook 注入,而 ALTK-Evolve 只檢索模型可用的指導原則,從而顯著降低推理 token。

  2. SGLang Releases82

    SGLang 發布 v0.5.17 版本

    SGLang 正式發布 v0.5.17 版本,匯集 194 位貢獻者的 582 項 PR,全面升級推理與平行化效能: - 新模型日支援。

    推薦理由:新版本帶來多項新模型支援與底層平行化最佳化,開發者可參考其升級日誌評估效能提升與架構調整。

8月7日週五
8月6日週四
  1. Hugging Face Blog53

    Baseten 接入 Hugging Face Inference Providers

    Baseten 現已成為 Hugging Face Hub 的推理提供商,支援在模型頁面和 JS/Python 客戶端 SDK 中直接呼叫無伺服器推理服務。首批上線支援對話和文本生成任務,涵蓋 DeepSeek V4 Flash、GLM-5.2 等開源權重模型。使用者可通過自定義 API 金鑰或由 Hugging Face 路由兩種模式呼叫,並已整合至多個主流 Agent 框架中。

7月29日週三
  1. LMSYS Org Blog70

    Miles 如何用 MXFP8 和 NVFP4 加速 Blackwell 上的強化學習

    強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。

    推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。

7月28日週二
  1. openrouter blog68

    如何跨延遲、吞吐量與正常執行時間評估大模型服務商效能

    OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。

7月26日週日
7月25日週六
7月24日週五
7月21日週二