2027 年 AI 晶片能支援多少 AI 代理?
2025 至 2027 年間,HBM 供應可支援 3~1.7 億 AI 代理,對應 1.4~7.2 億人等同工作時數。 - 容量:以 HBM4/4E 兩倍效能為基礎,硬體可容納 30~170 萬同時執行的前沿模型代理;若採用更高效模型,潛在可達 10 億代理。
2025 至 2027 年間,HBM 供應可支援 3~1.7 億 AI 代理,對應 1.4~7.2 億人等同工作時數。 - 容量:以 HBM4/4E 兩倍效能為基礎,硬體可容納 30~170 萬同時執行的前沿模型代理;若採用更高效模型,潛在可達 10 億代理。
DeepSeek 聯合華為釋出並開源了一套面向華為昇騰晶片的程式設計工具,核心是旨在降低程式設計難度的 TileLang 語言。該合作旨在打破輝達 CUDA 軟體生態的長期壟斷,雙方還共同優化了包含 128 個昇騰 950 晶片的超節點叢集。
Anthropic 評估顯示智譜的開源模型 GLM-5.3 在漏洞利用和網路攻擊能力上幾乎趕上了 Claude Mythos Preview。測試表明,GLM-5.3 在 ExploitBench 和內部二進位制測試中表現接近,且由於其開源權重,安全防護極易通過技術手段被剝離。美國機構 CAISI 的獨立評估也指出 GLM-5.3 是迄今為止網路能力最強的開源模型。
眾議院民主黨領袖羅·卡納(Ro Khanna)向美國情報機構和中國 AI 公司(DeepSeek、阿里巴巴、Moonshot AI)發函,要求其提供關於超級智慧、遞迴自我改進(RSI)以及安全防護措施的資料,並呼籲美中籤署禁止 RSI、監控前沿 AI 實驗室的條約。卡納還批評美國科技高管和白宮會議缺乏監管,提議設立中美專家工作組以制定安全標準。
導語:美中兩國領導人於紐約峰會同意啟動正式 AI 對話,並同時公佈阿里巴巴 2032 年 20GW AI 資料中心目標與 DeepSeek 逼近 75 億美元募資的最新動態。
本文介紹瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升。
推薦理由:本文詳細闡述瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升,幫助讀者快速搭建高效、成本友好的分散式 RL 基礎設施。
小米釋出 MiMo-V2.6 系列原生全模態開源模型,其中 Pro 版本擁有 1.02T 總引數和 42B 啟用引數,RL 訓練成本約 300 萬美元。該系列同時開源了訓練環境、程式碼及技術報告,旨在降低強化學習訓練門檻。
SGLang v0.5.20 釋出多模型支援、推理效能提升與跨平臺部署功能,協助開發者更快落地實際應用,並提供 CPU、GPU、XPU 等多硬體環境的最佳化實現,讓模型部署更靈活高效。
推薦理由:SGLang v0.5.20 釋出多模型支援、推理效能提升與跨平臺部署,協助開發者更快落地實際應用。
Open-weight 模型 在 AI Gateway 8 月份佔據 56% 的代幣量,首次超過所有封閉模型。 - 代幣成本:平均每代幣價格較 5 個月前下降 23.2%,中位團隊每代幣支付 7.6% 更低。
DeepSeek V4 系列並非單一模型,其中僅 DeepSeek V4.1 Flash 與 DeepSeek V4 Flash Vision Exp 支援原生影像輸入,其餘 Pro 與 Flash 檢查點皆為純文字模型。
NVIDIA 在 AI Infra Summit 上釋出了 Vera Rubin 架構與 DSX 平臺,其中 Vera Rubin NVL72 系統在 MLPerf Inference v6.1 預覽測試中展現出顯著的吞吐量優勢。多項生態合作與基準測試顯示,新平臺通過電源最佳化和軟體協同,大幅提升了每瓦 tokens 產出與 agentic ワークロード的執行效率。
推薦理由:原文公佈了 Vera Rubin 架構在多個基準測試中的效能表現,讀者可以據此評估新一代 AI 基礎設施在能效和吞吐量上的提升幅度。
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程,為 Kimi K3 訓練 DSpark 草稿模型,並將其整合至 vLLM 推論服務。
推薦理由:文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態,並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
DeepSeek 於本週釋出其旗艦模型 V4.1‑Flash,擁有 552B 引數的 MoE 架構,並在 Terminal‑Bench 2.1 上超越 OpenAI GPT‑5.6 Sol 與 Moonshot Kimi K3 的編碼與代理任務表現。
Together Fine‑Tuning 於 2026 年 9 月 11 日推出新版,支援更多開放權重模型、即時實驗追蹤、專家 LoRA 及早停功能,並降價 30–70%。
推薦理由:此更新提供更完整的實驗追蹤與成本最佳化,讓使用者能即時調整訓練策略,並以更低成本部署多模型,同時支援專家 LoRA 及早停功能。
Axolotl v0.19.0 釋出宣告式模型支援與多新模型家族,提供更簡易的微調流程並提升推理效能。 - 宣告式模型支援:模型只需宣告差異,省去多處配置。
Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。
推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。
OpenRouter 正式推出複合式推理系統 Fusion,能將單一提示詞同時傳送給多個模型進行平行審議,並透過裁判模型與呼叫模型綜合產出最終解答。
部署 DeepSeek-V4.1 時,龐大的記憶體需求和複雜的運算流程會佔用硬體資源。SGLang 和 Miles 加入支援,讓 Engram 記憶表可放到主機記憶體,釋出 GPU 空間;也能只重算部分內容,減少前置處理時間。在測試中,主機記憶體配置讓 KV cache 容量增加 36%;有限重算則讓前置處理速度提升 1.56 倍或 1.37 倍。重算會帶來近似結果,部分功能也有限制,因此需要依工作需求選擇。
推薦理由:文章比較 DeepSeek-V4.1 的記憶體配置與有限重算方法,並列出吞吐量、正確率和功能限制,方便評估部署取捨。
GLM‑5.3 於 2026 年以自訂授權釋出,要求 10 億美元營收的服務商須通過 Z.AI 安全審核。 - 西方模型授權趨勢:Google 與 Meta 轉向 Apache 2.0,降低採用門檻。
推薦理由:本文闡述西方開源授權與中國模型授權的差異,對開發者評估採用風險與合規成本具有參考價值,並列舉多款新模型與其授權條款,方便快速比較。
vLLM 在 AgentX 基準上實現高效能與成本優勢,提供可驗證的全棧最佳化方法。 - 總吞吐量:在 DeepSeek V4 Pro 上達到 130 000 tokens / GPU‑sec,MiniMax M3 互動率 376 tokens / sec。
推薦理由:本文展示 vLLM 在 AgentX 基準上實現高效能與成本優勢,並提供可驗證的全棧最佳化方法,對於需要高吞吐量與低成本的代理服務部署具有實務參考價值。
摘要 - DeepSeek 估值逼近 74 億美元,營收已達 70 百萬美元,正籌備 2027 年上市。 - Z.ai 宣佈 GLM‑5.3‑Flash,320B 引數、18B 活躍引數,採用國產晶片,價格約 Claude Opus 4.8 的 1/40。
MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。
推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。
Unitree 在上海科創板上市首日股價暴漲 629%,市值逼近 $66 B,但隨後兩個交易日即跌落近 $10 B。 - Unitree IPO:創造中國機器人市值新高,創辦人王興興淨值飆升約 $18 B。
推薦理由:Unitree IPO 亮相證明中國機器人產業已成百億市值新星,Nvidia 晶片出口政策變動則揭示中美技術競賽新動態。
Hugging Face 團隊釋出研究探討如何為 AI 助理配置自蒸餾記憶,評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現AI 助理記憶效果取決於模型能力層級:強模型適合注入完整記憶,較弱模型適合精選檢索,而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。
DeepSeek-V4-Pro 很大,在 H20 上提供服務時,團隊得同時顧到回答速度、長文章處理和能接待多少人。LMSYS 團隊依照輸入長度和服務目標,安排不同的運算配置:短內容用較淺的流程,長內容改用較深的流程;回答時則分成低延遲和高流量配置。實測中,H20 單張節點在一次只處理一個請求時,每秒產生 271 個 token;長達 1M token 的輸入也能在 43.7 秒完成預先處理。這些結果顯示,依工作需求調整配置,能讓有限的硬體資源更有效地支援大型模型。
推薦理由:這份實測比較不同上下文長度與服務目標下的部署配置,並說明如何在 H20 的運算與記憶體限制間取捨。
DeepSeek V4 Pro 0813 在 DeepSWE 基準中,單次回合成本僅 $0.24,比 Claude Fable 5 的 $21.63 低 90 倍。
DeepSeek 推出 Agentic 編碼工具 Harness 並將 API 價格調高 11 倍,顯示代理編碼市場競爭升溫。 - DeepSeek V4 Pro 釋出,提升網路安全與編碼能力,但其他領域表現平平。
vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。
推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。
Hugging Face 部落格介紹了 ALTK-Evolve 庫,該庫通過高效的記憶檢索實現與 ACE 相比更低的 Token 消耗,同時保持或提升準確率。ALTK-Evolve 與 ACE 都利用代理自身軌跡學習,但在記憶構建和交付方式上不同:ACE 採用完整的 playbook 注入,而 ALTK-Evolve 只檢索模型可用的指導原則,從而顯著降低推理 token。
SGLang 正式發布 v0.5.17 版本,匯集 194 位貢獻者的 582 項 PR,全面升級推理與平行化效能: - 新模型日支援。
推薦理由:新版本帶來多項新模型支援與底層平行化最佳化,開發者可參考其升級日誌評估效能提升與架構調整。
vLLM 推出高效的 Decode Context Parallelism(DCP),針對長上下文推理提供 KV cache 的序列分片。 - 核心效能:在 8×B200 GPU 上使用 Kimi K2.6,DCP 在 512 個併發請求時達到 6,091 tok/s/GPU,遠超基線 1,863 tok/s/GPU。
summary_zh: DeepSeek‑V4 Flash 0731 成為 DeepSWE 競賽中最便宜的模型,每題僅 0.10 美元,雖然 GPT‑5.6 Luna 價格為 0.61 美元,但在單次嘗試的 Pass@1 上領先 14 點(67.2 % vs 53.3 %)。
Baseten 現已成為 Hugging Face Hub 的推理提供商,支援在模型頁面和 JS/Python 客戶端 SDK 中直接呼叫無伺服器推理服務。首批上線支援對話和文本生成任務,涵蓋 DeepSeek V4 Flash、GLM-5.2 等開源權重模型。使用者可通過自定義 API 金鑰或由 Hugging Face 路由兩種模式呼叫,並已整合至多個主流 Agent 框架中。
OpenRouter 正式推出 LangChain 專用套件 langchain-openrouter(Python)與 @langchain/openrouter(TypeScript),提供原生整合與自動跨供應商故障轉移能力。
強化學習要一邊讓模型作答、一邊更新模型;如果訓練和作答時使用的精度不同,兩邊就可能對不上。LMSYS 團隊在 Miles 加入兩種 Blackwell 低精度做法:MXFP8 用在更多訓練與推論步驟,NVFP4 則用在 MoE 專家層,並為每個 token 分別計算資料尺度,讓訓練和推論用同一套設定。在 Qwen3-30B-A3B、8 張 B200 的測試中,五種低精度設定的獎勵曲線都接近 BF16,MXFP8 和 NVFP4 也縮短了推論時間。這是配方消融測試,不能當成完整調校後的效能比較。
推薦理由:這組消融比較顯示,在 Qwen3-30B-A3B 的 8 張 B200 設定中,低精度訓練的獎勵曲線接近 BF16,也能縮短推論時間。
OpenRouter 官方發布指南,深入解析如何跨延遲、吞吐量、正常執行時間與量化精度評估不同大模型服務商的效能表現。 - 四大核心指標:延遲(首字延遲 TTFT)、吞吐量(每秒輸出 token 數)、正常執行時間與量化精度,並建議使用 p90 與 p99 尾部延遲而非平均值來衡量真實體驗。
ABBEL 是一套透過自然語言信念狀態與評分,將長期互動的記憶壓縮,並在協同編碼與多目標問答等環境中顯著提升效能與訓練效率。 - 核心概念:將互動歷史抽象為「信念」(belief),並以自編碼方式評分,確保關鍵資訊被保留。
SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援,並最佳化多項推理效能與模型管理。 - DSpark:自信度驅動的 speculative decoding,單位 5 accept length 在 DeepSeek‑V4‑Pro 上達 383.7 tok/s,TP8 on B300 5.0 tok/s。
美國 AI 產業 受中國開源模型供應影響,形成依賴悖論。 - 依賴程度:Qwen 在 2024 年 1 月份佔 1%,至 2026 年 2 月份升至 69%。
OpenRouter 發布了關於如何結合提示詞快取(Prompt Caching)與黏性路由(Sticky Routing)降低多輪對話成本的完整教學。