OpenAI 推出 Control Room,集中追蹤並停止研究基礎設施中的模型工作負載
OpenAI 建置 Control Room,集中追蹤研究基礎設施中的模型工作負載,並在出現安全疑慮時停止模型輸出。 - 停止機制:推論引擎在處理請求前向 Control Room 確認工作是否仍可執行;工作遭停止後,後續推論請求會被拒絕。
OpenAI 建置 Control Room,集中追蹤研究基礎設施中的模型工作負載,並在出現安全疑慮時停止模型輸出。 - 停止機制:推論引擎在處理請求前向 Control Room 確認工作是否仍可執行;工作遭停止後,後續推論請求會被拒絕。
推薦理由:Artificial Analysis 比較 Claude Fable 5.2 在多項評測與不同 effort 設定的表現,並列出價格及每項任務成本,呈現能力與成本的取捨。
Vercel AI Gateway 開放使用 Anthropic 的 Claude Fable 5.2,提供模型呼叫、用量追蹤與模型回退設定。 模型能力:Claude Fable 5.2 面向開放式技術工作,在程式開發、推理與視覺能力上優於先前的 Fable 模型;可無人看管地執行冗長且目標模糊的任務,也能協調較小型模型,或作為其他 Claude 模型的顧問。原文並稱其溝通更清楚、輸出速度更快。 推理設定:Effort 可設為 low 至 max,API 預設為 high。 資料保留與安全限制:模型啟用了資安與生物學安全分類器,使用時必須接受資料保留;Anthropic 不支援此模型的 Zero Data Retention。提示詞與回覆會保留 30 天,且不會用於訓練 Claude。若團隊已啟用 ZDR,AI Gateway 會回傳錯誤,不會轉送請求。 模型回退:若資安分類器拒絕請求,可在 providerOptions.gateway 加入 models 陣列,讓 AI Gateway 依序嘗試其他模型。範例設定會先回退至 Opus 5.5,再至 Sonnet 5.5;此設定適用於各種 AI Gateway API 格式。 使用方式與費用:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式代理呼叫;模型名稱為 anthropic/claude-fable-5.2。在 Claude Code、Codex、Cursor 等工具中使用,需安裝最新版 Vercel CLI 並執行設定。AI Gateway 依照供應商定價,不加價,也不對推論收取平臺費用,包括 BYOK 請求。
推薦理由:Claude Fable 5.2 在 AI Gateway 的接入同時附帶資料保留與安全分類器限制,也提供模型回退設定,呈現實際使用時需考量的部署條件。
Vercel 發布 2026 年 11 月 AI Gateway Production Index,指出決策模型已佔 10 月全部請求的 26%,而新付費團隊首選 Anthropic 的數量近乎是 OpenAI 的兩倍。
推薦理由:Vercel 以匿名彙總流量呈現模型採用與更替速度,並列出各項統計口徑,便於理解企業團隊的實際使用變化。
推薦理由:Anthropic 將 Claude Fable 5.2 與 Claude Mythos 5.2 定位於高難度技術挑戰,並指出編碼、推理與視覺能力有所改善。
處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。
推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。
需要處理大型工程問題時,工作可能跨好幾個程式碼庫,也不一定有清楚的邊界。Anthropic 推出 Claude Fable 5.2,並讓 AWS 客戶透過 Amazon Bedrock 和 AWS 雲端 Claude Platform 使用。它能連續工作數小時甚至數天,過程中自行測試,也會檢查難以重現的結果;Anthropic 表示,它在測試中曾協調數百個子助理。官方建議將它用於軟體工程、科學研究和金融工作。使用時也要留意,這款模型被列為需要保留資料以進行安全監控的模型;符合條件的客戶可使用零資料留存功能。
推薦理由:這次更新主打長時間自主處理大型工程問題,也延伸到科學研究與量化金融,可從中瞭解 Anthropic 建議的使用場景。
推薦理由:AutoRLBench 保留真實失敗訓練的程式碼、設定、紀錄與指標,可用來比較 10 個前沿AI 助理定位強化學習問題根因的能力差異。
Artificial Analysis 推出 Decision Index v2,更新基準並以兼顧答案正確性與信心校準的 Decision Score 作為核心指標,45% 權重改由私有資料集構成。
DwarfStar 的 kimi-k3 分支現在可以直接從 safetensors 權重進行 K3.1 PRO 推論,並透過 SSD 串流。速度較慢,但足以應付 QA 任務。
DeepSeek V4.1 Flash 1017 Ultrafast 現已透過 Fireworks 在 Vercel AI Gateway 開放公開預覽,生成速度可達每秒 1,000 個以上 token。 模型與使用情境:此版本提供 DeepSeek V4.1 Flash 的 10 月 17 日更新,透過 Fireworks 加速的無伺服器端點提供;適用於互動式程式開發、推理與 AI 助理工作流程。 上下文與可用性:上下文視窗為 1M token,可處理大型程式碼庫與長輸入;公開預覽無候補名單,也沒有工作階段時間限制。 接入方式:模型名稱為 deepseek/deepseek-v4.1-flash-1017-ultrafast。在 Claude Code、Codex、Cursor 等工具中,安裝最新版 Vercel CLI 並執行設定後,即可在AI 助理中選取此模型;詳情見 coding agents guide,也可至 model playground 試用。 AI Gateway 費用與功能:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障切換與效能最佳化。服務依供應商定價,不加價,也不對推論收取平臺費用,包含 BYOK 請求。
推薦理由:Inkling 2 Small 在 AA Intelligence Index 得分提升的同時,輸出 token 數與單次任務成本也增加;各項基準差異可用來比較其代理任務、程式編寫與研究能力。
推薦理由:Artificial Analysis Intelligence Index v5 與多項基準呈現 Hy4 的推理、程式代理和知識表現,也揭示其幻覺率與成本差異。
Artificial Analysis 更新 API 效能基準,改以 Time per Task 比較模型完成任務所需時間,並將完整請求耗時與代理式工作負載納入評測。
推薦理由:新指標把首 token 等待與完整輸出時間納入任務耗時,並以多種工作負載比較模型,呈現 token 速度與完成任務所需時間的差異。
Vercel AI Gateway 現在可透過更多支援零資料保留(ZDR)的供應商,呼叫 Kimi K3.1 Pro 與高速版本 Kimi K3.1 Pro Highspeed。 模型特性:兩款模型都支援 1M-token 上下文視窗與圖片輸入;Kimi K3.1 Pro 在程式開發、3D 建模與金融分析方面有所改進,並可處理從小幅修正到完整專案的長時間 Agent 工作。Highspeed 適合重視回應速度的互動工作,例如程式開發 Agent。 ZDR 路由:此前只有 Moonshot AI 提供這兩款模型。啟用單次請求的 zeroDataRetention 選項,或在 AI Gateway 儀錶板設定中為團隊所有請求啟用 ZDR 後,系統只會路由至簽有 ZDR 協議的供應商;若沒有可用供應商,請求會失敗,不會改送至未簽約的供應商。 呼叫方式:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式開發 Agent 呼叫。模型名稱為 moonshotai/kimi-k3.1-pro;Highspeed 使用 moonshotai/kimi-k3.1-pro-highspeed。也可安裝最新版 Vercel CLI,在 Claude Code、Codex、Cursor 等 Agent 中選擇模型。 費用:AI Gateway 依供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。
推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。
Tencent 的 Hy4 已在 AI Gateway 開放使用,並提供至 2026 年 12 月 31 日止的 5 折優惠。 模型功能:Hy4 支援推理、工具呼叫、結構化輸出與影像輸入,具備 1M-token 上下文視窗,可用於跨程式碼庫或大量檔案的工作。它是 Hy 系列首款具備視覺能力的模型,能辨識影像細節並讀取複雜圖表,也支援在命令列與圖形介面中操作電腦。 相較 Hy4 Preview:Hy4 更能遵循指令,處理長上下文、長時間執行任務與深度研究的表現也有所提升。 使用方式:模型名稱為 tencent/hy4。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等代理程式中選用;也可在模型 playground 試用。 AI Gateway:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。平臺依供應商定價、不加價,推論不收平臺費,包含 BYOK 請求。
推薦理由:此版本同時涵蓋模型支援、推測解碼與硬體效能資料,可從中掌握 vLLM 的更新範圍及不同部署環境的變化。
Apple AI 研究團隊提出兩階段跨架構蒸餾方法,將傳統 Transformer 的知識轉移至不含 Attention 區塊的調整版 Mamba,讓學生模型保留大部分教師模型的效能。
長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。
推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。
長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。
推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。
Vercel AI Gateway 開放使用 InclusionAI 的 Ling 3.1 Flash 1019,免費至 2026 年 11 月 3 日,之後將依公佈費率計費。 模型用途與上下文:模型針對程式開發、多步驟推理及使用工具的AI 助理設計,支援 1M-token 上下文視窗。 使用方式:模型名稱為 inclusionai/ling-3.1-flash-1019。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發代理中選用;也可在 model playground 試用。 費用與追蹤:免費請求仍會顯示於支出儀錶板並保留完整請求追蹤紀錄,但不會產生費用。AI Gateway 表示其依供應商定價、不加價,推論不收平臺費,BYOK 請求亦同。
ONNX Runtime WebGPU Plugin EP v0.5.0 釋出,擴充注意力、Mixture-of-Experts、量化運算元支援,並提升 GPU 核心效能。