跳到正文

#推理

RSS
今日 0 則
11月10日週二
  1. Vercel Blog67

    Vercel AI Gateway 開放使用 Anthropic Claude Fable 5.2

    Vercel AI Gateway 開放使用 Anthropic 的 Claude Fable 5.2,提供模型呼叫、用量追蹤與模型回退設定。 模型能力:Claude Fable 5.2 面向開放式技術工作,在程式開發、推理與視覺能力上優於先前的 Fable 模型;可無人看管地執行冗長且目標模糊的任務,也能協調較小型模型,或作為其他 Claude 模型的顧問。原文並稱其溝通更清楚、輸出速度更快。 推理設定:Effort 可設為 low 至 max,API 預設為 high。 資料保留與安全限制:模型啟用了資安與生物學安全分類器,使用時必須接受資料保留;Anthropic 不支援此模型的 Zero Data Retention。提示詞與回覆會保留 30 天,且不會用於訓練 Claude。若團隊已啟用 ZDR,AI Gateway 會回傳錯誤,不會轉送請求。 模型回退:若資安分類器拒絕請求,可在 providerOptions.gateway 加入 models 陣列,讓 AI Gateway 依序嘗試其他模型。範例設定會先回退至 Opus 5.5,再至 Sonnet 5.5;此設定適用於各種 AI Gateway API 格式。 使用方式與費用:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式代理呼叫;模型名稱為 anthropic/claude-fable-5.2。在 Claude Code、Codex、Cursor 等工具中使用,需安裝最新版 Vercel CLI 並執行設定。AI Gateway 依照供應商定價,不加價,也不對推論收取平臺費用,包括 BYOK 請求。

    推薦理由:Claude Fable 5.2 在 AI Gateway 的接入同時附帶資料保留與安全分類器限制,也提供模型回退設定,呈現實際使用時需考量的部署條件。

  2. Vercel Blog78

    Vercel AI Gateway 2026 年 11 月報告:決策模型佔 26% 請求,Anthropic 新團隊首選近乎領先兩倍

    Vercel 發布 2026 年 11 月 AI Gateway Production Index,指出決策模型已佔 10 月全部請求的 26%,而新付費團隊首選 Anthropic 的數量近乎是 OpenAI 的兩倍。

    推薦理由:Vercel 以匿名彙總流量呈現模型採用與更替速度,並列出各項統計口徑,便於理解企業團隊的實際使用變化。

  3. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一
  1. AWS What's New82

    Anthropic Claude Fable 5.2 在 AWS 上推出,主打長時間處理複雜工作

    需要處理大型工程問題時,工作可能跨好幾個程式碼庫,也不一定有清楚的邊界。Anthropic 推出 Claude Fable 5.2,並讓 AWS 客戶透過 Amazon Bedrock 和 AWS 雲端 Claude Platform 使用。它能連續工作數小時甚至數天,過程中自行測試,也會檢查難以重現的結果;Anthropic 表示,它在測試中曾協調數百個子助理。官方建議將它用於軟體工程、科學研究和金融工作。使用時也要留意,這款模型被列為需要保留資料以進行安全監控的模型;符合條件的客戶可使用零資料留存功能。

    推薦理由:這次更新主打長時間自主處理大型工程問題,也延伸到科學研究與量化金融,可從中瞭解 Anthropic 建議的使用場景。

  2. OpenBMB64

    OpenBMB 推出 AutoRLBench,使用真實失敗的強化學習訓練案例,評測 10 個前沿AI 助理能否找出看似正常的獎勵曲線背後的根本原因。 - 評測材料:保留完整程式碼、設定、紀錄與指標,未使用合成錯誤。

    推薦理由:AutoRLBench 保留真實失敗訓練的程式碼、設定、紀錄與指標,可用來比較 10 個前沿AI 助理定位強化學習問題根因的能力差異。

11月8日週日
  1. Vercel Blog57

    DeepSeek V4.1 Flash 1017 Ultrafast 開放於 Vercel AI Gateway 公開預覽

    DeepSeek V4.1 Flash 1017 Ultrafast 現已透過 Fireworks 在 Vercel AI Gateway 開放公開預覽,生成速度可達每秒 1,000 個以上 token。 模型與使用情境:此版本提供 DeepSeek V4.1 Flash 的 10 月 17 日更新,透過 Fireworks 加速的無伺服器端點提供;適用於互動式程式開發、推理與 AI 助理工作流程。 上下文與可用性:上下文視窗為 1M token,可處理大型程式碼庫與長輸入;公開預覽無候補名單,也沒有工作階段時間限制。 接入方式:模型名稱為 deepseek/deepseek-v4.1-flash-1017-ultrafast。在 Claude Code、Codex、Cursor 等工具中,安裝最新版 Vercel CLI 並執行設定後,即可在AI 助理中選取此模型;詳情見 coding agents guide,也可至 model playground 試用。 AI Gateway 費用與功能:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障切換與效能最佳化。服務依供應商定價,不加價,也不對推論收取平臺費用,包含 BYOK 請求。

11月7日週六
11月6日週五
  1. Artificial Analysis71

    Thinking Machines 發布 Inkling 2 Small,在 Artificial Analysis Intelligence Index v5.0.1 得分 31,目前以專有模型形式透過 Tinker 與 Tinker Playground 提供,權重預計日後以 Apache 2.0 釋出,日期尚未確認。

    推薦理由:Inkling 2 Small 在 AA Intelligence Index 得分提升的同時,輸出 token 數與單次任務成本也增加;各項基準差異可用來比較其代理任務、程式編寫與研究能力。

11月5日週四
  1. Artificial Analysis58

    Artificial Analysis 比較 100 美元預算下,Opus 5.5、DeepSeek V4.1 Flash 1017 與 GPT-6 Luna 可完成的 Intelligence Index 任務數。 Opus 5.5:medium reasoning effort 可完成 40 項任務,max effort 可完成 10 項。 DeepSeek V4.1 Flash 1017:max effort 可完成 166 項任務。 GPT-6 Luna:medium effort 可完成 2,500 項任務。 任務包含多種任務型別。https://t.co/fxgRJZzuTv

  2. Vercel Blog55

    Vercel AI Gateway 增加更多 Kimi K3.1 Pro 的 ZDR 供應商

    Vercel AI Gateway 現在可透過更多支援零資料保留(ZDR)的供應商,呼叫 Kimi K3.1 Pro 與高速版本 Kimi K3.1 Pro Highspeed。 模型特性:兩款模型都支援 1M-token 上下文視窗與圖片輸入;Kimi K3.1 Pro 在程式開發、3D 建模與金融分析方面有所改進,並可處理從小幅修正到完整專案的長時間 Agent 工作。Highspeed 適合重視回應速度的互動工作,例如程式開發 Agent。 ZDR 路由:此前只有 Moonshot AI 提供這兩款模型。啟用單次請求的 zeroDataRetention 選項,或在 AI Gateway 儀錶板設定中為團隊所有請求啟用 ZDR 後,系統只會路由至簽有 ZDR 協議的供應商;若沒有可用供應商,請求會失敗,不會改送至未簽約的供應商。 呼叫方式:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式開發 Agent 呼叫。模型名稱為 moonshotai/kimi-k3.1-pro;Highspeed 使用 moonshotai/kimi-k3.1-pro-highspeed。也可安裝最新版 Vercel CLI,在 Claude Code、Codex、Cursor 等 Agent 中選擇模型。 費用:AI Gateway 依供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。

  3. vLLM72

    vLLM 在發布當日加入對 Kimi K3.1 Pro 的服務支援,涵蓋 1M-token 上下文視窗,並支援 GPU、TPU 與 RL。 基準成績:搭配 Claude Code harness,在 Terminal-Bench 4.0 得分 65.7%。 適用情境:原文提及長時間程式開發、3D 創作與研究。

    推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。

11月4日週三
  1. Vercel Blog45

    Tencent Hy4 登上 AI Gateway,年底前享 5 折優惠

    Tencent 的 Hy4 已在 AI Gateway 開放使用,並提供至 2026 年 12 月 31 日止的 5 折優惠。 模型功能:Hy4 支援推理、工具呼叫、結構化輸出與影像輸入,具備 1M-token 上下文視窗,可用於跨程式碼庫或大量檔案的工作。它是 Hy 系列首款具備視覺能力的模型,能辨識影像細節並讀取複雜圖表,也支援在命令列與圖形介面中操作電腦。 相較 Hy4 Preview:Hy4 更能遵循指令,處理長上下文、長時間執行任務與深度研究的表現也有所提升。 使用方式:模型名稱為 tencent/hy4。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等代理程式中選用;也可在模型 playground 試用。 AI Gateway:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。平臺依供應商定價、不加價,推論不收平臺費,包含 BYOK 請求。

11月3日週二
11月2日週一
  1. LMSYS Org Blog79

    SGLang 如何用 HiCache 在多種部署配置中重用模型快取

    長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

    推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。

11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月31日週六
  1. Vercel Blog64

    Ling 3.1 Flash 1019 免費登上 Vercel AI Gateway,開放至 2026 年 11 月 3 日

    Vercel AI Gateway 開放使用 InclusionAI 的 Ling 3.1 Flash 1019,免費至 2026 年 11 月 3 日,之後將依公佈費率計費。 模型用途與上下文:模型針對程式開發、多步驟推理及使用工具的AI 助理設計,支援 1M-token 上下文視窗。 使用方式:模型名稱為 inclusionai/ling-3.1-flash-1019。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發代理中選用;也可在 model playground 試用。 費用與追蹤:免費請求仍會顯示於支出儀錶板並保留完整請求追蹤紀錄,但不會產生費用。AI Gateway 表示其依供應商定價、不加價,推論不收平臺費,BYOK 請求亦同。

10月30日週五