跳到正文

全部動態

RSS
今日 4 則
11月5日週四
  1. Vercel Blog55

    Vercel AI Gateway 增加更多 Kimi K3.1 Pro 的 ZDR 供應商

    Vercel AI Gateway 現在可透過更多支援零資料保留(ZDR)的供應商,呼叫 Kimi K3.1 Pro 與高速版本 Kimi K3.1 Pro Highspeed。 模型特性:兩款模型都支援 1M-token 上下文視窗與圖片輸入;Kimi K3.1 Pro 在程式開發、3D 建模與金融分析方面有所改進,並可處理從小幅修正到完整專案的長時間 Agent 工作。Highspeed 適合重視回應速度的互動工作,例如程式開發 Agent。 ZDR 路由:此前只有 Moonshot AI 提供這兩款模型。啟用單次請求的 zeroDataRetention 選項,或在 AI Gateway 儀錶板設定中為團隊所有請求啟用 ZDR 後,系統只會路由至簽有 ZDR 協議的供應商;若沒有可用供應商,請求會失敗,不會改送至未簽約的供應商。 呼叫方式:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式開發 Agent 呼叫。模型名稱為 moonshotai/kimi-k3.1-pro;Highspeed 使用 moonshotai/kimi-k3.1-pro-highspeed。也可安裝最新版 Vercel CLI,在 Claude Code、Codex、Cursor 等 Agent 中選擇模型。 費用:AI Gateway 依供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。

  2. vLLM72

    vLLM 在發布當日加入對 Kimi K3.1 Pro 的服務支援,涵蓋 1M-token 上下文視窗,並支援 GPU、TPU 與 RL。 基準成績:搭配 Claude Code harness,在 Terminal-Bench 4.0 得分 65.7%。 適用情境:原文提及長時間程式開發、3D 創作與研究。

    推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。

  3. AWS Machine Learning Blog69

    AWS Quick 推出 Smart Approvals,依既有控制自動審查部分動作

    AWS Quick 的 Smart Approvals 會依使用者請求與對話脈絡審查符合條件的動作,自動核准部分動作,或交由使用者確認,以減少例行工作的核準提示。

    推薦理由:文章說明 Smart Approvals 如何在既有許可權與核准政策內審查動作,並以試行流程檢視例行提示是否減少且重大操作仍交由人員把關。

  4. vLLM Official Blog81

    vLLM 立即支援 Kimi K3.1 Pro

    vLLM 立即在 NVIDIA、AMD、Google TPU 以及 Alibaba T-Head PPU 上支援 Moonshot AI 的 Kimi K3.1 Pro。

    推薦理由:vLLM 立即支援 Moonshot AI 的 Kimi K3.1 Pro,開發者可即時測試 Sparse Attention 的效能提升與 Agentic 服務。

  5. LMSYS Org Blog62

    Netpreme X-Mem™ 整合 SGLang HiSparse,加快大型語言模型讀取外接 KV 快取

    大型語言模型把 KV 快取放在 GPU 外,容量雖然變大,讀取速度和可同時處理的請求數仍會受限。Netpreme 將 X-Mem™ 整合進 SGLang HiSparse,讓 GPU 透過高速連線讀取外接快取;測試中,GLM-5.3 在 16K 上下文、每張 GPU 處理 192 個請求時,輸出延遲降低 49.25%(快取未命中率 20%)或 63.58%(40%)。在 16K 到 1M 上下文的測試裡,每張 GPU 的最高解碼吞吐量是使用主機 DRAM 的 2.09–3.04 倍;長上下文的提升也受惠於更大的記憶體容量,能同時處理更多請求。測試使用 X-Mem™ Pilot 虛擬機器,實際晶片之後才會供應。

    推薦理由:文章以 GLM-5.3 的測試比較外接記憶體的頻寬與容量如何影響解碼速度和同時處理的請求數,並指出小批次時差異不大。

11月4日週三