跳到正文

#推理

RSS
今日 9 則
11月5日週四
  1. Vercel Blog55

    Vercel AI Gateway 增加更多 Kimi K3.1 Pro 的 ZDR 供應商

    Vercel AI Gateway 現在可透過更多支援零資料保留(ZDR)的供應商,呼叫 Kimi K3.1 Pro 與高速版本 Kimi K3.1 Pro Highspeed。 模型特性:兩款模型都支援 1M-token 上下文視窗與圖片輸入;Kimi K3.1 Pro 在程式開發、3D 建模與金融分析方面有所改進,並可處理從小幅修正到完整專案的長時間 Agent 工作。Highspeed 適合重視回應速度的互動工作,例如程式開發 Agent。 ZDR 路由:此前只有 Moonshot AI 提供這兩款模型。啟用單次請求的 zeroDataRetention 選項,或在 AI Gateway 儀錶板設定中為團隊所有請求啟用 ZDR 後,系統只會路由至簽有 ZDR 協議的供應商;若沒有可用供應商,請求會失敗,不會改送至未簽約的供應商。 呼叫方式:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式開發 Agent 呼叫。模型名稱為 moonshotai/kimi-k3.1-pro;Highspeed 使用 moonshotai/kimi-k3.1-pro-highspeed。也可安裝最新版 Vercel CLI,在 Claude Code、Codex、Cursor 等 Agent 中選擇模型。 費用:AI Gateway 依供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。

  2. vLLM72

    vLLM 在發布當日加入對 Kimi K3.1 Pro 的服務支援,涵蓋 1M-token 上下文視窗,並支援 GPU、TPU 與 RL。 基準成績:搭配 Claude Code harness,在 Terminal-Bench 4.0 得分 65.7%。 適用情境:原文提及長時間程式開發、3D 創作與研究。

    推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。

  3. Hacker News (official RSS)86

    Kimi K3.1 Pro 開放權重發布

    Kimi K3.1 Pro 開放權重發布,這款原生多模態AI 助理模型採 MoE 架構,提供 1,048,576-token 上下文視窗。 - 模型規模:總引數 2.8T,啟用引數 104B;支援文字與影像輸入。

    推薦理由:材料列出模型規模、推論設定與多項基準成績,並說明 API 和推論引擎支援,便於比較其能力與部署條件。

11月4日週三
  1. Vercel Blog45

    Tencent Hy4 登上 AI Gateway,年底前享 5 折優惠

    Tencent 的 Hy4 已在 AI Gateway 開放使用,並提供至 2026 年 12 月 31 日止的 5 折優惠。 模型功能:Hy4 支援推理、工具呼叫、結構化輸出與影像輸入,具備 1M-token 上下文視窗,可用於跨程式碼庫或大量檔案的工作。它是 Hy 系列首款具備視覺能力的模型,能辨識影像細節並讀取複雜圖表,也支援在命令列與圖形介面中操作電腦。 相較 Hy4 Preview:Hy4 更能遵循指令,處理長上下文、長時間執行任務與深度研究的表現也有所提升。 使用方式:模型名稱為 tencent/hy4。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等代理程式中選用;也可在模型 playground 試用。 AI Gateway:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。平臺依供應商定價、不加價,推論不收平臺費,包含 BYOK 請求。

11月3日週二
  1. Dev.to Top Tech78

    Deep Principle 發布 Hydrogen-1.0 科學模型,提供 MIT 開放權重與多種量化版本

    Deep Principle 於 2026-11-02 發布 Hydrogen-1.0,這款以 zai-org/GLM-5.3 為基礎微調的開放權重科學 MoE 模型,鎖定化學、材料科學與生命科學。

    推薦理由:文章對照模型卡的 1M 上下文宣稱與 NVFP4 部署配方的 262K 上限,並整理權重門檻、量化路徑與推論設定,便於規劃實際部署檢查。

  2. Hacker News (official RSS)41

    AI 時代的無我數學

    Karthik C. S.、Amit Sahai 與 Jie Xue主張,AI 時代促使數學家重新思考數學工作的價值:數學真理可能獨立於人類而存在,數學家的創造力則協助我們發現並理解這些真理。

  3. ByteByteGo Newsletter (Alex Xu)61

    Nvidia 的 Nemotron 3 如何運作?解析 Mamba、MoE 與模型效率設計

    Nvidia 的 Nemotron 3 結合 Mamba、注意力與 MoE,並搭配多 token 預測及低精度權重,降低模型生成與儲存的成本。 - 架構:Mamba 以固定大小的狀態處理序列,注意力保留連結較遠位置的能力;MoE 路由器則為每個 token 選用部分專家。

    推薦理由:文章拆解 Nemotron 3 如何結合 Mamba、注意力與 MoE,並說明各方法對逐 token 計算、KV cache 和模型儲存成本的影響。

  4. TechCrunch · AI63

    42AI 揭秘行為世界模型,獲得 6,250 萬美元種子資金

    42AI 以 6,250 萬美元種子資金結束隱匿開發,推出用於預測個人決策機率的行為世界模型,目前已在券商等金融機構部署。 - 模型做法:系統從客戶的交易、客服通話及其他互動中分析行為特質,再以 Transformer 架構的世界模型推估不同情境下的決策機率;另使用語言模型生成預測說明。

11月2日週一
  1. Hacker News (official RSS)55

    AI 時代,電腦科學仍須理解程式碼

    作者借希爾伯特計畫與 Lean 的形式化證明,主張電腦科學家不應放棄理解 AI 產生的程式碼。 - 數學與計算的界線:Gödel 的不完備定理與 Turing 對停機問題不可判定性的證明,顯示希爾伯特計畫中的完備公理系統與自動判定目標無法實現;作者指出,Lean 等證明助理讓 AI 助理能運用機械化形式系統產生證明。

  2. Dev.to Top Tech87

    Mistral Large 4 開源模型:完整安裝與部署指南

    Mistral Large 4 是一個 1.05T 引數的多模態 Mixture‑of‑Experts 模型,於 2026‑10‑29 以 MIT 開源授權公開,本文提供從 Hugging Face 下載、量化檔案選擇、GPU 部署到 API 方案的完整流程。

    推薦理由:提供完整的安裝與部署指南,讓開發者可快速部署 Mistral Large 4,並掌握其硬體需求與成本。

  3. LMSYS Org Blog79

    SGLang 如何用 HiCache 在多種部署配置中重用模型快取

    長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

    推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。