#推理
RSS 訂閱#推理
RSS
Together AI@togethercompute品質評分5858
Artificial Analysis@ArtificialAnlys精選品質評分6565Artificial Analysis 更新 API 效能基準,改以 Time per Task 比較模型完成任務所需時間,並將完整請求耗時與代理式工作負載納入評測。
推薦理由:新指標把首 token 等待與完整輸出時間納入任務耗時,並以多種工作負載比較模型,呈現 token 速度與完成任務所需時間的差異。
Vercel Blog品質評分5555 Vercel AI Gateway 增加更多 Kimi K3.1 Pro 的 ZDR 供應商
Vercel AI Gateway 現在可透過更多支援零資料保留(ZDR)的供應商,呼叫 Kimi K3.1 Pro 與高速版本 Kimi K3.1 Pro Highspeed。 模型特性:兩款模型都支援 1M-token 上下文視窗與圖片輸入;Kimi K3.1 Pro 在程式開發、3D 建模與金融分析方面有所改進,並可處理從小幅修正到完整專案的長時間 Agent 工作。Highspeed 適合重視回應速度的互動工作,例如程式開發 Agent。 ZDR 路由:此前只有 Moonshot AI 提供這兩款模型。啟用單次請求的 zeroDataRetention 選項,或在 AI Gateway 儀錶板設定中為團隊所有請求啟用 ZDR 後,系統只會路由至簽有 ZDR 協議的供應商;若沒有可用供應商,請求會失敗,不會改送至未簽約的供應商。 呼叫方式:可透過 AI SDK、Chat Completions、Responses、Anthropic Messages API,或連線 AI Gateway 的程式開發 Agent 呼叫。模型名稱為 moonshotai/kimi-k3.1-pro;Highspeed 使用 moonshotai/kimi-k3.1-pro-highspeed。也可安裝最新版 Vercel CLI,在 Claude Code、Codex、Cursor 等 Agent 中選擇模型。 費用:AI Gateway 依供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。
vLLM@vllm_project精選品質評分7272
推薦理由:vLLM 在 Kimi K3.1 Pro 發布當日即提供服務支援,並列出長上下文、Terminal-Bench 成績及 GPU、TPU 與 RL 支援範圍。
Thomas Wolf@Thom_Wolf精選品質評分8282Moonshot AI 推出 Kimi-K3.1-Pro,模型總引數為 2.8T,每個 token 啟用 104B 引數,並支援 1M-token 上下文。
推薦理由:Kimi-K3.1-Pro 的引數規模、稀疏注意力與 1M-token 上下文設計,呈現大型模型在推論效率與長上下文處理上的取捨。
The Decoder品質評分7272 CloudOpsBench:新開源基準顯示雲端 AI 運維推理成最大瓶頸
CloudOpsBench 是一個開源基準,測量 AI 代理在雲端 DevOps 任務(如修復服務、刪除資源、限制存取權、部署更新、停用專案)的表現。 - 任務數量:45 個 AWS 任務,未來將擴充套件至 GCP、Azure、OCI。
Nathan Lambert (Interconnects)品質評分4141 今天開放模型經濟有多大?
summary_zh: Interconnects Dashboard 的建立者 Nathan Lambert 透過匯整開放模型推論平臺的 token 量,估算今日開放模型經濟正以指數式增長。
Hacker News (official RSS)精選品質評分8686 Kimi K3.1 Pro 開放權重發布
Kimi K3.1 Pro 開放權重發布,這款原生多模態AI 助理模型採 MoE 架構,提供 1,048,576-token 上下文視窗。 - 模型規模:總引數 2.8T,啟用引數 104B;支援文字與影像輸入。
推薦理由:材料列出模型規模、推論設定與多項基準成績,並說明 API 和推論引擎支援,便於比較其能力與部署條件。
Together AI@togethercompute品質評分5656
Vercel Blog品質評分4545 Tencent Hy4 登上 AI Gateway,年底前享 5 折優惠
Tencent 的 Hy4 已在 AI Gateway 開放使用,並提供至 2026 年 12 月 31 日止的 5 折優惠。 模型功能:Hy4 支援推理、工具呼叫、結構化輸出與影像輸入,具備 1M-token 上下文視窗,可用於跨程式碼庫或大量檔案的工作。它是 Hy 系列首款具備視覺能力的模型,能辨識影像細節並讀取複雜圖表,也支援在命令列與圖形介面中操作電腦。 相較 Hy4 Preview:Hy4 更能遵循指令,處理長上下文、長時間執行任務與深度研究的表現也有所提升。 使用方式:模型名稱為 tencent/hy4。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等代理程式中選用;也可在模型 playground 試用。 AI Gateway:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。平臺依供應商定價、不加價,推論不收平臺費,包含 BYOK 請求。
Dev.to Top Tech品質評分4141 獨立研究測試 Direct Nash Optimization 以對齊語言模型
summary_zh: 獨立研究團隊重新實作 DNO‑Prct,並在 Llama 3.1 8B Instruct 與 Mistral 7B Instruct v0.1 上測試 Direct Nash Optimization。
Artificial Analysis@ArtificialAnlys品質評分3939
vLLM@vllm_project精選品質評分6666推薦理由:此版本同時涵蓋模型支援、推測解碼與硬體效能資料,可從中掌握 vLLM 的更新範圍及不同部署環境的變化。
Together AI@togethercompute品質評分5454MarkTechPost品質評分6565 NVIDIA 展示三種方法加速 DGX Spark 上的 MoE 推理,提升 Ling-3.0-flash 吞吐量 42.5%
NVIDIA 在 DGX Spark 上對 Ling-3.0-flash 進行三項最佳化,提升 42.5% 解碼吞吐量,為單機推理提供實用參考。
Alex Heath@alexeheath品質評分3535推論、訓練、路由、治理與沙盒是今天每個 AI 產品的基石。當它們在統一平臺上整合時,整體效果大於各部份之和。 🎯🔥 推論堆疊持續快速演進。感謝 @baseten 團隊的所有釋出!
OpenRouter@OpenRouter品質評分4343🥷 全新隱形模型:Crouton Alpha 一款高效率推理模型,可擴大處理AI 助理整天重複執行的工作。 免費使用 1M token 上下文 支援文字、影像、音訊與影片輸入 不使用資料進行訓練
TechCrunch · AI品質評分6969 AI 推論新創 Fal 完成 13 億美元融資,估值升至 160 億美元
Fal 在最新一輪融資中募得 13 億美元,估值升至 160 億美元,較 4 月的 80 億美元翻倍。
Mistral AI@MistralAI品質評分5252Simon Willison品質評分4242 Qwen 3.8 27B 在筆記型電腦上也能解讀模型權重
summary_zh: Qwen 3.8 27B 在筆記型電腦上能閱讀並修改神經網路權重,證實 Weight‑Space Programming 功能。
Dev.to Top Tech精選品質評分7878 Deep Principle 發布 Hydrogen-1.0 科學模型,提供 MIT 開放權重與多種量化版本
Deep Principle 於 2026-11-02 發布 Hydrogen-1.0,這款以 zai-org/GLM-5.3 為基礎微調的開放權重科學 MoE 模型,鎖定化學、材料科學與生命科學。
推薦理由:文章對照模型卡的 1M 上下文宣稱與 NVFP4 部署配方的 262K 上限,並整理權重門檻、量化路徑與推論設定,便於規劃實際部署檢查。
NVIDIA AI (@NVIDIAAI)@NVIDIAAI品質評分3535 Latent Space品質評分6666 LLM 能讀寫神經網路權重:『Weight Space Programming』擺脫自動化研究迴圈
LLM 能直接讀寫神經網路權重,開啟即時模型調整新方式。 - Weight Space Programming:利用前沿 LLM 直接檢視與編輯權重,無需梯度或訓練迴圈。
indigo@indigox品質評分7676MIT CSAIL 的博士生 Rikiya Takehi 及其團隊提出「權重空間程式設計」方法,允許 GPT-6 Astra 直接讀寫神經網路權重,無需訓練或梯度計算。
Apple Machine Learning Research品質評分4949 將 Attention 知識蒸餾至 Mamba:跨架構蒸餾方法
Apple AI 研究團隊提出兩階段跨架構蒸餾方法,將傳統 Transformer 的知識轉移至不含 Attention 區塊的調整版 Mamba,讓學生模型保留大部分教師模型的效能。
Rohan Paul@rohanpaul_ai品質評分6161
Baseten@baseten品質評分4444
elvis@omarsar0品質評分6464Hacker News (official RSS)品質評分4141 AI 時代的無我數學
Karthik C. S.、Amit Sahai 與 Jie Xue主張,AI 時代促使數學家重新思考數學工作的價值:數學真理可能獨立於人類而存在,數學家的創造力則協助我們發現並理解這些真理。
ByteByteGo Newsletter (Alex Xu)精選品質評分6161 Nvidia 的 Nemotron 3 如何運作?解析 Mamba、MoE 與模型效率設計
Nvidia 的 Nemotron 3 結合 Mamba、注意力與 MoE,並搭配多 token 預測及低精度權重,降低模型生成與儲存的成本。 - 架構:Mamba 以固定大小的狀態處理序列,注意力保留連結較遠位置的能力;MoE 路由器則為每個 token 選用部分專家。
推薦理由:文章拆解 Nemotron 3 如何結合 Mamba、注意力與 MoE,並說明各方法對逐 token 計算、KV cache 和模型儲存成本的影響。
TechCrunch · AI品質評分6363 42AI 揭秘行為世界模型,獲得 6,250 萬美元種子資金
42AI 以 6,250 萬美元種子資金結束隱匿開發,推出用於預測個人決策機率的行為世界模型,目前已在券商等金融機構部署。 - 模型做法:系統從客戶的交易、客服通話及其他互動中分析行為特質,再以 Transformer 架構的世界模型推估不同情境下的決策機率;另使用語言模型生成預測說明。
Hacker News (official RSS)品質評分6363 LongCat‑2.5:原生多模態代理式任務模型發布
LongCat‑2.5 以 1.6 兆引數與 48 億啟用引數,推出原生多模態代理式任務模型,支援長期程式開發、3D 創作與多工具協同。 - 核心特性:多模態視覺與文字以多層離散 token 進行統一編碼,結合大規模長期強化學習,提升編碼與代理能力。
Hacker News (official RSS)品質評分5555 AI 時代,電腦科學仍須理解程式碼
作者借希爾伯特計畫與 Lean 的形式化證明,主張電腦科學家不應放棄理解 AI 產生的程式碼。 - 數學與計算的界線:Gödel 的不完備定理與 Turing 對停機問題不可判定性的證明,顯示希爾伯特計畫中的完備公理系統與自動判定目標無法實現;作者指出,Lean 等證明助理讓 AI 助理能運用機械化形式系統產生證明。
Unsloth AI@UnslothAI品質評分4343Dev.to Top Tech品質評分6868 LongCat‑2.5 釋出 1M 上下文與原生多模態,提供思考鎖定與 OpenAI/Anthropic 相容端點
LongCat‑2.5 是美團推出的 1.6 T‑parameter MoE 多模態模型,主打 1 M 上下文、原生視覺理解與 agentic RL。 - 核心特性:1 M 上下文、128 K 最大輸出、思考鎖定(temperature 1.0/0.7)、OpenAI/Anthropic 相容端點、原生多模態。
ModelScope@ModelScope2022精選品質評分6666推薦理由:Qwenputer 系列將運算單元嵌入模型權重,並從 RISC-V CPU 延伸至檔案儲存與向量運算,呈現擴充模型能力的不同設計路徑。
Dev.to Top Tech品質評分5353 AI 分工合作,我更關注誰完成工作
AI 透過多代理協同工作,作者探討其實際效益與挑戰,並評估在開發專案中的可行性。 * GPT‑6 Astra Pro 允許多代理並行執行並追蹤進度,Pro 使用者可於 Chat 標籤使用。
Dev.to Top Tech精選品質評分8787 Mistral Large 4 開源模型:完整安裝與部署指南
Mistral Large 4 是一個 1.05T 引數的多模態 Mixture‑of‑Experts 模型,於 2026‑10‑29 以 MIT 開源授權公開,本文提供從 Hugging Face 下載、量化檔案選擇、GPU 部署到 API 方案的完整流程。
推薦理由:提供完整的安裝與部署指南,讓開發者可快速部署 Mistral Large 4,並掌握其硬體需求與成本。
Dev.to Top Tech品質評分5959 Speculative Decoding 與 Distillation:降低延遲的兩種方式,品質成本各異
本文對比 Speculative Decoding 與 Distillation 兩種降低延遲的技術,說明它們在成本、品質與可擴充套件性上的差異。 - Speculative Decoding:在大模型前先跑小模型草稿,驗證後接受相符 token;保持輸出分佈不變,成本取決於草稿接受率。
LMSYS Org Blog精選品質評分7979 SGLang 如何用 HiCache 在多種部署配置中重用模型快取
長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。
推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。