跳到正文

#推理

RSS
今日 0 則
11月17日週二
  1. Together AI Official Blog64

    Together AI 推出 Together Compiler,用 AI 助理加快模型推論

    模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。

    推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。

  2. Vercel Blog66

    Vercel AI Gateway 開放使用 Hy4 Flash,限時享 5 折

    使用大型語言模型時,功能和費用常要一起考量。Vercel AI Gateway 現在提供 Tencent 的 Hy4 Flash,這是 Hy4 系列中價格較低的模型,保留推理、工具呼叫、結構化輸出、提示詞快取和圖片輸入,也有相同的 1M-token 上下文視窗;不需要推理的請求則可關閉這項功能。透過 AI Gateway 使用時,輸入、快取輸入和輸出 token 到 2026 年 11 月 29 日都有 5 折優惠,適合留意大量程式開發、AI 助理或檔案處理工作所需的成本。

    推薦理由:Hy4 Flash 保留 Hy4 系列功能並大幅降低每個 token 的價格,文中也交代限時折扣,能看出成本與功能之間的取捨。

  3. vLLM52

    同一個模型和推論軟體,換到不同硬體後,每張晶片能處理多少 token 可能差很多。vLLM Project 公佈 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 上的 AgentX 基準測試結果,使用 Dynamo 和 vLLM,並與同樣搭配 Dynamo 和 vLLM 的 GB300 NVL72 比較。每位使用者以 400 tok/s 生成時,Vera Rubin 的每張晶片總 token 吞吐量是 GB300 的 63.4 倍;以 600 tok/s 生成時則是 93.3 倍。這些數字呈現了特定模型、硬體和測試條件下的效能差距。

  4. Google Developers Blog77

    Google 用 Zero-TIM 讓 TPU 上的 AI 模型取樣與訓練結果完全一致

    大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率;做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。

    推薦理由:文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。

11月16日週一
  1. Artificial Analysis62

    Liquid AI 推出 d1.2-ultra 和 d1.2,更新旗下的 d1-ultra 和 d1.1 決策模型。Artificial Analysis 表示,d1.2-ultra 在自家 AA-Paperclip 評測拿下 76 分,比第二名 Drex Max v1.1 高 3 分;另一項 Artificial Analysis Decision Index v2.1 排名中,d1.2-ultra 第 1 名,d1.2 第 6 名。兩款模型也都比前代得分更高,且都位於能力與成本的帕累托前緣。每 100 萬個 Decision Index 任務的費用分別是 $133 和 $63;兩者可接收文字與圖片,並透過 Liquid AI 自家 API 提供。

    推薦理由:Artificial Analysis 的測試顯示,d1.2-ultra 與 d1.2 都比前代得分更高,並列在能力與成本的帕累托前緣,可比較兩款模型的進步與花費。

  2. OpenBMB47

    大型語言模型能讀很長的內容,但訓練太早停止,長文表現可能還沒練好。OpenBMB 分享一項研究,用模型大小、一般訓練資料量和長文本訓練資料量,估算模型處理長文的表現;這套公式也能推估沒直接測過的訓練規模,R²=0.97。研究還發現,訓練過程中可以用固定方式穩定追蹤進步,而且 32K 訓練帶來的提升能延伸到 128K,也能保留在 SFT 之後,並幫助長上下文與 AI 助理任務。

  3. Vercel Blog47

    Qwen4-Max 登上 Vercel AI Gateway,支援寫程式、製作 3D 場景和長時間工作

    Qwen4-Max 是 Alibaba Qwen4 系列的第一個模型,現在可透過 Vercel AI Gateway 使用。它能看懂圖片,也能處理長篇工作,例如在 Blender 製作 3D 場景,或在 Unity、Unreal Engine 和 Godot 製作能玩的遊戲;完成後還會看畫面找出鏡頭、動畫或燈光問題,再動手修改。處理財務、法律和醫療工作時,它也能使用 MCP 工具整理大量檔案和圖片,產出附有資料來源的報告、試算表和簡報。 遇到需要很久的工作時,Qwen4-Max 會先交出能用的初步成果,再一輪輪改進,讓人可以邊看邊調整方向。Alibaba 也將推出一個搭配這種工作方式的 Live Delivery 外掛。和先前的 Qwen Max 模型相比,Qwen4-Max 完成相同工作的 token 用量較少,預設寫出的程式也較安全;Vercel AI Gateway 則不加價收取模型費用,也不收推論平臺費。

  4. Artificial Analysis80

    挑選模型時,分數較高的選擇也可能花費更多。Artificial Analysis 測得,Qwen4 Max 使用 xhigh 推理時,Intelligence Index 得分為 43,比 Qwen3.8 Max 高 9 分,距離 Kimi K3.1 Pro 少 3 分;每項測試任務成本為 $3.27,約比 Qwen3.8 Max 低 3 倍、比 Kimi K3.1 Pro 低約 11%。測試中它每項任務使用約 105k 個輸出 token,少於 Qwen3.8 Max 的約 171k。Qwen4 Max 可透過阿里巴巴第一方 API 使用,支援文字和圖片輸入,並提供文字輸出。

    推薦理由:Artificial Analysis 比較了 Qwen4 Max 與其他模型的測試分數和每項任務成本,呈現效能與花費之間的差異。

  5. PyTorch Core Releases74

    PyTorch 用 Metal 改寫 MPS 的複數 FFT,部分資料形狀運算更快

    在 Apple 裝置上用 PyTorch 計算複數 FFT 時,原本的 MPSGraph 實作有些資料形狀跑得較慢。這項更新改用 Metal 核心處理複數轉複數的 FFT,並依資料長度選擇不同演算法;長度含有其他質數因子時,則改用 Bluestein 演算法。作者表示,新實作與 CPU 計算結果沒有數值差異。在 M5 Pro 的測試中,13 種基準資料形狀的中位速度提升 1.55 倍,143 種取自 Hugging Face 的資料形狀則提升 1.63 倍;個別形狀的速度變化不同。這次更新只涵蓋複數轉複數 FFT,rfft 和 irfft 暫時仍使用 MPSGraph。

    推薦理由:這次改寫涵蓋不同長度與質數因子的 FFT,並提供多種資料形狀的速度比較,可用來瞭解新實作在哪些情況下較有優勢。

11月15日週日
11月14日週六
  1. Artificial Analysis62

    Perplexity 更新了 Decider v1.3 和 Decider Flash v1.3,兩款都是用來處理決策任務的模型。Artificial Analysis 的 Decision Index v2.1 給兩者 70 分和 64 分;和 v1.2 相比,Flash 版進步 4 分,排名升到第 10 名。Decider v1.3 在 AA-Paperclip 得 69 分,在 EvalSafe-O*NET-AA 得 89 分。兩款模型每百萬項任務的成本分別是 $68 和 $34;它們都位在該評測的能力與成本取捨曲線上。

    推薦理由:兩個版本的測試排名與每百萬項任務成本放在一起,能看出不同規模模型在決策表現和費用上的取捨。

  2. llama.cpp Releases47

    llama.cpp 重整 DFlash 推測解碼,加入 DFlash2 和 LiliCorr 專用型別

    llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。

  3. Microsoft ONNX Runtime Releases73

    ONNX Runtime CUDA Plugin EP 0.4.0 加入 CPU 與 GPU 混合執行 MoE 模型

    大型 MoE 模型的專家層可能超出 GPU 記憶體容量,讓模型難以執行。ONNX Runtime CUDA Plugin EP 0.4.0 新增 CPU 與 GPU 混合解除安裝功能:放得下的專家留在 GPU,其他專家改由 CPU 處理,也能在執行過程中把常用專家移到 GPU。這項功能需要搭配 ONNX Runtime 1.32.0;版本或運算元格式不相符時,可能造成執行錯誤或程式崩潰。更新也加入直接執行 GGUF 等區塊量化權重的運算元,以及長上下文和推測解碼加速。

    推薦理由:這次更新把 MoE 模型的專家層分散到 CPU 與 GPU 執行,也補上多種量化格式支援,能協助評估 GPU 記憶體不足時的部署選項。

  4. Artificial Analysis49

    Subquadratic 推出決策模型 SubQ Snap 1.2,在 Artificial Analysis Decision Index v2.1 得到 73 分,比前一版 SubQ Snap 1.1 的 68 分高 5 分,並與 Drex Max v1.1、GLiDE v1.2 並列領先。每 1M 個輸入 token 仍收費 $0.04,也支援 384K token 的上下文視窗。進步最大的是 AA-Paperclip 和 AA-Symmetry,各增加 8 分;在 AA-Paperclip 上,檔案全部答對的比例從 46% 升到 62%。不過,AA-Omniscience-Decision 和 HLE-MultiChoice 的改善來自模型更常不確定時選擇不回答,正確率並沒有提高。這表示總分變好,不代表每種題目都答得更準。

  5. Google Research85

    Google 開放 Antigravity 的 /teamwork,讓 AI 助理協作研究與工程工作

    研究和工程工作常要處理大量資料、反覆試錯,還得確認每一步都正確。Google 在 Antigravity 開放 /teamwork 和 /boost,讓多個 AI 助理分工探索,再用 Lean 4、軟體測試或硬體量測檢查結果。Google 分享的案例包括協助研究者完成數學證明、找出分子結構,以及改寫系統程式;研究者仍負責提出問題和確認成果。學術研究者也可申請六個月免費使用最高用量方案。

    推薦理由:Google展示 /teamwork 如何把長時間研究拆成多個可檢查的步驟,並用形式驗證、測試與硬體量測篩選結果,呈現多 AI 助理協作的實際做法。

  6. llama.cpp Releases39

    llama.cpp b12364:機率式取樣時使用 p_min 會顯示提醒

    llama.cpp 的 p_min 設定會丟掉信心分數太低的草稿 token,但這些 token 有時仍可能被正式模型接受。這次更新保留原本的篩選方式,並在同時使用 --spec-draft-p-min 和機率式草稿取樣時顯示提醒,建議把 p_min 設為 0。這項提醒只會出現在有使用 p_min 的草稿方式;n-gram 草稿不使用它,DSpark 則把它拿來設定信心門檻。

  7. Hugging Face Blog65

    Hugging Face 發布 XYBench,測試 AI 助理能否看出問題問錯了

    有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。

    推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。

11月13日週五
  1. Microsoft ONNX Runtime Releases75

    ONNX Runtime 1.32.0 加快大型模型啟動,新增 CPU 與 GPU 混合處理功能

    大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除;CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。

    推薦理由:新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。

  2. Vercel Blog54

    Vercel AI Gateway 開放使用 Thinking Machines 的 Inkling 2 Small

    Thinking Machines 的多模態推理模型 Inkling 2 Small 已在 Vercel AI Gateway 上提供,可用於程式開發AI 助理、視覺理解與專業知識工作。 輸入與輸出:支援文字和影像輸入,並產生文字輸出;可處理較長的程式開發任務、使用工具蒐集資訊,再整理成檔案、試算表等成果。 視覺能力:可讀取影像中的文字、解讀圖表與資訊圖表、檢視介面;在視覺開發流程中,能根據截圖檢查程式碼產出並引導後續修改。 接入方式:模型名稱為 thinkingmachines/inkling-2-small。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發AI 助理中選取該模型;詳情見 coding agents guide,也可在 model playground 試用。 AI Gateway 服務:提供統一 API、用量與成本追蹤、重試與故障轉移設定及效能最佳化;另有自訂報表、Zero Data Retention 支援、API 金鑰預算和路由規則。 費用:AI Gateway 依照供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。

  3. ollama52

    需要 AI 助理看懂圖片、檔案或財務資料時,使用者會在意模型能處理哪些內容,以及資料是否會被保留。Ollama 宣佈可在 Ollama Cloud 使用 Thinking Machines 的 Inkling 2 Small,並表示不會保留資料。這款 594B 混合專家模型的上下文視窗為 1M,原文列出的用途包括 OCR、資訊圖表理解、視覺推理、透過 MCP 呼叫工具,以及分析財務試算表、申報檔案和其他檔案。

  4. Vercel Blog44

    Google Gemini 4 Hydrogen 開放透過 Vercel AI Gateway 使用

    Google 的 Gemini 4 Hydrogen 現已透過 Vercel AI Gateway 提供,接替 Gemini 3.8 Flash,在維持相同延遲級別的同時,提升 AI 助理程式設計、知識工作與工具使用能力。 能力變化:可處理較長的工程任務,並以較少的 AI 助理步驟產出研究更充分的檔案、試算表與簡報;也更能遵循系統指令、格式要求和任務範圍,並在長對話中更可靠地協調工具。 推理與依據:視覺推理和技術問題解決能力有所提升,可支援多模態工作流程;更強的 grounding 可減少搜尋回答中的無依據說法,以及程式設計報告中虛構的工具或測試結果。 使用方式:在最新版本的 Vercel CLI 執行設定,並於 AI 助理中選擇 google/gemini-4-hydrogen,即可在 Claude Code、Codex、Cursor 等工具中使用;也可透過模型 playground 試用。 AI Gateway 服務:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。服務包含自訂報表、Zero Data Retention 支援、API 金鑰預算與路由規則;依照模型供應商定價,不加價,也不對推論收取平臺費用,包含 Bring Your Own Key(BYOK)請求。

  5. Apple Machine Learning Research62

    Apple 研究推導語言模型對齊的理論極限,發現 PPO 與 GRPO 表現仍有差距

    Apple Machine Learning Research 推導固定 KL 散度預算下語言模型可達成的最高獎勵提升,並在安全與摘要任務中比較不同對齊方法與理論上限。

    推薦理由:研究推導固定 KL 預算下的對齊獎勵上限,並比較 best-of-N、PPO 與 GRPO,呈現現有方法距理論界線的差距。

11月12日週四
  1. Apple Machine Learning Research51

    Apple 研究探討 SSM 閘控機制如何影響記憶與情境學習

    Apple 研究透過理論與實驗指出,SSM 的閘控機制會使模型先學會權重內記憶,並延後甚至阻礙正確的情境學習解法收斂。 研究發現:即使架構或記憶容量沒有根本限制,閘控仍可能影響情境學習;另一方面,它常有助於提升長序列泛化能力。 研究範圍:分析閘控機制如何塑造 SSM 的訓練動態與泛化表現,為理解及改進線性時間模型提供依據。

11月11日週三
  1. LMSYS Org Blog83

    SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token

    GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。

    推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。

11月10日週二
  1. Apple Machine Learning Research59

    Apple 研究探討測試資料可能參與訓練時,如何評估大型模型

    大型模型的測試資料可能已經被拿去訓練,讓人難以判斷評估結果準不準。這項研究分析在測試資料可能參與訓練的情況下,如何評估只能看到輸出的黑箱模型。研究發現,只查看模型在測試資料上的回答時,只有資料分佈接近少數幾種結果,才可能準確評估;若能額外向模型提問,即使查詢次數不多,也能讓評估者在一些常見情況下做得更多。