TensorFold 原生 CUDA 實驗測試 Spark-X2.6-4B 四路並行吞吐量
TensorFold 的原生 CUDA 配方測試 Spark-X2.6-4B 從單路到四路並行服務的吞吐量,並記錄長輸入後的生成速度與首個 token 等待時間。
TensorFold 的原生 CUDA 配方測試 Spark-X2.6-4B 從單路到四路並行服務的吞吐量,並記錄長輸入後的生成速度與首個 token 等待時間。
B-draft 的開放權重大型語言模型 Darwin-180B-RSI 在 SuperCLUE 11 月數學與科學推理評測獲得 73.68 分,排名開源模型第一、整體第二;其引數規模約為 1,800 億,約為同場 Kimi-K3.1-Pro(63.16 分、2.8 兆引數)的 1/16。
Darwin-180B-RSI 在 SuperCLUE 2026 年 11 月的數理與科學推理評測中取得 73.68 分,文章說明其強項合併與模型級遞迴自我改進方法,並比較模型規模與推論成本。
KTransformers 評測分析以 CPU 記憶體執行路由專家、以 GPU 處理注意力等工作的混合架構,並整理部署條件與已發表的效能資料。 - 測試界線:作者未使用 GPU 執行推論基準;文中的效能數字來自已發表測量,並非作者獨立實測。
vLLM 在 Inkling 2 Small 推出首日即提供支援,涵蓋模型服務、LoRA 與 DSpark 推測解碼,並針對推論效能進行最佳化。
Google Gemini 4 Hydrogen 正式推出,定位為快速、低成本的通用模型,並在 Artificial Analysis Intelligence Index 的預設 high 層級以 51 分超越較大型的 Gemini 4 Argon(50 分)。
推薦理由:Hydrogen 在不同思考層級呈現明顯的成本與分數差異,並與 Argon、其他模型及多項基準比較,便於評估日常工作所需的取捨。
Google 推出 Gemini 4 Hydrogen,取代其產品中的 Gemini 3.8 Flash,並立即開放使用。 - 推理速度與層級:提供 low、medium、high、xhigh 四種思考層級;Google 表示,high 模式比 Gemini 3.8 Flash 快 2.5 倍。
Google 推出 Gemini 4 Hydrogen,主打日常程式開發與 AI 代理工作,並開始向全球使用者逐步推出。 - 思考深度與基準:提供 low、medium、high、xhigh 四檔,預設為 high。
推薦理由:文章比較 Hydrogen 與 Gemini 3.8 Flash 的速度及 Terminal-Bench 4.1 成績,也說明它如何與 Carbon 分工,呈現不同任務下的模型配置方式。
這份實務指南說明 LLM 推論的 prefill 與 decode 階段,並整理產品團隊如何量測延遲、管理記憶體及選擇最佳化方式。
Google DeepMind 推出 Gemini 4 Hydrogen,主打日常程式開發與 AI 助理工作流程,並即日起向開發者、企業及一般使用者推出。
推薦理由:Hydrogen 以 Terminal-Bench、SWE-bench 與多模態工作基準呈現速度和任務表現,並提供不同思考層級與定價,方便比較工作流程取捨。
Google DeepMind 發布 Gemini 4 Hydrogen,這款模型主打快速執行日常編碼與AI 助理工作流,並自即日起向開發者、企業及一般使用者開放。
推薦理由:Hydrogen 定位為快速執行模型,並提供與 Carbon、Argon 協作的工作流及多項基準比較,可看出它在 Gemini 4 模型組閤中的分工。
Artificial Analysis 評測 Gemini 4 Hydrogen,其 xhigh 推理的智慧指數為 54,較 Claude Sonnet 5.5(max)和 GPT-6.1 Sol(max)低 1 分,成本約為 Claude Sonnet 5.5(max)的 32%。
推薦理由:評測同時比較不同推理級別的智慧指數、任務成本與基準表現,可用來瞭解 Gemini 4 Hydrogen 在能力和成本之間的取捨。
Google 的 Gemini 4 Hydrogen 現已透過 Vercel AI Gateway 提供,接替 Gemini 3.8 Flash,在維持相同延遲級別的同時,提升 AI 助理程式設計、知識工作與工具使用能力。 能力變化:可處理較長的工程任務,並以較少的 AI 助理步驟產出研究更充分的檔案、試算表與簡報;也更能遵循系統指令、格式要求和任務範圍,並在長對話中更可靠地協調工具。 推理與依據:視覺推理和技術問題解決能力有所提升,可支援多模態工作流程;更強的 grounding 可減少搜尋回答中的無依據說法,以及程式設計報告中虛構的工具或測試結果。 使用方式:在最新版本的 Vercel CLI 執行設定,並於 AI 助理中選擇 google/gemini-4-hydrogen,即可在 Claude Code、Codex、Cursor 等工具中使用;也可透過模型 playground 試用。 AI Gateway 服務:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。服務包含自訂報表、Zero Data Retention 支援、API 金鑰預算與路由規則;依照模型供應商定價,不加價,也不對推論收取平臺費用,包含 Bring Your Own Key(BYOK)請求。
SinkState 論文以即時 SVD 將混合 LLM 的迴圈狀態改為自適應低秩表示,降低狀態記憶體流量並提升解碼速度。 - 方法:透過緩衝更新、區域性 SVD 與非同步 CPU 整併,依狀態資訊量動態調整秩。
推薦理由:相較於 3.8 Flash,Gemini 4 Hydrogen 完成任務的速度提升 2.5 倍,並提供四種思考層級,呈現速度與推理深度的取捨方式。
推薦理由:評測比較 Gemini 4 Hydrogen 在推理、視覺理解與終端工作上的表現及成本,呈現不同推理設定下的取捨。
Apple Machine Learning Research 推導固定 KL 散度預算下語言模型可達成的最高獎勵提升,並在安全與摘要任務中比較不同對齊方法與理論上限。
推薦理由:研究推導固定 KL 預算下的對齊獎勵上限,並比較 best-of-N、PPO 與 GRPO,呈現現有方法距理論界線的差距。
Google 推出 Gemini Decisions API,使用 Gemini Decision 1 單次評估預先定義的選項,處理 AI 應用程式中的例行判斷,不產生文字回覆。
作者以多代理研究回顧中的引用誤讀為例,分析多代理系統的效益、成本,以及如何驗證其結果。 - 17.2x 的含義:Kim 等人的研究中,這個數字指代理間協調失誤造成的額外運算工作;論文所列任務錯誤率比約為 1.1。
Gemini 4 Carbon 的基準分數反映特定模型、工具、執行環境與評分方式共同產生的結果;作者主張,評估 AI 助理時應比較整套系統及其運作條件。
百度推出 ERNIE 5.5 Flash Preview,目前可透過 Qianfan API 使用,也可在 OpenRouter 免費試用;模型權重預定於 11 月 25 日開放。
推薦理由:文章區分 ERNIE 5.5 Flash Preview 與先前的 Base 版本,並列出 API 價格與權重釋出日期,方便評估試用時機與成本。
Claude Fable 5.2 已於 2026 年 11 月 9 日開放,標準價格為每百萬輸入/輸出 token $8/$40,比 Fable 5.1 低 20%;API 預設 effort 為 high。
推薦理由:文章逐項列出切換至 Claude Fable 5.2 時可能觸發 400 的請求變更,並提供對應修正方式,適合檢查自建 API 請求流程。
GPT-6 Astra 檢查並修改 Qwen3.5-0.8B 的權重後,該模型在 MATH-500 的分數從 7.9% 升至 48.1%,約 0.016% 的引數有所變動。
作者以同一臺機器、同一個 OpenAI 相容端點執行 19 項任務,Claude Fable 5.2 得 18/19,Kimi K3.1 Pro 得 17/19,兩者的能力差距僅一項任務。
百度表示,推進 AI 發展需持續提升智慧能力,並將其轉化為企業價值;Robin 在 Baidu World 2026 說明,百度將投資前沿基礎模型,同步發展模型與AI 助理,並依應用需求調整模型。
KarmaBox 示範如何把退款代理程式的判斷移至獨立決策層,透過信心分數、門檻與人工審查決定是否自動處理。 - 兩種架構:提示詞內自評可能產生未經校準的分數,也缺少決策紀錄;獨立決策層則回傳信心分數,供程式依版本化規則分流並記錄結果。
聯想開天推出首款純國產 AI 主機,以 1.6L 機身整合國產 CPU、NPU 與 160 TOPS INT8 本地 AI 算力,讓企業能在桌面部署本地大型模型推論。
PocketCoreAI 說明三種常被稱為「未審查」的本地 LLM,其製作方式與品質表現各不相同,並建議依任務需求逐步選擇。 - 寬鬆的主流模型:Gemma、Qwen、Mistral 等模型仍有護欄;作者建議多數人從這類模型搭配自行撰寫的 system prompt 開始。
Claude Fable 5.2、GPT-6 Astra 與 Gemini 4 Argon在基準測試、電腦操作、長輸出與價格上各有表現,作者依發布方資料與網路示範比較三者的適用情境。
Jev 等 System One 模型以結構化選擇、分數或機率作為輸出,工程師正嘗試將它們整合程序式碼,與 LLM 搭配建構軟體。 - Glean:將 Jev 與 LLM 及其他分類器搭配使用,利用其 zero-shot 彈性;使用者不必知道產品背後採用哪種模型。
Gev 透過行為克隆學習根據 Doom 畫面選擇控制動作,並在維持英文問答能力的同時,於 deathmatch 測試中提升擊殺數。 - 視覺輸入:模型每隔 4 個 game tic 選擇一次 18 種控制組合之一;輸入包含目前畫面及兩個歷史畫面,分別編碼為 512 個視覺 token。
Gev 是建立在 Google 的 T5Gemma 2 上、擁有 270M 引數的決策模型;本文說明如何將它接入日常服務,並以選項描述調整決策、建立合成資料、微調及校準信心值。
Diogo Almeida 在 AIE 的 Jev Day 主題演講中說明,Jev 與 System One 模型旨在讓開發者把模型呼叫嵌入應用程式程式碼,使軟體能理解使用者意圖,而不只執行預先編寫的規則。
Artificial Analysis 比較模型在 VIALS-AA 使用工具與單次作答時的表現,工具使用下各模型平均分數約從 25% 提升至 47%。
文章在同一張 Tesla T4 上比較六種推論服務引擎執行 Gemma 4 E2B 的速度、負載表現與答案品質,並說明各引擎在 Turing GPU 上所需的調整。