跳到正文

推理能力

模型推理能力的進展:思維鏈、推理模型、數學與邏輯基準的突破與爭議。

最新精選

第 21–40 條 · 共 255 條
11月21日週六
  1. Hugging Face Blog83

    Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用

    本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。

    推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。

  2. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  3. aihot81

    Thinking Machines Lab 發布可在筆電執行的開源權重模型 Inkling 2 Mini

    想在筆電上跑 AI 模型,常會遇到模型太大、速度不夠快的問題。Thinking Machines Lab 發布開源權重模型 Inkling 2 Mini,讓模型的中間層對每個 token 重複運算三次,增加推理計算;模型總引數量為 26.4B,記憶體約需 20GB,官方表示可在記憶體至少 32GB 的 Mac 上執行。原文列出多項程式開發與工具使用測試,也說明模型在多輪對話和大量指令限制的測試中較弱。迴圈設計還會讓更多推理留在模型內部,原文的初步測試沒有看到監控能力隨迴圈增加而明顯下降。

    推薦理由:迴圈架構讓模型在每個 token 上多做幾輪運算,原文也交代本機硬體門檻與推理監控實驗,可用來理解這種設計的取捨。

  4. Artificial Analysis75

    大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數;文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。

    推薦理由:Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。

  5. BlockTempo 動區動趨76

    數學家 Levent Alpöge 聲稱與 Claude 證明黎曼猜想,完整驗證仍待確認

    黎曼猜想關係到質數實際分佈和平均估計之間的差距,至今仍沒有獲公認的證明。數學家 Levent Alpöge 聲稱與 Claude 找到黎曼猜想及廣義黎曼猜想的證明,並把論證寫成 Lean 程式;他公開了四頁宣告和 14 個程式分卷連結,提到草稿曾超過 25 萬頁。Lean 可以檢查數學推導,但還要確認程式證明的命題確實對應原本的猜想,並檢查完整推導和使用的前提。外部專家仍須檢視論證,作者的聲稱也不等於已獲獨立驗證。

    推薦理由:這項聲稱的關鍵不只在 Lean 程式能否編譯,還要核對程式證明的命題是否就是黎曼猜想,以及完整推導有沒有外部專家驗證。

  6. Dev.to Top Tech82

    vLLM 推測解碼教學:EAGLE、MTP 和草稿模型何時能加速?

    大型模型逐字產生內容時,常受記憶體讀取速度限制;推測解碼會先讓較小的草稿模型猜幾個 token,再由目標模型一次檢查,留下它認可的部分。文章用公式說明接受率和草稿成本如何影響速度,並比較 vLLM 0.33.0 的 ngram、草稿模型、EAGLE、MTP 和 dflash/dspark 等方法。作者也提醒,接受率太低或同時處理的請求太多時,額外草稿可能拖慢速度;應依自己的硬體和工作量調整草稿長度與批次設定。文中引用的測試結果來自各研究與團隊,作者沒有自行測試。

    推薦理由:文章用接受率與草稿成本說明推測解碼何時能縮短生成時間,也指出批次變大時加速可能消失,提供調整設定的實用判斷方式。

11月20日週五
  1. MarkTechPost78

    NVIDIA 推出 Nemotron-Labs-Sigma,包含 14 個連續擴散語言模型檢查點

    文字生成模型通常一步步預測文字,Nemotron-Labs-Sigma 則用連續擴散的方式生成文字。NVIDIA 推出 3B 和 8B 兩種大小、共 14 個開放權重檢查點,包含基礎、指令、精簡步數和自我推測版本。NVIDIA 自行評測中,Sigma-8B 基礎版在六項測試平均為 71.16,略高於 NLD-8B 的 70.22;自我推測版在指定測試環境下,平均速度比自回歸解碼快 3.46 倍。模型需要支援 bfloat16 的 NVIDIA GPU,基礎版上下文長度為 4,096 個 token。

    推薦理由:Sigma 把文字生成放進連續的向量空間,文章也比較了它與離散擴散及自回歸模型的評測結果,呈現新做法的表現差異。

  2. Dev.to Top Tech79

    Hy4 flash 自架指南:220B 引數模型的顯示卡記憶體與授權怎麼看

    220B 引數的 Hy4 flash 看起來很大,但每個 token 實際啟用的引數約為 12B;自架時,權重檔和長上下文的記憶體需求才是主要考量。作者拆解模型結構與檔案大小,估算在 1M-token 上下文下,若 KV cache 儲存壓縮後的資料,每條序列約需 6.9 GB;這是作者的推算,實際用量會依快取方式和精度而變。官方 FP8 配方使用 8 張 GPU,授權也有條件:以 API 等方式提供遠端服務,達到指定營收或月活門檻時,需要另取得書面授權。

    推薦理由:文章把 Hy4 flash 的權重、KV cache 與授權條件拆開估算,也標出哪些是作者推算、哪些是騰訊提供的數字,能幫讀者先判斷自架成本與服務限制。

  3. ModelScope83

    看影片時,畫面、對話和背景聲音常要分開處理,WeChat Vision 推出的 WeMM-Video 能把它們放在一起理解,也能用中文或英文回答。這個開放權重模型家族有 2B、4B、9B 和 35B-A3B 等尺寸,可接收文字、圖片、音訊和影片,並提供直接回答與深入推理兩種模式。技術報告稱,35B-A3B 在同等規模的開放模型中影音表現突出;Thinking 模式在 17 項一般影音基準中的 16 項,勝過 Seed2.0-Mini-0428 和 Qwen3.5-Omni-Flash。

    推薦理由:WeMM-Video 把影片畫面、對話與環境聲音放在同一條時間線理解,報告也比較了不同規模模型在多項影音基準上的表現。

  4. Dev.to Top Tech81

    OpenAI 說 Codex 協助研究人員提出 GPT-6.2 Astra 的想法

    OpenAI 研究人員開始用 AI 助理協助開發模型,但工具能不能做好工作,仍會因任務而有很大差別。OpenAI 表示,Codex 曾在研究 GPT-6.2 Astra 時提供想法;10 月時,AI 助理完成預估需人類花 2 到 4 小時的任務比例為 46%,但成功啟動訓練只有 35%,撰寫模型推論與服務系統程式碼則是 25%。研究人員也提到,AI 助理可能沿著沒用的方向繼續做、產出品質不佳的程式碼,因此仍需要人類密切監督。這些資料呈現 AI 工具正逐漸進入研究流程,也顯示人類仍是其中的重要角色。

    推薦理由:OpenAI 的資料呈現 AI 助理參與研究的成長與落差,可用來理解哪些工作已能交給工具,以及人類監督仍扮演的角色。

  5. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。

  6. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  7. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  8. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  9. Google Research84

    Google 用量子處理器測試 contextuality,最高跑到 105 個量子位元

    量子電腦的特殊優勢能不能在更多量子位元上維持,過去還不清楚。Google Research 團隊在 Willow 量子處理器上測試一種叫 contextuality 的量子特性:兩組參與者要在不能交談的情況下,對同一格給出一致答案;預先寫好的古典規則最多隻能答對 88.89%,量子處理器答對 98.30%。團隊也測試最多 71 個量子位元的遊戲,以及最多 105 個量子位元的淺層量子電路,結果都超過古典方法的界線。這些任務還能抓出一般隨機電路測試容易漏掉的細微硬體錯誤。

    推薦理由:研究以多種量子任務檢驗 contextuality 是否能在更多量子位元上維持,也指出這些任務能抓出隨機電路測試容易漏掉的細微硬體誤差。

  10. MarkTechPost78

    Perplexity 推出 Orchestrator API,讓模型故障時自動切換供應商

    團隊接入多家模型時,常得管理不同 API;供應商出錯時,也可能讓請求失敗。Perplexity 推出 Orchestrator API,讓開發者用一個入口呼叫多家公司的模型,遇到供應商錯誤、限流或逾時時,會改由另一個部署提供相同模型。每次請求仍按實際回答的模型費率計費,失敗且未產生輸出的請求不收費。另一項 perplexity/auto 路由功能還在預覽,會依對話內容和開發者寫的路由說明選擇模型;文中測試也顯示,加入路由後,Claude Fable 5.2 在 63 項 Terminal-Bench 4.1 任務中的完成數從 38 項增加到 41 項,但每項任務的估計成本較高。

    推薦理由:Perplexity Orchestrator 把多家模型與供應商放在同一個 API 入口,文章也比較了故障切換、路由方式與收費差異。

  11. Google Developers Blog72

    Google 示範如何用 Tunix 和 Gemma 4 訓練多輪 AI 助理

    AI 助理玩棋盤遊戲時,如果只能一次猜一格,常會打很多次才找到目標。Google 示範用 Tunix 在 Cloud TPU 上訓練 Gemma 4,讓它每次出手後讀取棋盤回饋,再決定下一步。示範中的 Plane Strike 是 6x6 棋盤遊戲,AI 助理要找出藏起來的 8 格飛機。訓練 100 步後,在保留的棋盤測試中,勝率從 9.4% 提升到 95%,平均出手次數也從 22.44 次降到約 16 次。

    推薦理由:Plane Strike 的訓練過程呈現多輪工具呼叫如何配合環境回饋逐步修正策略,也提供勝率與出手次數的變化作為參考。

  12. Dev.to Top Tech76

    如何用 llama.cpp 加速 Qwen3.8-27B:NVIDIA 草稿模型可能不如內建 MTP

    在 24 GB 顯示卡上跑 Qwen3.8-27B,加入草稿模型不一定會更快,還可能因為佔用太多顯示記憶體而變慢。作者實測並整理模型卡與 llama.cpp、vLLM 的說明,教人比較 NVIDIA 的 4B 草稿模型和模型內建的 MTP。以文中的估算來看,Q4_K_M 量化後,兩個模型光是權重就要 20.16 GB,還沒算上下文等額外用量;短回答、容易猜錯的內容,也可能讓草稿模型得不償失。作者建議用自己的常見提示詞,分別測試兩種方法和不使用草稿模型時的生成速度,再選較快的設定。

    推薦理由:文章把接受長度、草稿模型耗用的顯示記憶體與回復檢查點成本放在一起比較,說明為何 4B 草稿模型在單張消費級 GPU 上未必勝過內建 MTP。

  13. Dev.to Top Tech88

    Google DeepMind 用 AI 驗證 Signal 加密程式碼,四項保障仍有範圍限制

    Signal 的加密程式通過形式化驗證,究竟代表訊息有多安全?Google DeepMind 用 AI 為 libsignal 的編譯程式碼建立數學證明,確認一對一對話符合四項保障,包括舊訊息不會因目前的金鑰外洩而被讀取,以及裝置遭短暫入侵後,後續對話能恢復安全。這份證明不涵蓋群組聊天、金鑰產生或手機作業系統,也沒有證明 SPQR 的後量子修復能力。作者認為,這顯示正式驗證對小型團隊可能逐漸變得可行,但仍需要人先清楚定義要證明什麼;測試找出錯誤,證明則能排除特定型別的錯誤,兩者作用不同。

    推薦理由:這項驗證直接檢查編譯後的程式碼,並列出涵蓋範圍與未證明的部分,可用來理解形式化驗證能提供什麼保障。

  14. llama.cpp Releases61

    llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算

    在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。

    推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。