跳到正文
aihot(aihot.news)· noreply@aihot.news (Thinking Machines Lab:News)·· 3 天前精選品質評分81

Thinking Machines Lab 發布可在筆電執行的開源權重模型 Inkling 2 Mini

Thinking Machines Lab 釋出可跑在筆記本上的開源權重模型 Inkling 2 Mini

重點導讀

想在筆電上跑 AI 模型,常會遇到模型太大、速度不夠快的問題。

  • Thinking Machines Lab 發布開源權重模型 Inkling 2 Mini,讓模型的中間層對每個 token 重複運算三次,增加推理計算。
  • 模型總引數量為 26.4B,記憶體約需 20GB,官方表示可在記憶體至少 32GB 的 Mac 上執行。原文列出多項程式開發與工具使用測試,也說明模型在多輪對話和大量指令限制的測試中較弱。迴圈設計還會讓更多推理留在模型內部,原文的初步測試沒有看到監控能力隨迴圈增加而明顯下降。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

迴圈架構讓模型在每個 token 上多做幾輪運算,原文也交代本機硬體門檻與推理監控實驗,可用來理解這種設計的取捨。

正文

Thinking Machines Lab:News·2026-11-20 15:00· 14 小時前精選AI 評分79

Introducing Inkling 2 Mini

AI 導讀

Thinking Machines Lab 釋出開源權重模型 Inkling 2 Mini,採用迴圈 Transformer 架構,將中間 12 層每 token 執行三次,總引數 26.4B、啟用 3.4B,記憶體佔用約 20GB,可在 32GB 記憶體以上的 Mac 本地執行。

推薦理由

原文給出迴圈架構設計、基準分數和可執行硬體門檻,讀者可據此判斷它是否適合本地部署和AI 助理任務。

Introducing Inkling 2 Mini

今天我們釋出 Inkling 2 Mini,這是一款速度快、能力強的模型,體積小到可以在你的筆記型電腦上執行。

Inkling 2 Mini 是一個迴圈式 transformer,每生成一個 token 都會把模型的中間層跑三遍。這樣一來,模型能進行更多推理,用更少的 token 得出正確答案,在依賴推理質量的AI 助理程式設計等任務上尤其如此。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基準上,Inkling 2 Mini 領先所有總引數量低於 100B 的開源權重模型,執行速度也比效能相近的模型更快。

DeepSWE v1.1

DeepSWE v1.1。Ripple-65B(預覽版):44.3%,理論吞吐 4.7 tokens/s。Gemma 4 31B:0.3%,理論吞吐 10.0 tokens/s。Muse Glimmer:4.4%,理論吞吐 10.2 tokens/s。Qwen3.8-27B:42.2%,理論吞吐 11.4 tokens/s。Inkling 2 Mini:48.2%,理論吞吐 54.4 tokens/s。Gemma 4 26B A4B:0%,理論吞吐 80.8 tokens/s。Recursive Flint:10.81%,理論吞吐 122.8 tokens/s

SWE-bench Pro v2 Hard(51 項任務)

SWE-bench Pro v2 Hard(51 項任務)。Ripple-65B(預覽版):79.1%,理論吞吐 4.7 tokens/s。Gemma 4 31B:14.2%,理論吞吐 10.0 tokens/s。Muse Glimmer:44.3%,理論吞吐 10.2 tokens/s。Qwen3.8-27B:73.8%,理論吞吐 11.4 tokens/s。Qwen3.6-27B:37.25%,理論吞吐 11.4 tokens/s。Inkling 2 Mini:77.9%,理論吞吐 54.4 tokens/s。Gemma 4 26B A4B:11.8%,理論吞吐 80.8 tokens/s。Qwen3.6-35B-A3B:28.1%,理論吞吐 102.3 tokens/s

總引數量低於 100B 的模型所報告的程式設計得分。綠線是包含 Inkling 2 Mini 的前沿,虛線是不含它的前沿,陰影部分則是它帶來的提升。解碼速度是在 614 GB/s、BF16 權重、批大小為 1 條件下的理論上限,其中計入了迴圈過程中的重複讀取。各模型的評測設定有所不同。

Inkling 2 Mini 是一個混合專家(MoE)模型,總引數量 26.4B,啟用引數 3.4B,考慮到迴圈,每個 token 的權重啟用量為 5.4B。迴圈讓模型能夠推理更久,而不必把推理過程寫下來,這對監控很重要:也就是我們通過閱讀模型的思維鏈(CoT)來監督和理解其行為的能力。

我們用 Inkling 2 Mini 以及隨它一同釋出的一個研究專用的可變迴圈變體,測量了迴圈對效能和可監控性的影響。可變迴圈模型的無 CoT 時間跨度從單次執行的 16 秒提升到三次執行的 37 秒,其在一項序列推理基準上的表現一直提升到十次迴圈——是訓練時迴圈次數的兩倍。隨著迴圈次數增加,模型的思維鏈變短了,但始終清晰可讀。在AI 助理破壞行為的測試中,增加迴圈並沒有讓模型的得分呈上升趨勢。

我們很高興能為研究者提供首批採用迴圈架構的模型。可變迴圈模型被用於我們的可監控性實驗,因為它能更清晰地在不同迴圈深度之間做比較。

Inkling 2 Mini 的大部分權重在訓練和部署時都原生採用 NVFP4,最後四層為 MXFP8。Inkling 2 Mini 的總記憶體佔用約為 20GB,因此可以在消費級筆記型電腦和桌面 AI 電腦等本地裝置上執行。我們的研究人員帶著 Inkling 2 Mini 上了一趟航班,它在 MacBook Pro 上離線執行,幾分鐘內就做出了一個可玩的飛行模擬器。

MacBook Pro(M5 Pro,48GB) 飛航模式

正在載入 Inkling 2 Mini 構建的飛行模擬器…要試用飛行模擬器,請在桌面端開啟此頁面。

用 Inkling 2 Mini 構建並試飛一個飛行模擬器。計時器顯示的是真即時間;錄製內容大部分以 15 倍速播放。

Inkling 2 Mini 以開放權重形式釋出,今天已在 Tinker 上線,可用於推理和定製。

能力

Inkling 2 Mini 的優勢與 Inkling 2 Small 一致:它最擅長長週期AI 助理任務,在我們測過的大多數任務上,是同尺寸開放權重模型中的最佳。

在 DeepSWE v1.1、SWE-bench Pro v2 等AI 助理程式設計基準上,Inkling 2 Mini 的得分領先所有同類模型;在其他一些基準上則僅次於 Qwen3.8-27B。在核心最佳化基準 PMPP-Hard 上,它的成績接近體量大得多的 Inkling 2 Small。

迴圈能提升模型的推理能力,但無法讓權重存下更多事實——知識量主要取決於引數總量。在衡量事實性的 AA-Omniscience 上,Inkling 2 Mini 的得分與同尺寸的其他模型相當。研究可變迴圈模型時我們發現,長上下文基準的表現會隨迴圈次數增加而提升,例如 GraphWalks BFS 和 MRCR v2;但知識密集型基準不會因迴圈次數增加而改善,例如 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA。

Inkling 2 Mini 通過高效使用搜索和工具彌補了知識短板。在 BrowseComp、DeepSearchQA 和 MCP Atlas 上,它領先同尺寸的開放權重模型;在結合搜尋與工具使用的知識工作基準上同樣表現強勁。

Inkling 2 MiniGemma 4 31BMuse GlimmerQwen3.8-27BNemotron 3.5 Super VL
模型資訊
引數量(B)啟用 / 總量5.4/26.430.7/30.730.0/30.027.0/27.012.0/124.5
第三方指數
AA 指數(v5.0)20.1(本行已報告的最高分)4.46.320.1(本行已報告的最高分)13.6
Vals 指數(v2.2)46.5%(本行已報告的最高分)–––29.8%(本行已報告的第二高分)
程式設計與自動研究
FrontierCode v2.0stirrup v0.2.115.1%(本行已報告的最高分)0.0%1.5%14.9%(本行已報告的第二高分)6.1%
DeepSWE v1.1mini-swe-agent v2.4.648.2%(本行已報告的最高分)0.3%4.4%42.2%(本行已報告的第二高分)24.7%
Terminal Bench v4.0mini-swe-agent v2.4.65.6%(本行已報告的最高分)0.0%0.5%5.6%(本行已報告的最高分)0.0%
Terminal Bench v2.1pi v0.83.0 中的 Inkling 2 Mini71.6%(本行已報告的第二高分)43.4%51.7%73.0%(本行已報告的最高分)60.7%
SWEBench Pro v2(Hard)mini-swe-agent v2.4.677.9%(本行已報告的最高分)14.2%44.3%73.8%(本行已報告的第二高分)44.1%
SWEBench Multilingual僅用 bash 的 Inkling 2 Mini73.7%(本行已報告的最高分)43.0%66.9%70.0%(本行已報告的第二高分)67.7%
SWEBench Verified僅 bash79.2%(本行最高報告得分)46.1%76.0%77.8%(本行第二高報告得分)71.1%
Vibe Code Bench v1.1openhands (vals)77.9%(本行最高報告得分)––64.9%(本行第二高報告得分)3.5%
PMPP-Hard(AUC,0–10 小時)pi v0.83.0455.82(本行最高報告得分)––262.50(本行第二高報告得分)–
AI 助理搜尋、工具使用與知識工作
BrowseCompInkling 2 Mini(帶壓縮)79.0%(本行最高報告得分)37.0%63.9%61.6%78.9%(本行第二高報告得分)
DeepSearchQAInkling 2 Mini(帶壓縮)85.3%(本行最高報告得分)61.7%74.6%79.7%(本行第二高報告得分)77.7%
MCP Atlas公開82.7%(本行最高報告得分)54.2%75.5%77.3%(本行第二高報告得分)67.7%
AA-Briefcase v1.11263(本行第二高報告得分)3694781391(本行最高報告得分)999
GDPVal-AA v2.11319(本行第二高報告得分)6277921427(本行最高報告得分)1162
JobBench49.6%(本行最高報告得分)8.2%16.1%33.4%36.5%(本行第二高報告得分)
AutomationBench-AA v1.0.641.8%(本行第二高報告得分)4.9%6.8%48.2%(本行最高報告得分)14.8%
EnterpriseOps-Gym42.0%(本行第二高報告得分)28.4%34.7%44.2%(本行最高報告得分)28.1%
Vals Finance Index50.1%(本行最高報告得分)–––41.0%(本行第二高報告得分)
AA-AnalystAgent46.3%(本行最高報告得分)–20.0%(本行第二高報告得分)––
Diligence Bench最佳測試框架48.6%(本行最高報告得分)–40.9%46.4%(本行第二高報告得分)45.0%
視覺理解與創作
GDP.pdf16.8%(本行最高報告得分)6.0%11.8%16.4%(本行第二高報告得分)8.0%
PerceptionBench57.5%(本行最高報告得分)40.7%42.8%52.4%(本行第二高報告得分)36.8%
MMMU Pro標準 1074.9%(本行第二高報告得分)73.4%74.3%76.3%(本行最高報告得分)72.3%
OmniDocBench v1.692.8%(本行最高報告得分)82.5%90.4%91.5%(本行第二高報告得分)77.9%
ScreenSpot Pro原始 / 使用 Python76.5/87.7%(本行最高報告得分)5.9%/–75.4%/–(該行報告成績中排名第二)57.6/78.9%43.5%/–
Chartography原始 / 配合 Python22.1/72.5%(該行報告成績中最佳)12.0/11.8%17.4/25.1%(該行報告成績中排名第二)12.2/52.1%9.7/29.3%
ZeroBench(主項)原始 / 配合 Python17.0/34.0%(該行報告成績中最佳)9.0/12.0%9.0/17.0%12.0%/–(該行報告成績中排名第二)11.0/12.0%
MuirBench77.5%(該行報告成績中排名第二)72.3%77.6%(該行報告成績中最佳)65.9%72.7%
BVB68.4%(該行報告成績中排名第二)47.0%50.5%70.7%(該行報告成績中最佳)52.1%
推理、知識與認識論
HLE-Diamond15.2%(該行報告成績中排名第二)7.2%9.1%15.3%(該行報告成績中最佳)8.8%
CritPt v2完整 / 困難31.4/17.0%(該行報告成績中最佳)–/4.0%–/7.0%10.6/4.0%36.9/13.5%(該行報告成績中排名第二)
Apex 202534.4%(該行報告成績中最佳)5.2%4.2%18.8%22.9%(該行報告成績中排名第二)
ARC-AGIv1 / v284.5/49.3%(該行報告成績中最佳)––87.5/42.4%(該行報告成績中排名第二)22.7/1.5%
LongBench v266.9%(該行報告成績中最佳)52.9%33.1%52.3%62.1%(該行報告成績中排名第二)
GraphWalks BFS256K69.7%(該行報告成績中最佳)––50.4%63.3%(該行報告成績中排名第二)
MRCR v28 針 256K–512K46.4%(該行報告成績中最佳)––38.0%(該行報告成績中排名第二)5.7%
AA-Omniscience v1.1得分-8.6-48.5-32.2-6.4(該行報告成績中排名第二)-2.9(該行報告成績中最佳)
AA-Omniscience v1.1非幻覺率63.4%14.5%16.4%71.4%(該行報告成績中最佳)69.5%(該行報告成績中排名第二)
ComplexConstraints v1.1openhands v1.45.033.4%(該行報告成績中排名第二)31.6%35.6%(該行報告成績中最佳)30.1%30.1%
安全與對齊
FORTRESS(對抗性)公開89.5%(該行報告成績中排名第二)67.8%90.3%(該行報告成績中最佳)78.8%79.6%
FORTRESS(良性)公開96.4%97.6%(該行報告成績中排名第二)89.1%97.8%(該行報告成績中最佳)92.7%
StrongREJECT(無)97.8%98.1%99.0%(該行報告成績中排名第二)99.0%(該行報告成績中排名第二)99.4%(該行報告成績中最佳)
不當行為(內部)↓9.8%(該行報告成績中最佳)27.6%(該行報告成績中排名第二)46.4%57.7%52.8%
隱蔽性不當行為(內部)↓8.3%(本行已報告的最佳成績)24.3%(本行已報告的第二好成績)45.6%33.2%43.4%
破壞性行為(內部)↓10.2%(本行已報告的最佳成績)75.8%68.8%35.2%(本行已報告的第二好成績)65.6%

每行中已報告的最佳成績(數值越低越好時取最低值);顯示分數相同則並列每行中已報告的第二好成績;第一名並列時無此項

斯坦福的研究人員以“每焦耳智慧”來衡量:大語言模型要達到某一效能水平,每次查詢需要消耗多少能量。斯坦福Hazy Research Lab和Scaling Intelligence Lab的研究人員獲得了 Inkling 2 Mini 的早期測試許可權。Inkling 2 Mini 在 NVIDIA DGX Spark 上執行得分為 0.703,明顯高於其他模型:Qwen3.6-35B-A3B 為 0.430,Gemma-4-26B-A4B 為 0.159,Qwen3.5-27B 為 0.036。Intelligence per Watt: Measuring Intelligence Efficiency of Local AI,Saad-Falcon 與 Narayan 等,2025本實驗中,Inkling 2 Mini 在 NVIDIA DGX Spark(128GB)上以 MXFP8 精度、低推理強度執行。其他模型分別以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)和 INT4(Qwen3.5-27B)執行。

效率與效能兼備,讓 Inkling 2 Mini 成為在本地硬體上執行多個常駐AI 助理的有力選擇。注重節能的 Thinkyville 村裡全部 20 位居民,都由執行在一臺離線 MacBook 上的 Inkling 2 Mini 管理。

MacBook Pro(M5 Pro,48GB) 飛航模式

Thinkyville 是 Inkling 2 Mini 搭建的一座微型畫素小鎮,同一個模型在一臺離線 MacBook 上驅動全部 20 位村民。他們規劃一天的生活、閒聊、舉辦烘焙比賽,還會回覆你留在他們門上的便條。

侷限性

在多輪對話或包含大量約束的指令上,Inkling 2 Mini 並非最強的小模型:它在 MultiChallenge 上得分 50.0%,在 ComplexConstraints v1.1 上得分 33.4%,兩項均落後於 Qwen3.8-27B。在 CritPt v2、HLE-Diamond 等推理密集型基準上,它也落後於更大的模型。

架構與訓練

Inkling 2 Mini 是一個 24 層模型,源自我們的主線預測式擴充套件階梯。與主線方案相比,主要改動是剪掉三分之二的專家以縮小模型規模,並引入迴圈機制來提升推理能力。其餘訓練流程,包括量化和資料配比,均沿用主線方案。

迴圈設計

Inkling 2 Mini 共 24 層,分為四個區塊,每塊六層。中間兩個區塊執行三次,首尾兩個區塊各執行一次。這一設計基於此前關於迴圈 Transformer 的研究,其思路是:模型的中間層承載更抽象的推理,而最前和最後幾層則更多用於在嵌入與內部表示之間轉換。Universal Transformers,Dehghani 等,2018在我們的實驗中,在 28 項不同評估中有 27 項顯示,迴圈中間 12 層帶來的準確率提升大於迴圈最後 12 層。

按迴圈位置劃分的等算力增益

中間層 (7–18)

1.51–1.91×

最後幾層 (13–24)

1.24–1.36×

在訓練第 2,000 步時,無迴圈基線要達到中間迴圈的損失,估計需要 1.51–1.91 倍的計算量;而最後一層迴圈只需 1.24–1.36 倍。每段區間覆蓋了同樣三次評估中的最低和最高估計值。兩個迴圈版本都用了三次傳遞,訓練計算量相同。

我們的模型採用注意力殘差。Attention Residuals, Kimi Team: Guangyu Chen et al., 2026 它不再把每一層的輸出累加進同一個總和,而是讓每一層讀取前面各塊的輸出,並學習自己的混合方式。這樣,資訊就能在迴圈之間更豐富地傳遞。每次傳遞都從 prelude(第一個塊)的輸出開始。第二、三次經過中間塊時,還會讀取中間塊上一輪傳遞的輸出,我們稱之為 message。

prelude 依次向經過塊 2 和塊 3 的三次傳遞提供輸入。每次傳遞都會把 message 傳給下一次,第三次則把輸出送給最後一個塊。

塊 2 和塊 3 在三次傳遞中共享權重,因此 24 個儲存層每 token 產生 48 次層應用。prelude 為每次傳遞提供輸入;第二、三次還會接收上一次傳遞的 message。

上一輪迴圈的 message 會與 prelude 的輸出合併,合併通過一個門控完成,該門控會連同塊內前面各層的輸出一起對這些訊號進行縮放。這個門控在訓練中學習:它最初完全遮蔽整個 message——這使每次迴圈的起點與非迴圈模型相同——隨後逐步提高 message 的增益。這樣我們就能在訓練過程中穩定地引入迴圈。

為了評估迴圈的影響,我們在擴充套件階梯上比較了未剪枝的迴圈版本和未剪枝的非迴圈模型。非迴圈模型的訓練計算量少 7.5%,但在 512k token 的AI 助理軌跡上要達到迴圈版本的損失,推理計算量要多 140%。

NVFP4 與低位元量化

Inkling 2 Mini 以 4 位元精度訓練,我們在最近一篇關於 Connectionism 的文章中對此做了介紹。從預訓練到強化學習的所有前向傳遞中,專家層都採用 4 位元 NVFP4 精度,並輔以專用核心和 NVIDIA GB300 平臺上的硬體加速。最後 4 層的前向傳遞以 8 位元(MXFP8)執行。

Inkling 2 Mini 的權重以訓練時相同的數值精度部署——20 層為 NVFP4,4 層為 MXFP8——因此不存在量化帶來的轉換損失。

剪枝與修復

Inkling 2 Mini 開始訓練時的稀疏度為 48,即從 384 個專家中選出 8 個。在訓練中期的某一時點,我們剪掉了三分之二的專家,每層只保留最常用的 128 個。這樣做是為了減少模型的總引數量,讓它執行更快,並能在本地硬體上執行。

剪枝後,模型在從更大的內部 Inkling 模型蒸餾出的 1T token 上訓練。這一步通過訓練剩餘專家接管被刪除專家的工作,恢復了模型剪枝前的效能。

訓練 Inkling 2 Mini

完成剪枝與修復後,Inkling 2 Mini 使用與 Inkling 2 Small 相似的資料配比進行了 SFT。隨後進行了強化學習,在 2,000 步中總共使用 2.2T token。後訓練階段包含用於訓練對齊的同策略蒸餾,與 Inkling 2 Small 相同。

迴圈 Transformer 的可監控性

理解和監督 AI 系統的關鍵工具之一,是監控其思維鏈(CoT),也就是模型在解決問題過程中寫出的推理過程。CoT 監控之所以有用,部分原因在於標準的非迴圈 Transformer 架構:每個 token 只經過一次固定的層堆疊。這限制了模型在必須輸出 token 之前能執行的序列計算步數,因此需要更多步驟的推理只能在生成的文本中進行,從而可以被讀取。

讓 Transformer 的層迴圈起來,就能提高這一上限。通過多次執行相同的層,迴圈模型在不增加引數的情況下提升了序列深度,也就是說,它們在通過 CoT 說出思考過程之前,會在內部對每個 token 做更多計算。從未出現在 CoT 中的推理無法被 CoT 監控捕捉到,這引發了人們的擔憂:迴圈 Transformer 可能更難監督。

我們釋出 Inkling 2 Mini 的原因之一,是讓社群能夠開展迴圈 Transformer 的研究。我們尤其期待研究者探究可監控性問題,並開發可解釋性技術,以理解迴圈內部的計算。

為了探索不同程度的迴圈如何影響可監控性等模型特性,我們還訓練了一個可變迴圈模型 TML-d24-varloop-research,因為 Inkling 2 Mini 只支援固定次數的迴圈。為了實現可變迴圈,TML-d24-varloop-research 在訓練中使用了 1 到 5 次迴圈。TML-d24-varloop-research 主要按 3 次迴圈訓練,對 1、2、4、5 次迴圈的接觸較少。在這些迴圈次數下的表現,可能低於專門針對它們訓練所能達到的水平。詳情見模型卡。我們還在 Hugging Face 上公開了這個模型。

下面介紹我們對迴圈如何影響可監控性的初步分析。總體來看,我們發現迴圈提升了這些模型在不借助言語化思維鏈時能完成的任務,但在這一規模下,我們沒有看到其推理的可監控性出現明顯下降。

無 CoT 能力

第一步,我們在完全不使用 CoT 回答的任務上,比較相同規模的迴圈模型和非迴圈模型,衡量迴圈帶來了多少額外的推理能力。我們使用了 Think Fast,這個基準測試用於估計模型的“無 CoT 時間跨度”:即模型在不使用 CoT 的情況下,以 50% 的可靠效能夠完成的任務長度,按人類完成時間計算。這些模型並未接受過不使用 CoT 回答問題的訓練。為了引出無 CoT 的回答,我們預填了回答的開頭,迫使模型直接作答、跳過推理。其他引導技術(如微調)可能帶來更高的無 CoT 表現,值得探索。

正如預期,迴圈提升了無 CoT 能力,不過這些增益最終會趨於平緩。TML-d24-varloop-research 的無 CoT 時間跨度從 1 次迴圈的 16 秒上升到 3 次迴圈的 37 秒。其中一部分想必來自迴圈提供的額外序列計算。超過 3 次迴圈後,時間跨度大致持平。有趣的是,這個模型從未用超過 5 次迴圈訓練過,但用 10 次迴圈執行它,效能也沒有明顯下降。

無 CoT 時間跨度

無思維鏈(No-CoT)時間跨度,以人類秒數計,附 95% 自助法置信區間。Inkling 2 Mini,3 次迴圈:41 秒,區間 3 至 59.4 秒。TML-d24-varloop-research,1 次迴圈:16 秒,區間 0.2 至 25.2 秒。TML-d24-varloop-research,2 次迴圈:26 秒,區間 1.3 至 37.8 秒。TML-d24-varloop-research,3 次迴圈:37 秒,區間 3.6 至 51.6 秒。TML-d24-varloop-research,5 次迴圈:42 秒,區間 4.8 至 56.4 秒。TML-d24-varloop-research,10 次迴圈:40 秒,區間 4.8 至 52.8 秒。

Inkling 2 Mini 與 TML-d24-varloop-research 在 1、2、3、5、10 次迴圈下的無思維鏈時間跨度,測試集為 Think Fast 任務的一個子集。每個標記點表示模型擬合準確率達到 50% 時對應的任務長度(以人類完成時間計)。豎條表示 95% 自助法置信區間。

當迴圈次數超過三次後,增益變小,在大多數任務上效能相近。一個例外是 N-Hop Lookup 任務,它能幹淨地評估序列推理:模型會拿到若干張包含虛構條目的查詢表,必須沿著一條查詢鏈逐步推進,且不能寫下任何內容。我們發現,迴圈次數越多,模型能跟隨的鏈條越長,到十次迴圈時仍在提升。

N-Hop Lookup

可變迴圈模型在 N-Hop Lookup 上的準確率,按模型需要串聯的查詢次數分箱。每道題有五個選項,因此隨機猜測得分為 20%(虛線)。

在帶思維鏈的標準評測中,我們發現增加迴圈次數主要提升多跳推理,而非記憶召回。增益最大的是長上下文檢索(MRCR),其次是數學與科學推理(HMMT、GPQA Diamond、HLE)以及長時程AI 助理任務(SWE-bench Pro、BrowseComp)。閉卷事實問答幾乎不受迴圈次數影響(SimpleQA Verified、WorldVQA)。完整評測見模型卡。

思維鏈可監控性

接下來,我們通過兩項評測衡量:隨著迴圈次數增加,模型的思維鏈對其推理過程的揭示是否變少。第一,評估迴圈對思維鏈壓縮程度與可讀性的影響。第二,衡量思維鏈的可控性,即模型能否刻意重塑思維鏈以滿足約束。兩項評測均使用 TML-d24-varloop-research,迴圈 1 至 5 次,以研究迴圈的影響。

需注意,TML-d24-varloop-research 在中期訓練階段只見過 1 至 5 次的可變迴圈次數,其強化學習是在 3 次迴圈下完成的。因此這些實驗無法告訴我們,一個在更高迴圈次數下做強化學習的模型會學到什麼,這樣的模型可能會更激進地壓縮其推理過程。更乾淨的對比應讓強化學習覆蓋所有迴圈次數,我們留待未來工作。

壓縮與可讀性。由於迴圈讓模型能在每個 token 上投入更多算力,我們預計它達到同等效能所需的思維鏈 token 會更少。我們在 1 至 5 次迴圈下執行可變迴圈模型,發現隨著迴圈增加,模型在各推理 token 預算下的準確率總體更高,但超過 3 次迴圈後收益遞減。值得注意的是,GPQA Diamond 上的 token 效率從 3 次到 5 次迴圈略有提升,儘管模型只在 3 次迴圈下做過強化學習,這說明部分壓縮來自額外計算本身,而非該深度下的強化學習。

準確率與推理 token 數

1 遍2 遍3 遍5 遍Inkling 2 Mini

GPQA Diamond 準確率(%)

GPQA Diamond。按每個答案的平均推理 token 數(對數刻度)統計的準確率(%)。1 遍:5,343 token 時 61.4%,6,204 token 時 63.3%,9,006 token 時 66.4%,11,896 token 時 67.8%,12,083 token 時 71.4%。2 遍:3,029 token 時 73.2%,3,064 token 時 74.4%,5,087 token 時 77.5%,6,791 token 時 80.7%,7,962 token 時 81.5%。3 遍:2,337 token 時 77.5%,2,649 token 時 77.3%,4,557 token 時 80%,6,196 token 時 81.3%,7,053 token 時 82%。5 遍:2,082 token 時 74.4%,2,319 token 時 77.3%,4,306 token 時 81.8%,5,942 token 時 84.1%,7,157 token 時 82.8%。Inkling 2 Mini:1,599 token 時 78%,1,887 token 時 77.5%,5,638 token 時 83.3%,13,287 token 時 87%,16,342 token 時 86.1%。

DeepSWE v1.1 準確率(已解決任務的百分比)

DeepSWE v1.1。按每個任務的平均推理 token 數(對數刻度)統計的準確率(已解決任務的百分比)。1 遍:78,859 token 時 0%,73,349 token 時 0.2%,74,103 token 時 0.2%,76,607 token 時 0%,73,840 token 時 0%。2 遍:54,598 token 時 20.5%,59,431 token 時 20.4%,77,348 token 時 26.8%,105,142 token 時 26.8%,130,256 token 時 29.9%。3 遍:46,283 token 時 32.5%,49,500 token 時 38.1%,79,662 token 時 42.6%,118,100 token 時 40.9%,151,774 token 時 43.2%。5 遍:44,017 token 時 35.6%,48,395 token 時 38.1%,85,385 token 時 40.8%,123,903 token 時 45.8%,159,133 token 時 49.5%。Inkling 2 Mini:32,902 token 時 28.8%,35,303 token 時 29.3%,87,893 token 時 44.2%,110,250 token 時 42.2%,110,660 token 時 44.6%。

在科學推理(GPQA Diamond)和程式設計(DeepSWE v1.1)基準測試上,TML-d24-varloop-research 隨著迴圈層數從 1 遍增加到 5 遍,token 效率和最高效能都有所提升。

觀察到的 CoT 壓縮給可監控性提出了一個問題:更短的推理是否仍然可讀,還是會遺漏模型思考過程中的重要細節?我們比較了可變迴圈模型在 GPQA Diamond 上五種遍數均答對的那些題目的推理軌跡。5 遍時的推理長度不到 1 遍時的一半(平均 1,661 對 3,703 token),但可讀性並未下降:句子長度和英文詞典詞彙佔比都沒有變化。初步分析顯示,區別在於模型更直接,在得出答案的過程中回溯更少。下面的例子用一個簡單問題說明了這一差異。

指標1 遍3 遍5 遍
平均推理 token 數370317311661
平均每句詞數8.98.78.7
英文詞典詞彙佔比94.6%94.5%94.4%
不確定標記例如“wait”“actually”和“hmm”9.73.93.6

某非閏年的 3 月 1 日是星期二。同年 5 月 20 日是星期幾?在最後一行單獨給出最終答案,格式為 ANSWER: <value>。

1 遍582 個推理 token

思考中……(節選)

Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.

3 月 1 日到 5 月 20 日相隔 80 天。由於 80 ≡ 3 mod 7,星期二加 3 天等於星期五。

ANSWER: Friday

5 遍240 個推理 token

思考中……(節選)

March 1 to April 1 = 31 days (since March has 31). April 1 to May 1 = 30 days. May 1 to May 20 = 19 days. Total 31+30+19 = 80 days. Mod 7: 80 mod 7 = 3 (77 multiple, remainder 3). Tuesday + 3 days = Friday? Let's map: Tue +1 Wed, +2 Thu, +3 Fri. Answer Friday.

從 3 月 1 日到 5 月 20 日相隔 80 天。由於 80 ≡ 3 mod 7,星期二加 3 天等於星期五。

ANSWER: Friday

模型在 effort 0.1 下回答一個簡單問題時,第 1 遍和第 5 遍推理的片段。紅色表示錯誤,黃色表示回溯。在第 1 遍和第 5 遍時,模型都做了同樣的基礎計算並得出相同答案,但第 1 遍時它犯了錯並回溯,結果用了兩倍以上的推理 token。兩種情況下,思維鏈本身都是人類可讀的。

可控性。模型規避監控的一種方式,是讓思維鏈避開監控會標記的內容。CoT-Control-QA 評估Reasoning Models Struggle to Control their Chains of Thought, Yueh-Han et al., 2026衡量這一能力:它從 GPQA、HLE 和 MMLU-Pro 中取題,並附上針對思維鏈本身的指令,比如避開題目中的某個關鍵詞。思維鏈越長通常越難控制,因此我們彙總了五檔推理 effort(0.1、0.2、0.7、0.9 和 0.99)的回覆,在思維鏈長度匹配的情況下展示可控性。

Inkling 2 Mini 和 TML-d24-varloop-research 對自身思維鏈的控制都很差。在 750–1,250 token 的思維鏈中,Inkling 2 Mini 和 TML-d24-varloop-research(3 遍)最多隻有 0.1% 的時候遵循指令,而 Inkling 2 Small 為 0.3%,Inkling-Small 為 0.4%,Qwen3.8-27B 為 1.3%。由於可控率太低,這項評估無法區分不同迴圈遍數之間的可控性。

思維鏈可控性

思維鏈可控性隨思維鏈長度的變化,彙總了各檔推理 effort。在大多數長度上,Inkling 2 Mini 和 TML-d24-varloop-research 引導自身思維鏈遵循指令的能力都不如對照模型。我們採用 Yueh-Han 等人(2026)對可控性的非嚴格定義。陰影帶為 95% Wilson 得分割槽間。

AI 助理可監控性

為衡量AI 助理場景下的可監控性,我們使用了 LinuxArena——一項控制評估,衡量攻擊者模型在被要求執行真實軟體工程任務時,能否在不被發現的情況下完成惡意子任務。我們評估的是 Inkling 2 Mini 的一個僅樂於助人微調版本,因為釋出版模型會拒絕許多子任務。從絕對值看,該模型和 TML-d24-varloop-research 都能被 Qwen3.8-27B 這類模型輕鬆監控,後者在我們的評估中幾乎檢出了所有子任務嘗試。為了得到可監控性的相對排名,我們改用更弱的 Qwen3.6-35B-A3B 作為監控者。

LinuxArena 隱蔽率

使用較弱監控者(Qwen3.6-35B-A3B)時的 LinuxArena 隱蔽率,所有模型均採用簡單攻擊策略。隱蔽率指攻擊者完成惡意子任務且未被監控者發現的回合佔比。監控者的懷疑閾值設為誤報率 1%。執行在 184 組主任務/子任務配對的一個子集上進行。

當監控者只能訪問工具呼叫及其輸出時,它會漏掉相當數量的攻擊。不過,我們沒有看到隱蔽率隨迴圈遍數變化的明顯趨勢。

在更大規模的模型中,AI 助理可監控性將值得持續關注,尤其是那些允許更多未言明思考的架構;我們也鼓勵繼續研究迴圈在這一場景中的影響。

機制可解釋性

可監控性的目標是理解模型在做什麼,我們的主要方法是讀取它用語言表達出來的推理過程。直接研究其內部計算,也就是機制可解釋性的目標,是另一條路徑。由於迴圈 Transformer 把更多計算放在內部完成,我們認為它們是可解釋性研究中一個特別有趣且重要的場景,也希望我們的迴圈模型能成為社群有用的研究素材。

我們正與National Deep Inference Fabric (NDIF)合作,讓可解釋性研究者更容易使用這些模型。我們還向可解釋性研究實驗室Goodfire提供了迴圈模型的早期訪問許可權。他們正在推進對迴圈模型的機制性理解,並已將早期發現寫在這裡。

立即試用 Inkling 2 Mini

高效的智慧表現讓 Inkling 2 Mini 成為對速度要求極高的推理場景,或在本地硬體上執行的理想選擇。釋出時,我們支援通過 Ollama 在記憶體至少 32GB 的任何 Mac 系統(MacBook、Mac Mini)上執行 Inkling 2 Mini。憑藉原生 NVFP4 訓練與推理精度,Inkling 2 Mini 能在 NVIDIA 的 DGX Spark 桌面 AI 計算機上高效執行。Unsloth 和 llama.cpp 提供了量化 GGUF 版本,可用於本地推理。

Inkling 2 Mini 可在 Tinker 上進行推理和微調,也可在 Tinker Playground 中對話。開源推理支援 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed,強化學習微調支援 SkyRL、Miles 和 NVIDIA AutoModel。Inkling 2 Mini 及可變迴圈版本的完整權重已在 Hugging Face 上釋出。

我們致力於賦能人們,提供強大的模型、讓模型真正屬於你的工具,以及推動公眾理解 AI 的研究。Inkling 2 Mini 讓研究者得以研究迴圈 Transformer,也讓任何人都能在自己的筆記型電腦上,以模型訓練時的精度執行一個能力出色的模型。

來源:Thinking Machines Lab:News · thinkingmachines.ai

所屬事件

檢視事件全部Thinking Machines 釋出可本地執行的開源模型 Inkling 2 Mini

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論