跳到正文
hackernews100(thinkingmachines.ai)· jasondavies·· 2 天前精選品質評分86

Inkling 2 Mini 發布,可在筆電上執行的開放權重模型

Inkling 2 Mini

重點導讀

模型要處理需要多步推理的工作,常得花更多時間或寫下更多推理內容。

  • Inkling 2 Mini 會把模型中間的部分重複運算三次,作者表示,這讓它能用較少的 token 處理程式開發等任務。
  • 模型總引數為 26.4B,記憶體佔用約 20GB,也能在筆電上離線執行。它在多項同尺寸開放權重模型的程式與搜尋測試中表現突出,權重已公開。
  • 不過,多輪聊天和需要遵守許多限制的指令仍是弱項。作者也測試了重複運算對推理內容監看的影響,初步結果沒有顯示監看能力明顯變差。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Inkling 2 Mini以反覆運算的架構提升推理能力,文中也比較了它在程式任務、長篇推理與監看能力上的表現。

正文 · 中文翻譯

今天我們推出 Inkling 2 Mini。這款模型速度快、效能強,體積小到能在筆電上執行。

Inkling 2 Mini 是一種迴圈式 Transformer,每處理一個 token,就會將模型的中間層執行三次。這讓模型能進行更多推理,並以較少的 token 得出正確答案,尤其適合仰賴推理品質的任務,例如代理式程式設計。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基準測試中,Inkling 2 Mini 的表現領先所有總引數量低於 100B 的開放權重模型。它的執行速度也比表現相近的模型更快。

DeepSWE v1.1

SWE-bench Pro v2 Hard(51 項任務)

總引數量低於 100B 的模型在程式設計評測中的分數。綠線表示加入 Inkling 2 Mini 後的前緣,虛線表示未加入它時的前緣,陰影則表示它拓展的範圍。解碼速度是理論上限,以 BF16 權重和批次大小 1 計算,為 614 GB/s,並納入迴圈期間重複讀取的資料。各模型的評測設定不盡相同。

Inkling 2 Mini 是混合專家模型,總引數量為 26.4B,其中啟用引數為 3.4B;計入迴圈後,每個 token 會啟用 5.4B 個權重。迴圈讓模型能進行更長時間的推理,而不必寫下推理過程。這對可監督性很重要:我們能否透過閱讀模型的思路鏈(CoT),監督並理解模型的行為。

我們使用 Inkling 2 Mini,以及同步推出、供研究使用的可變迴圈版本,測量迴圈對效能和可監督性的影響。可變迴圈模型在不提供 CoT 時的時間跨度,從單次執行的 16 秒提升至三次執行的 37 秒;在一項序列推理基準測試中,它的表現也隨迴圈次數增加而持續進步,最多達十次迴圈,是訓練時迴圈次數的兩倍。迴圈次數增加後,模型的思路鏈變得更短,但始終清晰易讀。增加迴圈次數並未讓模型在代理式破壞行為測試中的分數呈現上升趨勢。

我們很高興能為研究人員提供首批採用迴圈式架構的模型。可變迴圈模型可讓不同迴圈深度之間的比較更為單純,因此我們將它用於可監督性實驗。

Inkling 2 Mini 的大部分權重都以 NVFP4 原生訓練並部署,最後四層則採用 MXFP8。Inkling 2 Mini 的記憶體總用量約為 20GB,因此能在消費型筆電和桌上型 AI 電腦等本機裝置上執行。我們的研究人員曾在搭機時使用 Inkling 2 Mini;它在 MacBook Pro 上離線執行,並在幾分鐘內打造出可遊玩的飛行模擬器。

MacBook Pro(M5 Pro,48GB) 飛航模式

正在載入 Inkling 2 Mini 打造的飛行模擬器……如要試玩飛行模擬器,請在桌上型電腦上開啟此頁面。

使用 Inkling 2 Mini 打造並駕駛飛行模擬器。計時器顯示實際時間;錄影大部分內容以 15 倍速播放。

Inkling 2 Mini 以開放權重形式推出,今天起可在 Tinker 上用於推論和自訂。

能力

Inkling 2 Mini 的強項與 Inkling 2 Small 相似:最擅長長時間執行的代理式工作,而且在我們測試的大多數任務中,都是同等級開放權重模型裡表現最佳的。

在 DeepSWE v1.1 和 SWE-bench Pro v2 等代理式程式設計基準測試中,Inkling 2 Mini 的分數領先所有同級模型,其他測試則僅落後 Qwen3.8-27B。在用於核心最佳化的 PMPP-Hard 基準測試中,它的分數接近規模大得多的 Inkling 2 Small。

雖然反覆迴圈能提升模型的推理能力,卻無法讓模型權重儲存更多事實;知識量大致取決於引數總數。Inkling 2 Mini 在衡量事實正確性的 AA-Omniscience 上,得分與其他同等規模的模型相當。研究可變迴圈模型時,我們發現增加迴圈次數能提升長上下文基準測試的表現,例如 GraphWalks BFS 和 MRCR v2;但在仰賴大量知識的基準測試中,增加迴圈次數並未帶來提升,例如 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA。

Inkling 2 Mini 透過有效運用搜尋與工具,彌補知識上的落差。在 BrowseComp、DeepSearchQA 和 MCP Atlas 上,它領先規模相近的開放權重模型。在結合搜尋與工具使用的知識工作基準測試中,它的表現也很出色。

Inkling 2 MiniGemma 4 31BMuse GlimmerQwen3.8-27BNemotron 3.5 Super VL
模型資訊
引數量(B)啟用/總計5.4/26.430.7/30.730.0/30.027.0/27.012.0/124.5
第三方索引
AA Index(v5.0)20.1(此列公佈的最佳分數)4.46.320.1(此列公佈的最佳分數)13.6
Vals Index(v2.2)46.5%(此列公佈的最佳分數)–––29.8%(此列公佈的第二高分數)
程式設計與自動化研究
FrontierCode v2.0stirrup v0.2.115.1%(此列公佈的最佳分數)0.0%1.5%14.9%(此列公佈的第二高分數)6.1%
DeepSWE v1.1mini-swe-agent v2.4.648.2%(此列公佈的最佳分數)0.3%4.4%42.2%(此列公佈的第二高分數)24.7%
Terminal Bench v4.0mini-swe-agent v2.4.65.6%(此列公佈的最佳分數)0.0%0.5%5.6%(此列公佈的最佳分數)0.0%
Terminal Bench v2.1Inkling 2 Mini 搭配 pi v0.83.071.6%(此列公佈的第二高分數)43.4%51.7%73.0%(此列公佈的最佳分數)60.7%
SWEBench Pro v2(Hard)mini-swe-agent v2.4.677.9%(此列公佈的最佳分數)14.2%44.3%73.8%(此列公佈的第二高分數)44.1%
SWEBench MultilingualInkling 2 Mini 僅使用 bash73.7%(此列公佈的最佳分數)43.0%66.9%70.0%(此列公佈的第二高分數)67.7%
SWEBench Verified僅使用 bash79.2%(此列公佈的最佳分數)46.1%76.0%77.8%(此列公佈的第二高分數)71.1%
Vibe Code Bench v1.1openhands(vals)77.9%(此列公佈的最佳分數)––64.9%(此列公佈的第二高分數)3.5%
PMPP-Hard(AUC,0–10h)pi v0.83.0455.82(此列公佈的最佳分數)––262.50(此列公佈的第二高分數)–
代理式搜尋、工具使用與知識工作
BrowseCompInkling 2 Mini 搭配上下文壓縮79.0%(此列公佈的最佳分數)37.0%63.9%61.6%78.9%(此列公佈的第二高分數)
DeepSearchQAInkling 2 Mini(含壓縮)85.3%(此列公佈的最佳分數)61.7%74.6%79.7%(此列公佈的次佳分數)77.7%
MCP Atlas公開版82.7%(此列公佈的最佳分數)54.2%75.5%77.3%(此列公佈的次佳分數)67.7%
AA-Briefcase v1.11263(此列公佈的次佳分數)3694781391(此列公佈的最佳分數)999
GDPVal-AA v2.11319(此列公佈的次佳分數)6277921427(此列公佈的最佳分數)1162
JobBench49.6%(此列公佈的最佳分數)8.2%16.1%33.4%36.5%(此列公佈的次佳分數)
AutomationBench-AA v1.0.641.8%(此列公佈的次佳分數)4.9%6.8%48.2%(此列公佈的最佳分數)14.8%
EnterpriseOps-Gym42.0%(此列公佈的次佳分數)28.4%34.7%44.2%(此列公佈的最佳分數)28.1%
Vals Finance Index50.1%(此列公佈的最佳分數)–––41.0%(此列公佈的次佳分數)
AA-AnalystAgent46.3%(此列公佈的最佳分數)–20.0%(此列公佈的次佳分數)––
Diligence Bench最佳測試架構48.6%(此列公佈的最佳分數)–40.9%46.4%(此列公佈的次佳分數)45.0%
視覺解讀與創作
GDP.pdf16.8%(此列公佈的最佳分數)6.0%11.8%16.4%(此列公佈的次佳分數)8.0%
PerceptionBench57.5%(此列公佈的最佳分數)40.7%42.8%52.4%(此列公佈的次佳分數)36.8%
MMMU Pro標準 1074.9%(此列公佈的次佳分數)73.4%74.3%76.3%(此列公佈的最佳分數)72.3%
OmniDocBench v1.692.8%(此列公佈的最佳分數)82.5%90.4%91.5%(此列公佈的次佳分數)77.9%
ScreenSpot Pro原始/使用 Python76.5/87.7%(此列公佈的最佳分數)5.9%/–75.4%/–(此列公佈的次佳分數)57.6/78.9%43.5%/–
Chartography原始/使用 Python22.1/72.5%(此列公佈的最佳分數)12.0/11.8%17.4/25.1%(此列公佈的次佳分數)12.2/52.1%9.7/29.3%
ZeroBench(主要專案)原始/使用 Python17.0/34.0%(此列公佈的最佳分數)9.0/12.0%9.0/17.0%12.0%/–(此列公佈的次佳分數)11.0/12.0%
MuirBench77.5%(此列公佈的次佳分數)72.3%77.6%(此列公佈的最佳分數)65.9%72.7%
BVB68.4%(此列公佈的次佳分數)47.0%50.5%70.7%(此列公佈的最佳分數)52.1%
推理、知識與認識論
HLE-Diamond15.2%(該列公佈的第二高分)7.2%9.1%15.3%(該列公佈的最高分)8.8%
CritPt v2完整/困難31.4/17.0%(該列公佈的最高分)–/4.0%–/7.0%10.6/4.0%36.9/13.5%(該列公佈的第二高分)
Apex 202534.4%(該列公佈的最高分)5.2%4.2%18.8%22.9%(該列公佈的第二高分)
ARC-AGIv1/v284.5/49.3%(該列公佈的最高分)––87.5/42.4%(該列公佈的第二高分)22.7/1.5%
LongBench v266.9%(該列公佈的最高分)52.9%33.1%52.3%62.1%(該列公佈的第二高分)
GraphWalks BFS256K69.7%(該列公佈的最高分)––50.4%63.3%(該列公佈的第二高分)
MRCR v28-needle 256K–512K46.4%(該列公佈的最高分)––38.0%(該列公佈的第二高分)5.7%
AA-Omniscience v1.1分數-8.6-48.5-32.2-6.4(該列公佈的第二高分)-2.9(該列公佈的最高分)
AA-Omniscience v1.1非幻覺率63.4%14.5%16.4%71.4%(該列公佈的最高分)69.5%(該列公佈的第二高分)
ComplexConstraints v1.1openhands v1.45.033.4%(該列公佈的第二高分)31.6%35.6%(該列公佈的最高分)30.1%30.1%
安全性與一致性
FORTRESS(對抗性)公開89.5%(該列公佈的第二高分)67.8%90.3%(該列公佈的最高分)78.8%79.6%
FORTRESS(良性)公開96.4%97.6%(該列公佈的第二高分)89.1%97.8%(該列公佈的最高分)92.7%
StrongREJECT(無)97.8%98.1%99.0%(該列公佈的第二高分)99.0%(該列公佈的第二高分)99.4%(該列公佈的最高分)
不當行為(內部)↓9.8%(該列公佈的最高分)27.6%(該列公佈的第二高分)46.4%57.7%52.8%
隱蔽不當行為(內部)↓8.3%(該列公佈的最高分)24.3%(該列公佈的第二高分)45.6%33.2%43.4%
破壞性行為(內部)↓10.2%(該列公佈的最高分)75.8%68.8%35.2%(該列公佈的第二高分)65.6%

每列的公佈最高分(越低越好時取最低分);顯示分數相同則並列每列的公佈第二高分;若第一名並列則不標示

史丹佛研究人員測量每焦耳的智慧:大型語言模型每次查詢需要多少能量,才能達到特定效能水準。史丹佛的 Hazy Research Lab 與 Scaling Intelligence Lab 取得 Inkling 2 Mini 的早期測試資格。Inkling 2 Mini 在 NVIDIA DGX Spark 上的得分為 0.703,明顯高於其他模型:Qwen3.6-35B-A3B 為 0.430、Gemma-4-26B-A4B 為 0.159,Qwen3.5-27B 則為 0.036。每瓦特的智慧:衡量本機 AI 的智慧效率,Saad-Falcon、Narayan 等人,2025在這項實驗中,Inkling 2 Mini 以 MXFP8 精度、低推理強度,在 NVIDIA DGX Spark(128GB)上執行。其他模型則分別以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)及 INT4(Qwen3.5-27B)執行。兼具效率與效能,讓 Inkling 2 Mini 成為在本機硬體上執行多個常駐代理程式的理想選擇。Thinkyville 是一座注重能源效率的村莊,村裡 20 位居民全由在單一離線 MacBook 上執行的 Inkling 2 Mini 管理。

Inkling 2 Mini 在效能與效率上的表現,使它成為在本機硬體上執行多個常駐代理程式的理想選擇。Thinkyville 這座注重能源效率的村莊裡,20 位居民全由在單一離線 MacBook 上執行的 Inkling 2 Mini 管理。

MacBook Pro(M5 Pro,48GB) 飛航模式

Thinkyville 是 Inkling 2 Mini 打造的畫素小鎮,同一個模型在一臺離線 MacBook 上為全部 20 位居民提供動力。他們會安排一天的行程、聊鄰裡八卦、舉辦烘焙比賽,也會回覆你留在他們門上的字條。

限制

Inkling 2 Mini 並非最擅長多輪對話或處理多項限制指令的小型模型:它在 MultiChallenge 的得分為 50.0%,在 ComplexConstraints v1.1 的得分為 33.4%,兩項都落後 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 等需要大量推理的基準測試中,它的表現也不如大型模型。

架構與訓練

Inkling 2 Mini 是一個 24 層模型,改編自我們的主線預測式擴充套件階梯。相較主線訓練配方,主要變更是裁減三分之二的專家,以縮小模型規模,並引入迴圈層以提升推理能力。其餘訓練流程,包括量化與資料組合,皆遵循主線配方。

迴圈設計

Inkling 2 Mini 有 24 層,分為四個區塊,每個區塊各有六層。中間兩個區塊各執行三次,第一個和最後一個區塊則各執行一次。此設計延續先前對迴圈式 Transformer 的研究,其出發點是:模型中間層承載較抽象的推理,而前幾層與後幾層則有較多空間用來在嵌入與內部表徵之間轉換。通用 Transformer,Dehghani 等人,2018在我們的實驗中,迴圈執行中間 12 層,在 28 項不同評估中的 27 項帶來的準確率提升都大於迴圈執行最後 12 層。

依迴圈位置計算的等效運算量增益

中間層 (7–18)

1.51–1.91×

最後幾層 (13–24)

1.24–1.36×

在訓練步數 2,000 時,估計不使用迴圈層的基準模型需要 1.51–1.91× 的運算量,才能達到中間層迴圈模型的損失值;相較之下,最後幾層迴圈模型為 1.24–1.36×。每個區間涵蓋同一組三項評估中的最低與最高估計值。兩種迴圈模型都執行三次,且訓練運算量相同。

我們的模型採用注意力殘差。注意力殘差,Kimi Team:Guangyu Chen 等人,2026 模型不會把每一層的輸出都加進同一個累計總和,而是讓每一層讀取較早區塊的輸出,並學習如何混合這些輸出。這讓更多元的資訊能在迴圈之間傳遞。每一輪都從前導區塊(第一個區塊)的輸出開始。中間區塊的第二輪和第三輪也會讀取前一輪中間區塊的輸出,我們稱之為訊息。

區塊 2 和 3 在三輪中共用權重,因此每個 token 會經過 24 個已儲存層的 48 次層應用。前導區塊會輸入每一輪;第二輪和第三輪也會接收前一輪的訊息。

前一輪迴圈的訊息會透過閘門與前導區塊的輸出合併,閘門也會調整這些輸出,以及該區塊中前幾層的輸出。這個閘門是在訓練期間學得的:一開始會完全擋住訊息,因此每一輪的起點都與非迴圈模型相同;之後則會逐漸提高訊息的增益。這讓我們能在訓練期間穩定地匯入迴圈。

為了評估迴圈的影響,我們在 scaling ladder 上比較未經剪枝的迴圈版本與未經剪枝的非迴圈模型。非迴圈模型的訓練運算量少 7.5%,但若要在 512k token 的代理任務軌跡上達到迴圈版本的損失值,推論運算量就必須多 140%。

NVFP4 與低位元量化

Inkling 2 Mini 採用 4 位元精度訓練,詳情請見我們近期在 Connectionism 發表的文章。從預訓練到 RL 的所有前向傳遞中,我們都在專家層採用 4 位元 NVFP4 精度,並搭配專用核心,利用 NVIDIA GB300 平臺的硬體加速。最後 4 層的前向傳遞則採用 8 位元(MXFP8)。

Inkling 2 Mini 部署時的權重採用與訓練時相同的數值精度:20 層使用 NVFP4,4 層使用 MXFP8,因此不會因量化而產生轉換損失。

剪枝與修復

Inkling 2 Mini 開始訓練時的稀疏度為 48,從 384 個專家中選出 8 個。在訓練中期的一個階段,我們剪除了三分之二的專家,每一層只留下使用率最高的 128 個專家。這麼做是為了減少模型的引數總量,讓模型能在本機硬體上更快速執行。

剪枝後,模型使用從較大型內部 Inkling 模型蒸餾出的 1T 個 token 進行訓練。這個步驟讓留下的專家接手已刪除專家的工作,恢復模型剪枝前的效能。

訓練 Inkling 2 Mini

完成剪枝與修復後,Inkling 2 Mini 接著進行監督式微調(SFT),使用的資料組成與 Inkling 2 Small 相近。之後進行強化學習(RL),共使用 2.2T 個 token,分 2,000 個步驟完成。後訓練階段也包含用於訓練對齊的策略內蒸餾,與 Inkling 2 Small 相同。

迴圈式 Transformer 的可監控性

理解並監督 AI 系統的一項重要工具,是監控其思考鏈(CoT),也就是模型解題時寫下的推理內容。CoT 監控之所以有用,部分原因在於標準的非迴圈 Transformer 架構:每個 token 都會依序通過固定的層堆疊一次。這限制了模型在必須輸出 token 之前,能執行的連續運算步驟數量;因此,需要更多步驟的推理必須透過生成文字來完成,才能供人讀取。

重複執行 Transformer 的層可提高這項上限。模型透過多次執行相同的層,在不增加引數的情況下提高序列深度,讓模型在透過思維鏈(CoT)表達思考過程之前,先在內部對每個 token 進行更多運算。若推理過程從未出現在 CoT 中,CoT 監控器就無法偵測到,因此有人擔心,重複執行層的 Transformer 可能更難監督。

我們發布 Inkling 2 Mini 的原因之一,是讓社群能研究重複執行層的 Transformer。我們尤其期待研究人員探討監控能力相關問題,並開發可解讀性技術,以理解迴圈內部的運算。

為了探究不同的重複執行次數如何影響監控能力等模型特性,我們也訓練了可變重複次數模型 TML-d24-varloop-research,因為 Inkling 2 Mini 僅支援固定的重複執行次數。為了支援可變次數,TML-d24-varloop-research 的訓練使用了 1 至 5 次重複執行。TML-d24-varloop-research 主要以重複執行 3 次進行訓練,對 1、2、4 和 5 次的訓練比例較低。模型在這些次數下的表現,可能低估了專門針對這些次數進行訓練所能達到的成果。詳情請參閱模型卡。我們也已在 Hugging Face 公開這個模型。

以下說明我們對重複執行如何影響監控能力所做的初步分析。整體而言,我們發現重複執行能讓模型在沒有以文字表達思維鏈的情況下完成更多工作;但在這個規模下,我們並未觀察到其推理過程的監控能力有明顯降低。

無 CoT 能力

首先,我們比較相同規模、重複執行與未重複執行的模型在完全不使用 CoT 作答的任務上的表現,藉此測量重複執行能帶來多少額外推理能力。我們使用 Think Fast 基準測試,評估模型的無 CoT 時間範圍:模型在不使用 CoT 的情況下,以 50% 的可靠度完成任務所需的時間;任務長度以人類完成任務所需的時間衡量。這些模型並未經過不使用 CoT 作答的訓練。為了引出無 CoT 答案,我們預先填入回應的開頭,迫使模型直接作答並略過推理。微調等其他引出答案的方法或許能提升無 CoT 表現,值得進一步探索。

如預期,重複執行能提升無 CoT 能力,但這些提升最終會趨緩。TML-d24-varloop-research 的無 CoT 時間範圍,從重複執行 1 次時的 16 秒,上升至 3 次時的 37 秒。部分提升推測來自重複執行所帶來的額外序列運算。超過 3 次後,時間範圍大致持平。有趣的是,這個模型從未以超過 5 次的設定進行訓練,但以 10 次執行並未顯著降低其表現。

無 CoT 時間範圍

Inkling 2 Mini 和 TML-d24-varloop-research 在 Think Fast 部分任務上,以 1、2、3、5 和 10 次重複執行時的無 CoT 時間範圍。每個標記顯示模型擬合後的正確率達到 50% 時的任務長度(以人類完成任務所需時間計)。長條表示 95% 自助法信賴區間。

當迴圈執行次數超過三次後,效能提升幅度會縮小,而且在大多數任務上的表現都相近。N-Hop Lookup 任務是例外,這項任務能明確評估序列推理:模型會收到數個包含虛構專案的查詢表,必須接續查詢,且不能寫下任何內容。我們發現,增加迴圈次數後,模型能接續更長的查詢鏈,效能提升一路延伸至十次迴圈。

N-Hop Lookup

變動迴圈次數模型在 N-Hop Lookup 上的正確率,依模型必須串接的查詢次數分組。每個問題有五個選項,因此隨機猜測的得分為 20%(虛線)。

在採用 CoT 的標準評測中,我們觀察到,增加迴圈次數主要有助於多步推理,而非回想資訊。長文本檢索(MRCR)的提升幅度最大,其次是數學與科學推理(HMMT、GPQA Diamond、HLE),以及長時間跨度的代理任務(SWE-bench Pro、BrowseComp)。閉卷事實問答的表現幾乎不受迴圈次數影響(SimpleQA Verified、WorldVQA)。完整評測結果請參閱模型卡。

CoT 可監控性

接著,我們透過兩項評測,測量隨著迴圈次數增加,模型的 CoT 是否較不容易呈現其推理過程。首先,我們評估迴圈運作如何影響模型 CoT 的精簡程度與可讀性。其次,我們測量模型 CoT 的可控性,也就是模型是否能刻意調整 CoT,以符合特定限制。這兩項評測都使用 TML-d24-varloop-research,設定迴圈次數為一至五次,以研究迴圈運作的影響。

請注意,TML-d24-varloop-research 在中期訓練階段只使用一至五次的變動迴圈次數進行訓練,且其 RL 訓練使用三次迴圈。因此,這些實驗無法說明以較高迴圈次數進行 RL 訓練的模型會學到什麼;這類模型可能會更積極地精簡推理過程。更完整的比較應在 RL 訓練中納入所有迴圈次數,這留待未來研究。

精簡程度與可讀性。由於迴圈運作讓模型能在每個 Token 上投入更多運算資源,我們預期模型只需較少的 CoT Token,就能達到相同表現。我們讓變動迴圈次數模型以一至五次迴圈執行,發現隨著迴圈次數增加,模型在各種推理 Token 預算下的正確率通常都會提高,但三次之後的提升幅度逐漸縮小。值得注意的是,GPQA Diamond 的 Token 效率從三次迴圈到五次迴圈略有改善,儘管模型只在三次迴圈設定下接受 RL 訓練;這表示額外運算本身就能帶來部分精簡效果,即使沒有在該深度接受 RL 訓練。

正確率與推理 Token 數的關係

1 次迴圈2 次迴圈3 次迴圈5 次迴圈Inkling 2 Mini

GPQA Diamond 正確率 (%)

DeepSWE v1.1 正確率(已解決任務的百分比)

在科學推理(GPQA Diamond)與程式設計(DeepSWE v1.1)基準測試中,TML-d24-varloop-research 隨著迴圈層的執行次數從一至五次增加,Token 效率與最高效能都有所提升。

觀察到的思維鏈(CoT)壓縮現象引出了一個關於可監控性的問題:推理內容變短後,是否仍然易讀,還是省略了模型思考過程中的重要細節?我們比較了變動迴圈模型在 GPQA Diamond 中五種通過次數下都答對的題目,其推理軌跡。在 5 次通過時,推理內容的平均長度不到 1 次通過時的一半(1,661 個詞元,相較於 3,703 個詞元),但可讀性並未降低:句子長度與英文詞典收錄字詞的比例都沒有改變。初步分析顯示,差異在於模型回答時更直接,較少回頭修正。下方範例呈現了模型回答簡單問題時的這種差異。

指標1 次通過3 次通過5 次通過
平均推理詞元數370317311661
每句平均字數8.98.78.7
英文詞典收錄字詞比例94.6%94.5%94.4%
不確定性指標例如「等等」、「其實」和「嗯」9.73.93.6

某個非閏年的 3 月 1 日是星期二。同年的 5 月 20 日是星期幾?請在最後一行單獨給出答案,格式為 ANSWER: <value>。

1 次通過582 個推理詞元

思考中……(節錄)

Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.

從 3 月 1 日到 5 月 20 日相隔 80 天。由於 80 ≡ 3 mod 7,星期二加 3 天是星期五。

ANSWER: Friday

5 次通過240 個推理詞元

思考中……(節錄)

March 1 to April 1 = 31 days (since March has 31). April 1 to May 1 = 30 days. May 1 to May 20 = 19 days. Total 31+30+19 = 80 days. Mod 7: 80 mod 7 = 3 (77 multiple, remainder 3). Tuesday + 3 days = Friday? Let's map: Tue +1 Wed, +2 Thu, +3 Fri. Answer Friday.

從 3 月 1 日到 5 月 20 日相隔 80 天。由於 80 ≡ 3 mod 7,星期二加 3 天是星期五。

ANSWER: Friday

模型以 0.1 的推理力度回答簡單問題時,在 1 次與 5 次通過下的推理節錄。紅色代表錯誤,黃色代表回頭修正。無論是 1 次還是 5 次通過,模型都進行了相同的基本計算,並得出相同答案;但在 1 次通過時,模型犯了錯並回頭修正,因此使用的推理詞元超過兩倍。兩種情況下,思維鏈本身都能讓人理解。

可控性。模型逃避監控的一種方式,是引導自己的 CoT 避開任何可能被監控器標記的內容。CoT-Control-QA 評測推理模型難以控制自己的思維鏈,Yueh-Han 等人,2026 年透過提出 GPQA、HLE 和 MMLU-Pro 中的問題,並附上針對 CoT 本身的指示(例如避免使用題目中的某個關鍵字),來衡量這項能力。CoT 越長,通常越難控制,因此我們彙整五種推理力度(0.1、0.2、0.7、0.9 和 0.99)的回答,並呈現 CoT 長度相近時的可控性。

Inkling 2 Mini 和 TML-d24-varloop-research 都難以控制自己的 CoT。在長度介於 750 至 1,250 個詞元的 CoT 中,Inkling 2 Mini 和 TML-d24-varloop-research(3 次通過)遵循指示的比例至多為 0.1%;相較之下,Inkling 2 Small 為 0.3%、Inkling-Small 為 0.4%,Qwen3.8-27B 則為 1.3%。由於可控性比率極低,這項評測無法區分不同迴圈次數下的可控性。

思維鏈可控性

彙整不同推理力度後,CoT 可控性隨 CoT 長度變化的情形。在大多數長度範圍內,Inkling 2 Mini 和 TML-d24-varloop-research 引導思維鏈遵循指示的能力都不如對照模型。我們採用 Yueh-Han 等人(2026)提出的非嚴格可控性定義。陰影區域代表 95% Wilson 分數區間。

代理式監控性

為了衡量代理式情境中的可監控性,我們使用了LinuxArena。這是一項對照評估,用來測量攻擊者模型在受要求執行真實軟體工程任務時,能否暗中完成惡意的附帶任務。我們評估了 Inkling 2 Mini 僅針對助人行為微調的版本,因為已公開釋出的模型會拒絕許多附帶任務。就絕對表現而言,Qwen3.8-27B 等模型很容易監控這個模型和 TML-d24-varloop-research;在我們的評估中,它幾乎偵測出所有附帶任務的嘗試。為了比較不同模型的可監控性排名,我們測試了較弱的模型 Qwen3.6-35B-A3B 作為監控器。

LinuxArena 隱匿率

使用較弱的監控器(Qwen3.6-35B-A3B)時的 LinuxArena 隱匿率;所有模型都採用簡易攻擊政策。隱匿率是指攻擊者在未被監控器偵測的情況下完成惡意附帶任務的回合比例。監控器的疑慮門檻設為可達到 1% 的誤判率。測試涵蓋 184 組主要任務/附帶任務配對中的一部分。

當監控器只能檢視工具呼叫及其輸出時,就會漏掉相當多的攻擊。不過,迴圈執行的輪數與隱匿率之間沒有明顯趨勢。

大型模型的代理式可監控性將是重要的追蹤專案,尤其是採用能進行更多未以語言表達之思考的架構時。我們也鼓勵持續研究迴圈執行對此情境的影響。

機制可解釋性

可監控性的目標是瞭解模型正在做什麼,而我們主要透過閱讀模型以語言表達的推理來達成。直接研究模型的內部運算,也就是機制可解釋性的目標,則是另一種方法。由於迴圈式 Transformer 有更多運算在內部進行,我們認為這是可解釋性研究中特別有趣且重要的情境,也希望我們的迴圈式模型能成為社群可運用的研究素材。

我們正與National Deep Inference Fabric(NDIF)合作,讓可解釋性研究人員更容易使用這些模型。我們也讓可解釋性研究實驗室Goodfire提早取得迴圈式模型。他們正致力於從機制層面理解迴圈式模型,並在此處分享了初步發現。

立即試用 Inkling 2 Mini

Inkling 2 Mini 具備高效率智慧,是講求速度的推論工作,或在本機硬體上執行時的絕佳選擇。推出時,我們透過 Ollama 支援在任何配備至少 32GB RAM 的 Mac 系統(MacBook、Mac Mini)上執行 Inkling 2 Mini。Inkling 2 Mini 採用原生 NVFP4 訓練與推論精度,可在 NVIDIA DGX Spark 桌上型 AI 電腦上高效率執行。Unsloth 和 llama.cpp 也提供量化 GGUF 版本,可供本機推論使用。

Inkling 2 Mini 可在 Tinker 上用於推論與微調,也可在 Tinker Playground 上進行聊天。開放原始碼推論支援 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed;SkyRL、Miles 和 NVIDIA AutoModel 則支援強化學習微調。Inkling 2 Mini 與可變迴圈版本的完整權重已在 Hugging Face 提供。

我們致力於賦予人們力量,提供強大的模型、讓你能依需求調整模型的工具,以及能增進大眾對 AI 理解的研究。Inkling 2 Mini 讓研究人員得以研究迴圈式 Transformer,也讓任何人都能在自己的筆記型電腦上,以模型訓練時所使用的精度執行功能強大的模型。

來源: hackernews100 (thinkingmachines.ai)
開啟原文

讀者討論

理性交流 · 即時討論