Inkling 2 Mini 擴大本機執行支援
先了解這件事
2026 年 11 月 20 日,Hugging Face 與 Thinking Machines Lab 推出開放權重模型 Inkling 2 Mini,可讀取文字與圖片,支援 100 萬 token 上下文。
- 模型會讓 12 個核心層重複運算三次,官方展示本機寫程式等用途。
- 報導也指出,它在多輪對話和遵守大量指令限制方面較弱。各來源對引數數字說法不一:總引數約 260 億至 264 億,每次運算啟用的引數則有 3.4 億、3.5 億或 5.4 億等說法。11 月 20 日起,vLLM、Unsloth、Ollama 與 Hugging Face Transformers 陸續加入支援。Ollama v0.40.17 可在 Apple silicon Mac 上處理文字、圖片與工具呼叫,當時尚未支援 PC。
- Unsloth 表示可透過 Unsloth 或 llama.cpp 在 16GB 記憶體裝置上執行。11 月 22 日,LookAtMyQuant 推出可在 Apple silicon 執行的工具與模型版本:5.38GB 版本在 GSM8K 解出 134 題、HumanEval 通過 60 題。
- 8.87GB 版本在 GSM8K 解出 148 題,與原始模型相同。最新報導整理 GGUF 量化檔的記憶體估算,建議 16GB 裝置搭配較小檔案與中等上下文,24GB 裝置可用 Q4_K_M 搭配 128K 上下文,32GB 裝置則可考慮 Q8 並為圖片功能預留空間。
- 實際需求會因執行工具而異。
根據報導自動生成 · 3 小時前更新
事件進展
- 11月22日 22:42 · 1 篇報導Inkling 2 Mini GGUF 量化部署記憶體指南Dev.to Top Tech:Inkling 2 Mini GGUF 評測:16、24 和 32 GB 裝置該選哪種量化檔?
- 11月22日 02:02 · 1 篇報導LookAtMyQuant發布低記憶體量化模型hackernews100:LookAtMyQuant 用較小檔案儲存模型表現,並支援 Apple Silicon 執行
- 11月21日 20:43 · 1 篇報導Hugging Face Transformers 發布 v5.24.0Hugging Face Transformers Releases:Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱
- 11月21日 07:04 · 2 篇報導Ollama 發布 v0.40.17ollama release:Ollama v0.40.17-rc4 更新:Apple silicon 可同時處理多個請求
- 11月21日 05:03 · 1 篇報導Inkling 2 Mini ARC-AGI 評測結果公佈ARC Prize (@arcprize):Inkling 2 Mini的ARC-AGI成績與成本
- 11月21日 04:18 · 1 篇報導Inkling 2 Mini 可在 16GB RAM 執行Unsloth AI (@UnslothAI):Inkling 2 Mini 可在 16GB RAM 的裝置上執行
- 11月21日 03:56 · 2 篇報導Unsloth發布多項功能與效能更新Unsloth AI Releases:Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話
- 11月20日 08:00 · 9 篇報導Thinking Machines 釋出 Inkling 2 MiniHugging Face Blog:Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用
- 11月20日 08:00 · 1 篇報導vLLM 支援 Inkling 2 MinivLLM Official Blog:vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型
報導時間線
沿著報導,瞭解事件的不同面向。
- Dev.to Top TechInkling 2 Mini GGUF 評測:16、24 和 32 GB 裝置該選哪種量化檔?
在自己的裝置上跑大型模型時,模型檔案只是記憶體需求的一部分,長上下文還會用掉 KV 快取,若要讀圖片也得算上額外檔案。作者整理 Inkling 2 Mini 的 GGUF 檔案大小,並估算不同上下文長度需要多少快取。文章建議,16 GB 裝置可考慮較小的 IQ3 或 Q3 檔案並使用中等上下文;24 GB 裝置可搭配 Q4_K_M 使用 128K 上下文;32 GB 裝置則可選 Q8 檔案,並為圖片功能預留空間。實際需求會隨執行工具如何儲存快取而變動,作者也提醒,可在送出長提示詞後檢視記憶體用量。
- Dev.to Top Tech精選Inkling 2 Mini 如何用重複運算,讓 26.4B 引數模型裝進約 20GB
模型引數多,常會需要更多記憶體;Inkling 2 Mini 用一種重複運算的方法,讓模型可以裝進約 20GB。它會讓中間幾層重複處理同一份資料,因此用同一批引數多算幾次,而不是一直增加新引數。模型共有 26.4B 引數,每個 token 只啟用 3.4B,文章說可在 32GB Mac 上執行。它在 SWE-bench Verified 得到 79.2%,但這些成績來自團隊自己的測試,還沒有獨立重現;文章也提到,不同來源對重複運算的次數說法不一。
- hackernews100精選LookAtMyQuant 用較小檔案儲存模型表現,並支援 Apple Silicon 執行
模型檔案縮小後,回答品質可能跟著下降,也很難知道不同壓縮方法差多少。作者推出 LookAtMyQuant,會估算模型各部分壓縮後對輸出的影響,再分配儲存空間;新版也提供可在 Apple Silicon 上執行的模型與工具。以 Inkling-2-Mini 為例,5.38 GB 版本在 GSM8K 解出 134 題、HumanEval 通過 60 題;8.87 GB 版本在 GSM8K 解出 148 題,與原始模型相同。這些比較呈現了縮小檔案後的測試結果,也顯示表現會因模型大小與測試專案而異。
- Hugging Face Transformers Releases精選Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱
要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。
- MarkTechPost精選Thinking Machines 推出 Inkling 2 Mini,可在 32GB Mac 上執行
想在自己的電腦上執行大型模型,常會卡在記憶體不夠。Thinking Machines 推出的 Inkling 2 Mini 有 26.4B 個引數,模型檔約 20GB;它會把中間幾層重複運算,減少需要存放的權重,可在 32GB 記憶體的 Mac 上執行,也支援輸入文字和圖片。Thinking Machines 表示,它在 SWE-bench Verified 的分數是 79.2%,但知識問答和多輪指令的表現較弱;文中的評測分數由該公司自行提供,不同模型的測試條件也可能不同。
- The Decoder精選Thinking Machines 推出 Inkling 2 Mini,讓模型多想幾步也少寫文字
有些模型得寫出更多文字才能多做推理,Thinking Machines 推出的開放模型 Inkling 2 Mini,改用重複運算部分層的方式,在不多生成文字的情況下延長內部推理。它能處理文字和圖片,並可在記憶體至少 32 GB 的 Mac 上本機執行。Artificial Analysis 的 Intelligence Index 給它 20 分,與 Qwen3.8 27B 同分;Thinking Machines 表示,它在程式開發測試中也有不錯的表現。
- ollama releaseOllama 發布 v0.40.17,加入 Inkling 2 Mini 並改善多項功能
Ollama v0.40.17 加入 Thinking Machines 的 Inkling 2 Mini:它有 26B 個引數、每次運作會用到其中 5.4B,能處理文字和圖片、呼叫工具,也能進行推理;在 SWE-Bench Verified 的分數是 79.2%。這個模型約佔 20GB,能在 Apple silicon 的 Mac 上執行;這次版本還不支援 PC,之後才會加入。 這次更新也讓 Apple silicon 上的 Ollama 能同時處理多個請求,並改善 Claude Code 延後載入工具等功能。其他修正包括讓共用記憶體的顯示卡載入模型更順利,以及避免 Ollama 在非互動式終端機中因沒有輸入指令而顯示錯誤。
- Unsloth AI Releases精選Unsloth 推出 Inkling 2 Mini,更新圖片生成、影片改風格與 MCP 對話
在小型 GPU 上跑圖片生成模型常會佔用不少記憶體,和 AI 助理使用 MCP 工具時,每次對話都重新處理舊內容也會浪費資源。Unsloth 這次推出 Inkling 2 Mini,並更新多項桌面功能:Linux 和 macOS 載入 GGUF 圖片模型時,記憶體用量減少 52% 到 66%;Mac 可替整段影片換上新風格;使用 MCP 的聊天則只處理新內容,在工具測試中少用 83% 到 87% 的提示詞 token。更新也修正了圖片生成、檔案匯入和模型訓練等問題。
- ollama releaseOllama v0.40.17-rc4 更新:Apple silicon 可同時處理多個請求
Ollama 這次更新加入 Inkling 2 Mini,這款來自 Thinking Machines 的模型有 26B 引數、其中 5.4B 會啟用,能處理文字、圖片和工具呼叫,也能在 Mac 上執行。更新也讓 Apple silicon 上的 Ollama 可以同時處理多個請求;例如使用 Claude Code 時,MCP 工具會等到需要時才載入,不必一開始全部載入。除此之外,這版也修正多項模型載入和操作問題,並改善幾個啟動方式的設定處理。
- ARC Prize (@arcprize)Inkling 2 Mini的ARC-AGI成績與成本
Inkling 2 Mini 在 ARC-AGI 的驗證結果: ARC-AGI-2:49.3%,每題 $0.14 ARC-AGI-1:84.5%,每題 $0.06 在 ARC-AGI-2 上,Inkling 2 Mini 每題成本比 Inkling 2 Small 低 47%,但分數低了 32 個百分點。 https://t.co/76Raw9hqeq
- Artificial Analysis (@ArtificialAnlys)精選Thinking Machines 發布 Inkling 2 Mini,可在 MacBook 上執行
大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數;文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。
- TestingCatalog (@testingcatalog)Thinking Machines 宣佈推出 Inkling 2 Mini 開放權重模型
Thinking Machines 宣佈推出 Inkling 2 Mini,這是一款開放權重的混合專家模型。原文列出它共有 26.4B 引數、每次啟用 3.4B 引數,並提到每個 token 有 5.4B 權重啟用量,以配合迴圈運作。TestingCatalog 引述的資料稱,它在 DeepSWE v1.1 得分 48.2%、Vals Index v2.2 得分 46.5%,並表示在總引數少於 100B 的開放權重模型中領先。作者表示接下來要進行本機測試,這篇材料尚未提供測試結果。
- Unsloth AI (@UnslothAI)精選Inkling 2 Mini 可在 16GB RAM 的裝置上執行
想在記憶體較少的裝置上執行大型模型,常會碰到硬體需求太高的問題。Unsloth AI 分享了 Inkling 2 Mini 的執行方式,這款模型有 26.4B,使用 Thinking Machines 的 MoE 架構,並可透過 Unsloth 或 llama.cpp 執行。貼文也提到它在 DeepSWE v1.1 得分為 48.2%,並附上 GGUF 檔案與操作指南連結。
- hackernews100精選Inkling 2 Mini 發布,可在筆電上執行的開放權重模型
模型要處理需要多步推理的工作,常得花更多時間或寫下更多推理內容。Inkling 2 Mini 會把模型中間的部分重複運算三次,作者表示,這讓它能用較少的 token 處理程式開發等任務;模型總引數為 26.4B,記憶體佔用約 20GB,也能在筆電上離線執行。它在多項同尺寸開放權重模型的程式與搜尋測試中表現突出,權重已公開;不過,多輪聊天和需要遵守許多限制的指令仍是弱項。作者也測試了重複運算對推理內容監看的影響,初步結果沒有顯示監看能力明顯變差。
- Thinking Machines (@thinkymachines)Thinking Machines 發布 26B 引數的 Inkling 2 Mini
Thinking Machines 表示,部分使用者覺得 Inkling 2 Small 的 594B 引數太多,因此推出 Inkling 2 Mini。這款模型採用迴圈式 Transformer,有 26B 引數;團隊稱它小到能在筆電上執行,也能處理 AI 助理工作,並在 AA Index 得分 20.1。
- Unsloth AI Releases精選Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話
圖片生成慢、MCP 對話每次都重讀整段內容,會增加等待時間和 token 用量。Unsloth 這次更新推出 Inkling 2 Mini,標示為 26B(5.4 active)、支援 1M context;圖片生成也有加速,例如 MiniMax-H3-Image 在 8GB GPU 上生成新提示詞的圖片,從 82.7 秒降到 36.7 秒。使用 MCP 工具的聊天在測試中少處理 83% 到 87% 的提示詞 token,Apple Silicon Mac 也能替影片整段換風格。更新還加入掃描 PDF 的 OCR 辨識,並改善多項訓練與圖片、影片處理速度。
- aihot精選Thinking Machines Lab 發布可在筆電執行的開源權重模型 Inkling 2 Mini
想在筆電上跑 AI 模型,常會遇到模型太大、速度不夠快的問題。Thinking Machines Lab 發布開源權重模型 Inkling 2 Mini,讓模型的中間層對每個 token 重複運算三次,增加推理計算;模型總引數量為 26.4B,記憶體約需 20GB,官方表示可在記憶體至少 32GB 的 Mac 上執行。原文列出多項程式開發與工具使用測試,也說明模型在多輪對話和大量指令限制的測試中較弱。迴圈設計還會讓更多推理留在模型內部,原文的初步測試沒有看到監控能力隨迴圈增加而明顯下降。
- Hugging Face Blog精選Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用
本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。
- vLLM Official Blog精選vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型
模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。
本事件熱度趨勢
當前熱度 46·可比範圍峰值 89(11月21日 22:00)·近 24 小時可比範圍變化 -42%
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。
關聯事件
讀者討論
針對此事件的各方觀點與即時反饋