大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。
- 它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數。
- 文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。
Thinking Machines has released Inkling 2 Mini at 20 on the Artificial Analysis Intelligence Index, an open weights looped transformer on the Pareto frontier for Intelligence vs. Active Parameters
Inkling 2 Mini is a 26B total, 5.4B active parameter mixture-of-experts model. The 5.4B active parameter count includes three passes through its looped layers; it uses 3.1B unique weights per text token, and it is small enough to run on a MacBook or DGX Spark.
It is released under an Apache 2.0 license, with text and image input and a 1M token context window.
Congratulations to @thinkymachines on the release! 🧵