Thinking Machines 推出 Inkling 2 Mini,可在 32GB Mac 上執行
Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac
重點導讀
想在自己的電腦上執行大型模型,常會卡在記憶體不夠。
- Thinking Machines 推出的 Inkling 2 Mini 有 26.4B 個引數,模型檔約 20GB。
- 它會把中間幾層重複運算,減少需要存放的權重,可在 32GB 記憶體的 Mac 上執行,也支援輸入文字和圖片。Thinking Machines 表示,它在 SWE-bench Verified 的分數是 79.2%,但知識問答和多輪指令的表現較弱。
- 文中的評測分數由該公司自行提供,不同模型的測試條件也可能不同。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Inkling 2 Mini 把中間層重複運算,讓約 20GB 的模型能在 32GB 記憶體的 Mac 上執行;文中也比較了它在程式開發與知識問答上的表現。
信源出處marktechpost.com
Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: MarkTechPost (marktechpost.com)
開啟原文