跳到正文
MarkTechPost(marktechpost.com)· Asif Razzaq·· 1 天前精選品質評分83

Thinking Machines 推出 Inkling 2 Mini,可在 32GB Mac 上執行

Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac

重點導讀

想在自己的電腦上執行大型模型,常會卡在記憶體不夠。

  • Thinking Machines 推出的 Inkling 2 Mini 有 26.4B 個引數,模型檔約 20GB。
  • 它會把中間幾層重複運算,減少需要存放的權重,可在 32GB 記憶體的 Mac 上執行,也支援輸入文字和圖片。Thinking Machines 表示,它在 SWE-bench Verified 的分數是 79.2%,但知識問答和多輪指令的表現較弱。
  • 文中的評測分數由該公司自行提供,不同模型的測試條件也可能不同。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Inkling 2 Mini 把中間層重複運算,讓約 20GB 的模型能在 32GB 記憶體的 Mac 上執行;文中也比較了它在程式開發與知識問答上的表現。

信源出處marktechpost.com

Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: MarkTechPost (marktechpost.com)
開啟原文

讀者討論

理性交流 · 即時討論