跳到正文
𝕏 Unsloth AI(x.com)·· 2 天前精選品質評分60
重點導讀

想在記憶體較少的裝置上執行大型模型,常會碰到硬體需求太高的問題。

  • Unsloth AI 分享了 Inkling 2 Mini 的執行方式,這款模型有 26.4B,使用 Thinking Machines 的 MoE 架構,並可透過 Unsloth 或 llama.cpp 執行。
  • 貼文也提到它在 DeepSWE v1.1 得分為 48.2%,並附上 GGUF 檔案與操作指南連結。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Inkling 2 Mini 可在 16GB RAM 的裝置上執行,貼文也列出它在 DeepSWE v1.1 的成績,呈現小型模型的執行門檻與表現。

Unsloth AI
Unsloth AI@UnslothAI
·2 天前
𝕏

Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.

Thinking Machines’ Apache 2.0 MoE model uses a looped transformer arch & scores 48.2% on DeepSWE v1.1, the best for size.

Run on Unsloth, llama.cpp

GGUF: https://t.co/MYNpuDqky3
Guide: https://t.co/2OrFxjxijg https://t.co/YzuDh1D8W6

推文來源 · X (Twitter)在 X 參與討論

讀者討論

理性交流 · 即時討論