重點導讀
想在記憶體較少的裝置上執行大型模型,常會碰到硬體需求太高的問題。
- Unsloth AI 分享了 Inkling 2 Mini 的執行方式,這款模型有 26.4B,使用 Thinking Machines 的 MoE 架構,並可透過 Unsloth 或 llama.cpp 執行。
- 貼文也提到它在 DeepSWE v1.1 得分為 48.2%,並附上 GGUF 檔案與操作指南連結。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Inkling 2 Mini 可在 16GB RAM 的裝置上執行,貼文也列出它在 DeepSWE v1.1 的成績,呈現小型模型的執行門檻與表現。
Unsloth AI@UnslothAI
·2 天前
Run Inkling 2 Mini, the strongest 26.4B model that runs on 16GB RAM.
Thinking Machines’ Apache 2.0 MoE model uses a looped transformer arch & scores 48.2% on DeepSWE v1.1, the best for size.
Run on Unsloth, llama.cpp
GGUF: https://t.co/MYNpuDqky3
Guide: https://t.co/2OrFxjxijg https://t.co/YzuDh1D8W6
推文來源 · X (Twitter)在 X 參與討論
來源: Unsloth AI (x.com)
在 X 查看推文