跳到正文
Dev.to Top Tech(dev.to)· GINIGEN AI·· 6 小時前品質評分66

Inkling 2 Mini GGUF 評測:16、24 和 32 GB 裝置該選哪種量化檔?

Inkling 2 Mini GGUF on Your Own Device: Which Quant Fits 16, 24 and 32 GB, and What the KV Cache Adds

重點導讀

在自己的裝置上跑大型模型時,模型檔案只是記憶體需求的一部分,長上下文還會用掉 KV 快取,若要讀圖片也得算上額外檔案。

  • 作者整理 Inkling 2 Mini 的 GGUF 檔案大小,並估算不同上下文長度需要多少快取。文章建議,16 GB 裝置可考慮較小的 IQ3 或 Q3 檔案並使用中等上下文。
  • 24 GB 裝置可搭配 Q4_K_M 使用 128K 上下文。
  • 32 GB 裝置則可選 Q8 檔案,並為圖片功能預留空間。實際需求會隨執行工具如何儲存快取而變動,作者也提醒,可在送出長提示詞後檢視記憶體用量。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Inkling 2 Mini GGUF on Your Own Device: Which Quant Fits 16, 24 and 32 GB, and What the KV Cache Adds

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論