跳到正文
Dev.to Top Tech(dev.to)· GINIGEN AI·· 2 天前品質評分73

Qwen3-4B 裝置端教學:32K 上下文的 KV cache 比 Q4_K_M 權重更吃記憶體

Qwen3-4B on Device: The KV Cache Costs More RAM Than the Q4_K_M Weights at 32K

重點導讀

在手機或筆電上跑長篇對話時,模型檔案大小不一定是最吃記憶體的部分。

  • 這篇以 Qwen3-4B 說明,Q4_K_M 權重檔是 2.50 GB,但 32K 上下文搭配 f16 KV cache 需要 4.50 GiB。
  • 改用 q8_0 或 q4_0,cache 用量會降到 2.39 GiB 或 1.27 GiB。作者也教人從模型設定估算每個 token 的用量,再依產品實際允許的最長上下文挑選 cache 格式,並用固定提示詞比較結果、在目標裝置量測記憶體。量化 cache 會近似原值,是否合用仍要實際測試。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Qwen3-4B on Device: The KV Cache Costs More RAM Than the Q4_K_M Weights at 32K

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論