跳到正文
Dev.to Top Tech(dev.to)· Shuraj Shampang·· 9 天前品質評分64

Qwen2.5-Coder-32B 為什麼在 24 GB 顯示卡上跑很慢?KV 快取調整教學

Why Your 19.5GB LLM Crawls on 24GB VRAM (The KV Cache Fix)

重點導讀

模型檔案大小小於顯示卡記憶體,不代表執行時一定放得下;對話越長,模型用來記住前文的 KV 快取也會佔用更多記憶體。

  • 作者用 Qwen2.5-Coder-32B 說明,權重之外還要替快取、運算和執行環境留空間,並教人用 ollama ps 和 nvidia-smi 檢查顯示卡是否把部分工作交給 CPU。調低 KV 快取精度、縮短上下文,或限制同時處理的請求,都可能減少記憶體用量。
  • 文中也提醒,實際結果會受執行環境和硬體影響,調整後應再檢查記憶體與速度。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Why Your 19.5GB LLM Crawls on 24GB VRAM (The KV Cache Fix)

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論