Qwen2.5-Coder-32B 為什麼在 24 GB 顯示卡上跑很慢?KV 快取調整教學
Why Your 19.5GB LLM Crawls on 24GB VRAM (The KV Cache Fix)
重點導讀
模型檔案大小小於顯示卡記憶體,不代表執行時一定放得下;對話越長,模型用來記住前文的 KV 快取也會佔用更多記憶體。
- 作者用 Qwen2.5-Coder-32B 說明,權重之外還要替快取、運算和執行環境留空間,並教人用 ollama ps 和 nvidia-smi 檢查顯示卡是否把部分工作交給 CPU。調低 KV 快取精度、縮短上下文,或限制同時處理的請求,都可能減少記憶體用量。
- 文中也提醒,實際結果會受執行環境和硬體影響,調整後應再檢查記憶體與速度。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Why Your 19.5GB LLM Crawls on 24GB VRAM (The KV Cache Fix)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文