POCKET-27B-Pi 如何在一張 24 GB 顯示卡上執行
A 27B Coding Agent in a 16.5 GB File: The Memory Budget of POCKET-27B-Pi on One 24 GB GPU
重點導讀
在自己的電腦上跑大型程式設計模型,常會卡在顯示卡記憶體不夠。
- POCKET-27B-Pi 的 Q4_K_M 模型檔是 16.5 GB。
- 作者依模型設定計算,使用 64K 上下文時,快取約佔 4.0 GiB,合計約需 19.55 GiB,能放進一張 24 GB 顯示卡,還要留空間給運算。VIDRAFT 測試 48 項 Terminal-Bench 2.1 任務,模型完成 28 項。
- 這是合作夥伴自行測得的結果。文章也說明如何估算不同快取設定和同時執行多個工作時的記憶體需求。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章拆解模型檔案與注意力快取的記憶體用量,提供在單張顯示卡上估算長工作階段與多個工作同時執行的方法。
信源出處dev.to
A 27B Coding Agent in a 16.5 GB File: The Memory Budget of POCKET-27B-Pi on One 24 GB GPU
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文