POCKET-27B-Pi 如何在一張 24 GB 顯示卡上執行
在自己的電腦上跑大型程式設計模型,常會卡在顯示卡記憶體不夠。POCKET-27B-Pi 的 Q4_K_M 模型檔是 16.5 GB;作者依模型設定計算,使用 64K 上下文時,快取約佔 4.0 GiB,合計約需 19.55 GiB,能放進一張 24 GB 顯示卡,還要留空間給運算。VIDRAFT 測試 48 項 Terminal-Bench 2.1 任務,模型完成 28 項;這是合作夥伴自行測得的結果。文章也說明如何估算不同快取設定和同時執行多個工作時的記憶體需求。
推薦理由:文章拆解模型檔案與注意力快取的記憶體用量,提供在單張顯示卡上估算長工作階段與多個工作同時執行的方法。