在單一卡上跑 65B 密集碼農模型:記憶體頻寬與 2 位元檔案的代價
開發者常會想在自己的 GPU 上跑大型語言模型,但記憶體和頻寬常成瓶頸。作者測試了 Ripple-65B 在 RTX A6000(48 GB)與 RTX 3090(24 GB)上,發現模型會每個 token 從 GPU 記憶體讀取整個權重檔,速度受限於記憶體頻寬。透過 4 bits、2 bits 量化把檔案大小從 130 GB 縮到 38.8 GB/20 GB,令每秒產生 14‒31 個 token,並利用 llama.cpp 的 KV快取量化讓 256K token 的提示也能放入同一張卡。這樣的配置讓單卡即可支援 AI 助理的長篇對話與程式碼生成,雖不快但足以做開發與測試。