llama.cpp b12397:CUDA softmax 把欄位資料留在暫存器,減少記憶體讀寫
b12397
重點導讀
llama.cpp 的 CUDA softmax 原本需要多次到記憶體搬資料,拖慢運算。
- 這次修改會在欄位資料放得下時,先把資料留在暫存器裡處理,讓記憶體讀取次數從 5 次降到 2 次,減少資料搬動。
- 這項調整的重點是讓 softmax 運算少花時間在讀寫資料上。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
b12397
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: llama.cpp Releases (github.com)
開啟原文