llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用
使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。
推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。