跳到正文
llama.cpp Releases(github.com)· github-actions[bot]·· 4 天前精選品質評分70

llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

b12503

重點導讀

使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。

  • b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題。
  • 實際可用的選項與效能改善會依裝置和設定而異。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

信源出處github.com

b12503

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: llama.cpp Releases (github.com)
開啟原文

讀者討論

理性交流 · 即時討論