llama.cpp v0.9.0 發布：新增 FP8 E4M3 量化與多序列 KV 快取最佳化
v0.9.0
重點導讀
llama.cpp v0.9.0 正式發布，新增 FP8 E4M3 量化、flash_attn_ext_rows 等多項功能，並擴充多模態與音訊支援。
- 量化：加入 OCP FP8 E4M3 tensor type，提供轉換輔助，提升量化模型效能。
AI 伴隨問答
針對這篇報導有疑問？可直接點選快捷問題或向 AI 追問背景脈絡與技術細節：
推薦理由
此版本新增 FP8 E4M3 量化與多序列 KV 快取最佳化，並支援多種新架構與音訊功能，能顯著提升多模態推理效能與跨平臺部署彈性，為開發者帶來更高效能與更低延遲。
信源出處github.com
v0.9.0
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： llama.cpp Releases (github.com)
開啟原文