llama.cpp v0.9.0 發布:新增 FP8 E4M3 量化與多序列 KV 快取最佳化
llama.cpp v0.9.0 正式發布,新增 FP8 E4M3 量化、flash_attn_ext_rows 等多項功能,並擴充多模態與音訊支援。 - 量化:加入 OCP FP8 E4M3 tensor type,提供轉換輔助,提升量化模型效能。
推薦理由:此版本新增 FP8 E4M3 量化與多序列 KV 快取最佳化,並支援多種新架構與音訊功能,能顯著提升多模態推理效能與跨平臺部署彈性,為開發者帶來更高效能與更低延遲。