llama.cpp 發布 b12464 版,新增 A7 Q8_0 kernel 與多平臺支援
b12464
重點導讀
這次更新為 llama.cpp 加入 A7 Q8_0 非 MoE 二進位 kernel,並擴充對 macOS、Linux、Windows、Android 等多作業系統與 GPU/CPU 的支援。
- 使用者現在能在 Apple Silicon、Vulkan、CUDA 12/13、ROCm、OpenVINO 等環境中更輕鬆部署模型,提升推理速度與效能。
- 更新還包含對 Ubuntu 24.04、26.04、s390x、以及 Windows 的 OpenCL、ROCm、Vulkan 支援,並提供 Android Snapdragon 方案,減少環境配置成本。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
b12464
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: llama.cpp Releases (github.com)
開啟原文