跳到正文
Hugging Face Blog·· 10 天前精選AI 評分74

Transformers 現在支援執行 llama.cpp 量化模型

Transformers now runs llama.cpp quants

AI 導讀

Hugging Face 的 transformers 庫新增對 GGUF 模型的支援,允許使用者通過熟悉的 API 在本地高效載入和執行量化模型。

該整合通過複用 ggml 的 Metal 核心並在 Apple Silicon 上最佳化生成迴圈,使 transformers 能夠直接執行諸如 Qwen3.5 等架構的量化權重。

推薦理由

原文介紹了 transformers 對 GGUF 模型的支援及底層最佳化,讀者可以瞭解如何在熟悉的介面中直接載入和執行本地量化模型。

來源:Hugging Face Blog · huggingface.co