Ollama 0.19 於 Apple Silicon 上以 MLX 加速,預覽版發布
Ollama is now powered by MLX on Apple Silicon in preview
重點導讀
導語:Ollama 0.19 於 Apple Silicon 上以 MLX 加速,預覽版發布。
- 效能提升:在 M5、M5 Pro、M5 Max 上,TTFT 及生成速度分別提升至 1851 tokens/s prefill、134 tokens/s decode(int4 量化)。
推薦理由
Ollama 0.19 在 Apple Silicon 上利用 MLX 提升速度,讓開發者可在 macOS 上更快執行大型模型。
信源出處ollama.com
Ollama is now powered by MLX on Apple Silicon in preview
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Ollama Blog (ollama.com)
開啟原文