PyTorch 2.15 在 Mac 上推出 MPS FP8 支援與 LLM 解碼加速
MPS in PyTorch 2.15
AI 導讀
PyTorch 2.15 在 Mac 上推出 MPS FP8 支援與 LLM 解碼加速，提升模型效能與記憶體利用率。
- FP8：在 MPS 上新增 torch.float8_e4m3fn，單位元組儲存，減半記憶體佔用。
推薦理由
MPS 2.15 讓 Mac 上 LLM 解碼速度提升 5–6.5 倍，並加入 FP8 支援，直接提升本地模型效能與記憶體利用率，對開發者而言可在不升級硬體的情況下，減少推理時間與記憶體佔用，並支援更高效的 FP8 計算。
信源出處huggingface.co
MPS in PyTorch 2.15
本文為 888news AI 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Hugging Face Blog (huggingface.co)
開啟原文