Axolotl v0.18.0 發布:最佳化稀疏 MoE 模型微調與核心效能
v0.18.0
重點導讀
Axolotl 正式發布 v0.18.0 版本,聚焦於降低超大型稀疏 MoE 模型的微調成本並強化底層核心效能。
- - 核心更新:新增 NVFP4 與 SonicMoE 4-bit 專家 LoRA 支援,大幅降低長上下文下的 VRAM 消耗。
- 支援 GLM-5.2 與 Gemma 4 等新模型微調。
推薦理由
原文詳細列出核心版本更新與架構最佳化細節,讀者可據此評估是否升級以獲得更佳的訓練效能與記憶體表現。
信源出處github.com
v0.18.0
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Axolotl Releases (github.com)
開啟原文