跳到正文
Axolotl Releases(github.com)· NanoCode012·· 15 天前精選品質評分79

Axolotl v0.21.0 發布:單機 QLoRA 微調 5B MoE 及多項訓練最佳化

v0.21.0

重點導讀

Axolotl v0.21.0 釋出多項訓練與效能最佳化,讓單機 QLoRA 微調 5B MoE 變得可行。

  • Reflection Beam:501B 引數 MoE,23B 活躍引數,可在單機 8xH200 上使用 QLoRA 微調。
推薦理由

Axolotl v0.21.0 釋出單機 QLoRA 微調 5B MoE、擴散 LM 訓練與效能最佳化,開發者可直接提升訓練效率與模型靈活度。

信源出處github.com

v0.21.0

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Axolotl Releases (github.com)
開啟原文