llama.cpp 修正 Inkling 2 的專家權過載入
b12577
重點導讀
llama.cpp 原本會讀取 MoE 模型中各專家的部分縮放資料,卻漏掉合併在一起的 gate 和 up 權重。
- 這會讓 Inkling 2 傳給運算流程的專家縮放資料不完整。
- 這次更新補上載入方式:模型沒有分開的 up 權重時,會把合併權重的縮放資料交給 up 權重使用,讓 Inkling 2 像其他 MoE 模型一樣,把專家縮放資料傳進運算流程。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處github.com
b12577
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: llama.cpp Releases (github.com)
開啟原文