跳到正文
Dev.to Top Tech(dev.to)· ZAQERIS Ai·· 7 天前品質評分58

ZAQERIS Ai 開源 ZQN-12B,主打 8 GB 顯示卡也能執行

ZQN-12B: our second open model, plus the M3-GPTQ compression paper

重點導讀

大型模型常需要較多記憶體才能執行,ZAQERIS Ai 發布第二個開源模型 ZQN-12B,並公開壓縮方法的技術論文。

  • 這個從零訓練的模型有 15.55B 引數,壓縮後佔用 6.48 GiB,約為每個權重 3.25 bits。
  • 團隊表示,它可在消費級 8 GB 顯示卡上以每秒約 25 個 token 執行。模型原生上下文視窗為 128K,搭配 YaRN 可達 256K。團隊也說明這是早期版本,並非前沿模型。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

ZQN-12B: our second open model, plus the M3-GPTQ compression paper

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論