跳到正文
Dev.to Top Tech(dev.to)· ai maya·· 2 天前精選品質評分79

Hy4 flash 自架指南:220B 引數模型的顯示卡記憶體與授權怎麼看

Tencent Hy4 flash: 220B parameters, 12B active, and what the KV cache and license mean for self-hosting

重點導讀

220B 引數的 Hy4 flash 看起來很大,但每個 token 實際啟用的引數約為 12B;自架時,權重檔和長上下文的記憶體需求才是主要考量。

  • 作者拆解模型結構與檔案大小,估算在 1M-token 上下文下,若 KV cache 儲存壓縮後的資料,每條序列約需 6.9 GB。
  • 這是作者的推算,實際用量會依快取方式和精度而變。官方 FP8 配方使用 8 張 GPU,授權也有條件:以 API 等方式提供遠端服務,達到指定營收或月活門檻時,需要另取得書面授權。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章把 Hy4 flash 的權重、KV cache 與授權條件拆開估算,也標出哪些是作者推算、哪些是騰訊提供的數字,能幫讀者先判斷自架成本與服務限制。

信源出處dev.to

Tencent Hy4 flash: 220B parameters, 12B active, and what the KV cache and license mean for self-hosting

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論