PolyStrata 把 12 個大型模型拆開,讓一般電腦也能執行
PolyStrata – twelve large models on one normal PC, split across two engines
重點導讀
大型模型通常需要很多顯示卡記憶體,一般電腦不一定裝得下。
- PolyStrata 把模型分散到顯示卡、系統記憶體和 SSD,常用的部分放在顯示卡,其餘部分需要時再讀取。作者列出 12 個模型,其中一個使用 Strata 專案的引擎,其他模型則使用 PolyStrata 自己的引擎。
- 部分模型已在配備 32 GB 顯示卡的電腦上執行,小型模型也能在 8 GB 筆電上執行。不過,最大型的 MoE 模型仍需要 32 GB 顯示卡和 72–96 GB 系統記憶體,實際需求會依模型大小而不同。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
PolyStrata – twelve large models on one normal PC, split across two engines
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文