為什麼 CPU 就算能跑 2.8 兆引數模型,GPU 仍然不可少
Why a GPU is still essential, even when a CPU runs 2.8 trillion parameters
重點導讀
有人用只有 8 GB 記憶體的電腦,讓 kimi-k3-in-c 跑起 2.8 兆引數的模型,證明一般人也能讀取這麼大的模型。不過,模型資料放在硬碟上,CPU 每次要用時都得讀取,所以生成一個字要花 10 到 32 秒;要寫出 100 個字,可能得等 18 分鐘到 1 小時。就算把記憶體加到 128 GB,每個字仍要花 10.7 秒。GPU 能把模型資料放在速度快得多的顯示記憶體裡,也能同時處理大量運算,因此幾秒內就能回答。這種用 CPU 讀硬碟的做法,適合檢查模型或研究它怎麼運作;如果想快速聊天或同時處理多個要求,GPU 仍然不可少。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Why a GPU is still essential, even when a CPU runs 2.8 trillion parameters
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文