Deployed Lab 解釋 LLM 為何回覆慢、多人使用時又會用完記憶體
Why your LLM is slow twice, and why it runs out of memory: prefill, decode and the KV cache
重點導讀
LLM 聊天機器人有時第一個字等很久,有時同時使用的人一多,GPU 記憶體就不夠;這兩種情況的原因不同。
- 文章說明,模型會先一次讀完提示詞,再一個 token 接一個 token 寫出答案,所以提示詞太長會拖慢第一個字,答案太長則會讓整段回覆等更久。為了不用每次都重讀前文,模型會把已讀內容的簡短記錄存進 GPU 記憶體。
- 聊天越長、同時進行的聊天越多,記錄就越佔空間。作者用假設數字示範容量估算,並提醒這些數字不是實測。
- 要減少等待或容納更多人,可縮短提示詞、答案或同時進行的聊天,也可使用記憶體較大的 GPU。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Why your LLM is slow twice, and why it runs out of memory: prefill, decode and the KV cache
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文