Deployed Lab 解釋 LLM 為何回覆慢、多人使用時又會用完記憶體
LLM 聊天機器人有時第一個字等很久,有時同時使用的人一多,GPU 記憶體就不夠;這兩種情況的原因不同。文章說明,模型會先一次讀完提示詞,再一個 token 接一個 token 寫出答案,所以提示詞太長會拖慢第一個字,答案太長則會讓整段回覆等更久。為了不用每次都重讀前文,模型會把已讀內容的簡短記錄存進 GPU 記憶體;聊天越長、同時進行的聊天越多,記錄就越佔空間。作者用假設數字示範容量估算,並提醒這些數字不是實測;要減少等待或容納更多人,可縮短提示詞、答案或同時進行的聊天,也可使用記憶體較大的 GPU。