Ollama 如何偵測並避免模型偷偷改用 CPU 運算
在 Ollama 跑模型時,對話變長後,速度可能突然慢下來,電腦風扇也開始大聲轉,但程式不會跳出錯誤。這通常是因為 GPU 記憶體不夠,部分工作悄悄轉到速度較慢的 CPU。可以在模型運作時執行 ollama ps,檢查 PROCESSOR 欄是否顯示 CPU/GPU;文章也建議把 KV-cache 改成 8 位元,並在 Modelfile 設定 num_ctx,避免預留太多記憶體。像是將上下文長度設為 8,192 tokens,就能讓記憶體用量比較好掌握,降低運算突然變慢的機會。