《Evals for AI Engineers》用三種常見落差解釋如何評估 LLM 應用
LLM 應用有時看起來運作正常,遇到真實資料卻會漏掉重點或做出不一致的回答。這段《Evals for AI Engineers》摘錄用處理電子郵件的 AI 助理說明三種常見問題:開發者不熟悉實際資料、指令沒有說清楚,以及模型明白要求後仍無法穩定照做。作者建議先看輸入和輸出找出錯誤,再量出錯誤有多常發生,最後依原因修改提示詞、AI 助理流程,或加入更多例子與資料。這套做法也適用於客服聊天機器人和程式碼生成工具。