你的代理修好了,卻弄壞了別的東西——專訪 Arize AI 的 Sofia Jakovcevic
Arize AI 前線部署工程師 Sofia Jakovcevic 認為,AI 代理是在執行階段出錯,而非在程式碼層面出錯;她提出一套五步迴圈,運用生產環境追蹤(trace)、LLM 評審式評估器(LLM-as-a-judge)與 CI 把關機制,在上線前攔截效能退化。
推薦理由:演講闡述以生產追蹤為基礎的回歸測試流程,說明單行提示改動可同時提升安全性與降低完成度,提醒開發者重視數值評估而非直覺改動。