讓你的代理盡情發揮：用技能評估並改進你的應用程式 — Ankur Duggal，Arize AI

Arize AI 的 Ankur Duggal 主張，用「感覺」來交付 AI 代理——憑肉眼掃過輸入與輸出——在正式環境中行不通，因為代理本身不具確定性，而且把推理過程藏在單一行 agent.run 呼叫背後。他的解法是一套迴圈：全面追蹤、在正式環境中找出失敗案例、把這些失敗轉成資料集與評估、讓 coding agent（Claude Code、Cursor、Codex）把追蹤紀錄、評估、標註與程式碼庫拉到同一個地方，提出修正方案、跑實驗、上線。本集大部分內容是這套迴圈的實機示範，物件是一個刻意弄壞的理財建議代理，另外還有觀眾問答，涵蓋追蹤機制、評估成本、模型選擇與 Phoenix 支援。