沒有基準測試時，如何評估 AI 代理——Air Canada 的 Nathanael Weill
Air Canada 的 Nathanael Weill 說明如何從已知答案反向生成測試題，再搭配規則式合成合約與程式評分的恆定性檢查，讓代理評估從每週一次擴充套件到每天數十次；不過以 LLM 作為評審仍不可靠。
推薦理由：演講闡述如何在缺乏基準的情境下自行建立測試集，對於需要評估 AI 代理的實務工作者具有重要參考價值。能幫助團隊快速迭代與提升代理效能。
Air Canada 的 Nathanael Weill 說明如何從已知答案反向生成測試題，再搭配規則式合成合約與程式評分的恆定性檢查，讓代理評估從每週一次擴充套件到每天數十次；不過以 LLM 作為評審仍不可靠。
推薦理由：演講闡述如何在缺乏基準的情境下自行建立測試集，對於需要評估 AI 代理的實務工作者具有重要參考價值。能幫助團隊快速迭代與提升代理效能。