別太信任你的 AI 代理，要用科學家的方式測試它們——專訪 Omni Analytics 的 Stephanie Jarmak
Omni Analytics 的 Stephanie Jarmak 主張，代理評估（agent eval）必須貼合自家環境與生產工作負載，因為光是更換測試框架（harness），模型排名就可能變動超過 30%。
推薦理由：演講提供實用代理評估方法，強調實驗設計與多層冗餘，並示範以真實工作負載測試，協助團隊避免單一基準分數誤導。
Omni Analytics 的 Stephanie Jarmak 主張，代理評估（agent eval）必須貼合自家環境與生產工作負載，因為光是更換測試框架（harness），模型排名就可能變動超過 30%。
推薦理由：演講提供實用代理評估方法，強調實驗設計與多層冗餘，並示範以真實工作負載測試，協助團隊避免單一基準分數誤導。