如何寫出你的第一組 AI 評估——SallyAnn DeLucia,Arize AI
Arize AI 產品經理 SallyAnn DeLucia 主張,AI 代理需要的是追蹤與可觀測性,而非單元測試;團隊應從真實的生產環境追蹤資料出發,反覆迭代打造範圍狹窄、只針對單一判準的 LLM 評估。
推薦理由:本工作坊示範可重複的 AI 評估流程,幫助讀者快速落地 LLM‑as‑a‑judge 或分類器評審,並提供從追蹤到資料集、評審提示的完整範例,方便在 CI 內實作效能監控。
Arize AI 產品經理 SallyAnn DeLucia 主張,AI 代理需要的是追蹤與可觀測性,而非單元測試;團隊應從真實的生產環境追蹤資料出發,反覆迭代打造範圍狹窄、只針對單一判準的 LLM 評估。
推薦理由:本工作坊示範可重複的 AI 評估流程,幫助讀者快速落地 LLM‑as‑a‑judge 或分類器評審,並提供從追蹤到資料集、評審提示的完整範例,方便在 CI 內實作效能監控。