用 Langfuse 持續改進代理 — ClickHouse 的 Annabell Schäfer 與 Lotte Verheyden

這場工作坊的核心主張是：多數團隊不需要打造完整的離線評估流程，就能大幅改善自家的代理系統——只要把應用程式埋點、緊盯追蹤紀錄（trace），並根據發現採取行動即可。Langfuse 的 Lotte Verheyden 與 Annabell Schäfer 認為，對非高風險產業的團隊來說，他們所謂「AI 工程迴圈」中的線上那一半——追蹤加上監控——已足以快速迭代；離線那一半（資料集、實驗、評估）要等到產品或風險輪廓成熟後才有其必要。他們要解決的框架問題在於：AI 代理並非確定性系統——一個系統可能在基礎設施儀錶板上看起來一切正常，但它的回答卻是錯的，或單純不夠好。

本集不是概論式的綜覽，而是實