Laminar 推出 flow‑1：訓練模型偵測 AI 代理隱性失敗

嗨 HN，我們是 Laminar 的 Robert 與 Din（https://laminar.sh）。自 2024 年起，我們一直在為 AI 代理開發開源可觀測性。最近，我們發布了 flow-1，這是一個使用 RL 訓練的模型，用於在代理追蹤中尋找錯誤。在我們的基準測試（https://laminar.sh/blog/flow-1）中，它在檢測質量上與 GPT-6-sol 相匹配，且成本低 23 倍。這使得在不取樣的情況下，對每個生產代理追蹤進行分析變得負擔得起。

以下是一分鐘的示範：https://youtu.be/KJa3h6ZJNLQ

我們還整理了一篇文章，展示 flow-1 及其他模型的範例追蹤與分析：https://laminar.sh/blog/flow-1-in-action

代理可觀測性領域競爭激烈，我們不打算列舉 Laminar 與 X 的差異，而是從原理說明我們如何解決代理可觀測性問題。

代理現在會執行許多步驟並隱式失敗。代理可能點選錯誤的按鈕或引用錯誤的檔案，而所有呼叫仍成功完成。這類錯誤是最值得捕捉與理解的。要發現它們，你需要了解代理的意圖，並檢視其 LLM 呼叫與工具結果。僅檢視最終代理輸出已不足夠。

僅收集追蹤並不能解決問題。許多代理可觀測性平臺仍以資料收集為核心。你可能會為儲存無人閱讀或無法提取價值的追蹤付費。

使用另一個 LLM 來檢查追蹤是最佳方案，但能力強大的模型在大規模使用時成本高昂，便宜的模型往往漏掉錯誤或標記無關專案。

因此我們打造了專門解決此問題的模型。我們微調了一個小型開源模型，然後用 RL 在數千個合成調查（涵蓋軟體、法律、客服等實際代理工作流程）上進行後續訓練。結果得到一個既擅長代理追蹤分析又執行成本極低的模型。

flow-1 執行於我們稱之為 Signals 的框架內。它扮演編碼代理的角色，將代理追蹤視為倉庫，每個 span（LLM 呼叫、工具呼叫等）作為一個檔案。它從完整代理追蹤的壓縮字串表示和使用者提示開始，然後在 span 之間 grep，完整閱讀相關部分。

Signals 的優點在於它能回應一般提示。你可以要求它辨識使用者沮喪、檢查瀏覽器代理是否完成結帳等。它不僅限於原始錯誤偵測。它以使用者可自由定義的 schema 以 JSON 形式回傳結果。我們稱之為 signal events。

當你分析每個追蹤後，會有太多單獨事件需要閱讀。這就是我們自動將相似 signal events 分組為聚類的原因。你可以看到重複問題及其發生頻率，然後深入檢視單個事件及其背後的追蹤。

你可以利用聚類中的追蹤建立該類失敗的評估資料集。接著可使用你喜愛的編碼代理對這些評估進行 hillclimb，並檢查修正是否在這些案例中有效，然後再將其部署到正式環境。

追蹤 → 分析 → 捕捉錯誤並形成聚類 → 修正 → 發布。讓此迴圈變得簡單是我們打造 Laminar 的原因。

我們也將相同的思考延伸到 Laminar 的其他部分。我們的部落格（https://laminar.sh/blog）說明瞭仔細觀察代理實際運作方式，如何驅使我們打造 20 倍追蹤壓縮、客製化 SQL 查詢引擎與自動任務抽取。

Laminar 是 Apache 2.0 授權且可自託管（https://github.com/lmnr-ai/lmnr）。我們從託管雲端獲利。

我們很想聽聽您今天如何追蹤代理的表現。您從使用者回饋與自身監控中學到多少？當您修復某件事時，如何確認它沒有引入其他失效？