跳到正文
AI Engineer(youtube.com)· Ziwei Guo·· 13 天前品質評分58

會自我修正錯誤的代理 — LinkedIn 的 Saloni Gandhi 與 Ziwei Guo

會自我修正錯誤的代理 — LinkedIn 的 Saloni Gandhi 與 Ziwei Guo

重點導讀

LinkedIn 工程師 Saloni Gandhi 與 Ziwei Guo 詳述其用於使用者理解代理的遞迴自我改進流程,結論是評估器的品質與最佳化器同等重要,因為修正評分標準後,與人類評審的一致率從 57% 提升到 64%。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Ziwei Guo 與 Saloni Gandhi 是 LinkedIn 遞迴自我改進(recursive self-improvement, RSI)專案的工程師。他們主張,自動化代理改進的瓶頸不在最佳化器,而在評估器:一套會改寫提示的迴圈,其可信度取決於餵給它的評判機制與根因診斷。本集大部分內容談的是他們如何為一個「使用者理解」代理打造七步 RSI 迴圈、人工標註如何揭露 L1 評估評判與 L2 反思代理各自的弱點,以及要讓 RSI 能跨團隊重用還需要哪些條件。標題把這個代理描述成「會修正自身錯誤」,這個說法沒錯,卻低估了實際內容:整集大約一半的時間在談如何衡量並修補評估品質,而非自我改寫本身。

Guo 與 Gandhi 是從實作現場發聲——他們描述了第一個由 RSI 產生的提示變更正式上線,以及一次評判重新校準讓人類對齊率從 57% 提升到 64%——因此以下簡報把他們提出的數字視為其自行回報的結果,而非經獨立驗證的資料。讀者讀完應該能掌握這個迴圈的架構、他們在自動評判中發現的具體失效模式,以及他們主張建立共用 RSI 基礎設施的五項理由。

難的是評估器,不是最佳化器

核心發現是:評估品質決定了一切。團隊在能信任一套系統自動改進代理之前,必須先確認驅動這些改進的回饋本身是否可信——而很多時候並不可信。他們針對約 180 至 200 筆評判做人類審查分析,發現 L1 評判辨識強輸出的能力遠優於區分弱輸出,且許多分歧的根源是評分標準(rubric)語意不清,而非模型出錯。Gandhi 的說法是:許多評估分歧「並非單純的模型錯誤,而是反映了評分標準與底層評估政策的模糊之處」。

上一層也出現同樣的模式。L2 反思代理負責為失敗案例判定根因,當它把問題歸咎於底層模型時,與人類審查者的看法較一致;歸因於其他原因時則明顯較不一致,尤其是與評分標準相關的原因。這暴露出兩個具體缺陷:其一,原本的反思分類體系沒有「L1 評判判錯了」這個類別,於是代理即使遇到 L1 判斷本身有誤,也一律歸咎於評分標準;其二,反思代理有時直接沿用 L1 評判的理由,未獨立對照代理的實際輸出加以查核。Gandhi 直言這個風險——反思系統「可以產出很有說服力的解釋,卻仍然誤判了真正的問題」,而根據這些解釋所做的提示變更,就會改錯元件。

七步迴圈:從追蹤紀錄到新基準

RSI 流程是圍繞目標代理反覆執行的迴圈。第一步與第二步在最佳化迴圈之外;第三步到第七步才是迴圈本身。

flowchart TD
    A["步驟 1 — 執行代理、擷取追蹤紀錄"] --> B["步驟 2 — L1 評判為輸出評分"]
    B --> C["步驟 3 — 代理反思:聚類失敗案例、L2 評判判定根因與標籤、合併重複項、依頻率排序"]
    C --> D["步驟 4 — 產生修改提案(目前是提示,由 LLM 產出)"]
    D --> E["步驟 5 — 以同一評判與評分標準驗證修改"]
    E --> F["步驟 6 — 將通過的修改併入提示"]
    F --> G["步驟 7 — 以保留集評估,與舊基準比較"]
    G --> A
    C -.->|"快取的根因作為下一輪的先驗"| C

第三步內含四個子步驟:先依維度對失敗資料列做純聚類(不耗 LLM 成本),再逐列由 L2 診斷、標上根因與標籤(提示、代理、測試框架、程式碼、評判或評分標準問題),接著做去重,把幾乎相同的根因合併為標準標籤,最後依頻率排序,產出供人閱讀的計分卡。他們舉的去重例子是:某一列的根因寫「會員的個人檔案資料缺漏」,另一列寫「個人檔案資料無法呈現完整的瀏覽全貌」——同一個底層問題,文字不同。快取下來的根因會作為下一輪 L2 的先驗輸入。

目標代理實際在做什麼

被最佳化的代理是 LinkedIn 的使用者理解代理:輸入會員 ID,抓取搜尋紀錄、個人檔案、所在地與偏好資料,綜合成一份結構化的「會員理解」輸出。每個欄位——例如偏好職稱——都附帶信心分數、引用資料(例如該職稱頻繁出現在儲存的搜尋中)與一段推理說明。L1 評判依產品定義的評分標準,以 1 至 3 分(1 差、2 尚可、3 好)對 15 個任務維度評分,並回傳各維度分數與理由。某位樣本會員的總分為 2.31。

人工標註揭露了具體且可修的評判失效

對齊分析分別依分數區間與維度切分結果,兩者都顯示評判的表現並不平均。

切分方式結果
分數 1 的對齊率約 55%
分數 2 的對齊率約 57%
分數 3 的對齊率約 80%
最弱維度:偏好職稱觀測到的對齊率最低
領域/工作範疇約 47%
工作型態約 50%
過於嚴苛的評判共 37 筆,其中 31 筆落在分數 1 的輸出

分數 3 的結果是關鍵模式:評判很會辨識強輸出,卻難以區分弱輸出,而且給低分時往往過於嚴苛。有三種反覆出現的標註模式造成誤判。第一,評判接受了看似合理的職稱,卻沒發現代理漏掉了一個預期中的訊號——它「評估的是事實的合理性,而非完整性」。第二,領域/職能/技能的界線不清(軟體工程是領域、機器學習工程師是職務、機器學習是技能),而評分標準對於正確與錯誤資訊混雜的輸出,缺乏部分給分的規則。第三,評判會因無害的格式差異而扣分,且對「能從現有任職資料推論出什麼」的假設前後不一——包括在證據不明確時,推論出的偏好是否算數。

修正都落在評分標準層面:不再把大小寫與格式視為語意錯誤、加入職稱正規化的指引、釐清同時任職、資歷層級與地點指涉的處理方式,並重新校準分數 1 與部分正確輸出之間的界線。回報結果:人類對齊率由 57% 升至 64%,平均誤差由 96 降至 74。Gandhi 強調,這個提升來自把「什麼算正確評估」定義得更清楚,而不只是模型本身的改動。

最佳化階梯從提示一路延伸到最佳化器本身

團隊把 RSI 的範疇描述成一個複雜度遞增的階梯,並明確表示目前只有最底層真正在用。基礎模型本身不在範疇內;被最佳化的是包在它外面的測試框架。

階層最佳化物件
L1提示——目前的重點
L1(結構化脈絡)代理的結構化脈絡
L2整個工作流程,自動設計(後設層級的設計)
更高層測試框架程式碼本身
最頂層最佳化器程式碼本身

測試框架內有四個可最佳化的元件:規劃與邏輯(任務編排與決策)、脈絡與記憶(工作階段狀態)、工具介面(外部與內部 API 及資料集),以及產出物儲存(輸出與生成紀錄)。評估邏輯則位於這四者之上。

三大優先事項:品質、自動化、上線

團隊自述的重點領域有三。品質:對兩個評判做大量人工標註、以變異性研究降低 LLM 的非確定性,並把品質更新同時推送到兩個評判與反思機制。自動化:讓工作流程能以每週、每兩週或每月為週期觸發。上線更新:在有人把關的前提下部署到線上代理,待品質穩定後再逐步減少人力投入。目前已有一個經 RSI 最佳化的提示變更作為第一個 PR 上線,部署前通過了人工審查與量化測量。在變異性方面,他們用多數投票與保留集評估來壓抑單次 LLM 判斷的雜訊,並追蹤必須達到的採用門檻與回報的信賴區間。Gandhi 對目標說得很謹慎:「終極目標不是把自動提示修改的數量最大化,而是為代理品質帶來可衡量的提升。」

要規模化 RSI,得先建好共用評估基礎設施

能力堆疊有嚴格的前後依賴:基礎代理,然後是代理評估,然後是代理反思,最後才是 RSI 迴圈。多數團隊有基礎代理;很少團隊有標準化、可重用的評估,有些還只靠一次性分析或人工檢視。由於沒有可靠的診斷就建不出可信的迴圈,評估基礎設施是必要前提,而非可有可無的加分項。他們對企業級 RSI 提出五項要求:標準化的評估基礎設施(可重用的框架、指標,以及經人類回饋校準的評判);自動化的回饋迴圈(持續收集追蹤紀錄、偵測反覆出現的失敗、分析根因);規模化的自動最佳化(可重複的候選方案產生與測試,而非臨時起意的改動);驗證與信任(穩健的保留集評估與回歸測試);以及普及化的取用(可重用的元件與自助式基礎設施,讓各團隊不必各自重造整條流程)。

結尾的重新定調是本集最值得引用的一個觀點:RSI 系統的目標不是讓代理在某個時間點變好,而是加快它變好的速度——提高效能曲線的一階導數。Gandhi 說:「如果把代理效能視為時間的函式,我們關心的是提高它的一階導數」,也就是讓改進曲線更陡。

值得持續關注的未解張力,是「人在迴圈中」的取捨:團隊希望在品質提升後減少人力投入,但他們自己的資料顯示,重新校準後評判與人類的一致率也只有約 64%,而修正前最弱的維度只有 47% 至 50%。這個對齊率是否高到足以安全撤掉審查人員,以及 57% 到 64% 的進展能否推廣到使用者理解代理以外的場景,正是決定「提示以上的階梯」究竟能不能爬上去的關鍵。那套五項基礎設施計畫目前仍只是提案;尚未有任何跨團隊部署的結果回報。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論