你的編碼代理無法撤銷自己的錯誤——Tanmay Sah 與 Dolly Sah
你的編碼代理無法撤銷自己的錯誤——Tanmay Sah 與 Dolly Sah
Tanmay Sah 與 Dolly Sah 發表 UndoBench 與 EvoUndo,結果顯示編碼代理只能從 47% 的注入故障中復原,而擴充復原語言後,可挽救 92% 有缺陷的 harness 變更。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
根據 Tanmay Sah 與 Dolly Sah 的研究,能在任務中成功完成工作的程式碼代理(coding agent),面對注入式故障時只有約一半的機率能復原;而一項自我演化(self-evolution)變更,可能提升能力的同時,也悄悄破壞了可復原性。兩位講者發表了兩項相互關聯的研究:UndoBench 與 EvoUndo。這集 16 分鐘的節目主要談的是量測與機制:一套以配對試驗(paired trial)為基礎的代理復原基準、一套涵蓋 Git 無法逆轉的故障階段與效果型別的分類法,以及一套會先擷取變更前狀態見證(state witness)、再獨立驗證是否復原的准入演算法。「缺少復原按鈕」這個說法雖然貼切,卻只說了一半——真正的重點是一整套針對可自我修改之代理執行環境(agent harness)的復原流程。
兩位講者介紹的是他們自己的研究專案 EvoUndo 及其配套基準 UndoBench,並在投影片上放了 QR code,指向該研究的 GitHub 儲存庫。以下是本集提出的完整證據:2,880 次配對試驗、確認訊息遺失導致重複開票的情境、600 項自我演化任務中有 197 項出現復原缺陷,以及兩大瓶頸——狀態依據(state grounding)與復原表達力(recovery expressivity);分別修正這兩項瓶頸後,復原成功數從零提升到 197 例中的 180 例。
任務執行成功,不代表能成功復原
核心發現是能力與可復原性之間的落差。UndoBench 執行了 2,880 次配對試驗,比較正常執行與注入故障後的執行。正常情況下,代理的成功率達 84%;一旦引入故障,原本成功的試驗中只有 47% 能成功復原。Tanmay 特別提醒,這兩個百分比的母數不同,但主要結論依然成立:即使是能完成任務的代理,往往也無法在出錯後把狀態還原。
講者開場提出的問題情境是:程式碼代理套用修補、跑測試、全部通過、建立 release tag——然後下游整合失敗。Git 能說明儲存庫裡改了什麼,卻說不出儲存庫之外改了什麼:外部 API 呼叫、執行環境設定、通知。重試一個操作,並不會撤銷已經發生的事。
「我們想了解的不只是代理能不能完成任務,而是出錯時能不能復原。」
確認訊息遺失,一張票變成兩張
本集具體的失敗案例是重複效果(duplicate effect)情境。代理向外部系統送出建立工單的請求後等待回應。伺服器收到請求、建立了編號 781 的工單,但確認訊息在傳輸途中遺失。從代理的角度看,請求逾時了——而逾時只代表回應沒送到,不代表操作失敗。代理沒有確認第一次操作是否已提交就重試,結果原本只想開一張票,卻變成了兩張。
在 UndoBench 中,這類試驗有 54% 因為盲目重試而產生重複效果。講者的結論是:必須區分「回應失敗」與「操作已造成的變更失敗」。
復原策略必須對應故障階段與效果型別
復原方式取決於故障發生的時點,講者提出三個階段及各自的安全應對方式:
| 故障階段 | 系統狀態 | 安全的復原做法 |
|---|---|---|
| 變更之前 | 什麼都沒改 | 重試通常安全 |
| 變更進行中 | 可能已部分修改 | 先檢查狀態再行動 |
| 變更之後 | 可能已提交,只是確認訊息遺失 | 重試可能造成重複;需要補償或驗證 |
光靠 Git revert 並不足夠,因為代理也會修改執行環境狀態——工具登錄檔、中介層、設定——並觸發部署、資料庫寫入等外部效果。復原機制必須對應所產生的效果型別。Dolly 提出的應對決策規則如下:
- 什麼都沒改:安全重試。
- 原始狀態已知:還原它。
- 外部動作已提交:用補償動作抵銷其效果。
- 無法復原、無法確認復原是否安全,或驗證器判定不通過:停下來並向上呈報。
自我演化可能提升能力,同時降低可復原性
最犀利的論點,是關於會修改自身執行環境的代理——也就是「代理執行環境」:提示、工具、中介層、事件監聽器、資源、路由設定。這類變更可能提升效能,卻讓復原變得更難。用講者的話說,代理可能變得更有能力,同時變得更難以復原。
EvoUndo 評估了 600 項自我演化任務。其中 478 項帶來能力提升,而這 478 項中有 197 項存在復原缺陷——約佔能力正向案例的 42%。重點是:一項變更可以提升能力,卻同時讓系統無法可靠復原。
光是提示「請修好復原功能」,197 個失敗一個也沒救回
講者在原本的復原語言下,測試了目前最先進、以驗證器引導的修復策略,結果 197 個自然發生的失敗一個都沒能復原。診斷顯示,問題主要不在代理的推理能力,而是兩個各自獨立的瓶頸,因此分開研究:
| 瓶頸 | 缺少什麼 | 介入方式 | 復原結果 |
|---|---|---|---|
| 狀態依據 | 關於改了什麼、改在哪裡的精確資訊 | 提供確切的變更資訊 | 0 → 48 例中救回 38 例 |
| 復原表達力 | 能表達所需復原操作的語言 | 引入更豐富的復原操作 | 0 → 143 例中救回 142 例 |
這兩項結果來自不同的實驗子群,但合起來說明:復原既需要準確的狀態資訊,也需要能執行所需復原操作的能力。狀態依據這點,正是 EvoUndo 在套用變更前先擷取變更前狀態見證的原因:要把逾時設定從 30 改回 60 之前的原值,代理必須知道原始值是 30。這份見證既提供還原所需的資訊,也成為日後驗證的依據。
更豐富的復原語言,救回 197 個缺陷變更中的 180 個
在原本的復原語言下,197 個有復原缺陷的變更一個都還原不了。擴充復原語言後,197 個中有 180 個成功復原——約 92%。可准入的改進從 600 項任務中的 281 項提升到 461 項,增加 30 個百分點。這意味著:更好的復原機制可以救回原本會被否決的變更,連帶改變代理能安全保留多少自我演化變更。
可復原性成為准入決策的一部分
Dolly 逐步說明瞭 EvoUndo 的流程。代理會依據目前狀態、效果契約(effect contract)與復原計畫來處理變更。在套用變更之前,先擷取原始狀態的狀態見證。接著在測試環境中套用變更並執行復原計畫,再由獨立驗證器檢查原始狀態是否真的還原。若變更依使用者定義的標準提升了能力,且通過復原檢查,就准予採用;否則代理會嘗試修復,或由驗證器直接否決該變更。
flowchart TD
A["代理讀取目前狀態、效果契約、復原計畫"] --> B["擷取原始狀態的狀態見證"]
B --> C["在測試環境中套用變更"]
C --> D["執行復原計畫"]
D --> E["獨立驗證器檢查原始狀態是否還原"]
E --> F{"能力提升且復原經驗證?"}
F -->|是| G["准予採用變更"]
F -->|否| H["嘗試修復或否決變更"]
逾時設定的例子也走同一套流程:讀取原始值 30、擷取為見證、改成 60、必要時依見證還原為 30,並由獨立驗證器確認復原後的值與原始值一致。復原不會只因為執行過復原指令就算成功;最終狀態必須經過驗證。
「可復原性成為准入決策的一部分,而不是等 AI 代理部署之後才去設想、甚至才去規劃的事。」
未解的張力:自主性越高,越需要復原能力,而非越少
講者最後談的是設計原則,而不是已完成的產品:唯有能力與可復原性兩項要求都達成,才准予採用自我演化變更;而隨著代理自主性提高,更應該給它們可靠的方式,從自身行動中復原。尚未化解的張力是結構性的——讓代理更有能力的自我修改,正是侵蝕可復原性的原因,因此能力正向變更中 42% 的缺陷率,是改進過程本身的代價,而不是修一次就能補好的意外。擴充復原語言後達到 92% 的復原率,說明這個問題有解,但前提是復原語言必須跟得上代理能發明出來的操作。講者表示這項能力正透過 EvoUndo 研究專案建構中,並指向一個 GitHub 儲存庫;節目中未提供部署、客戶或時程等細節。