跳到正文
AI Engineer(youtube.com)· Dmitry Buykin·· 11 天前品質評分58

代理讓寫程式變免費,維護卻沒變便宜——專訪 Maersk 的 Dmitry Buykin

代理讓寫程式變免費,維護卻沒變便宜——專訪 Maersk 的 Dmitry Buykin

重點導讀

Maersk 的 Dmitry Buykin 認為,代理寫出的程式碼把成本轉移到驗證環節,因此團隊需要文字規範檢查器(prose linter)、工作流程,以及以證據為基礎的檢查,才能防止程式碼庫再度膨脹。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Dmitry Buykin 是 Maersk 的工程師,他主張 AI 編碼代理讓寫程式變便宜,卻讓維護變得更難;解方不是定期大規模重寫,而是每週一次、有證據支撐的小規模清掃。他用 18 分鐘鋪陳一套六部分框架——時間、空間、現實、心智、權力與判斷——來自他橫跨 110 個國家、維運一套規則密集系統的經驗;整場演講大半篇幅放在如何讓代理的產出可驗證,以及如何避免程式碼庫在清理之後又長回原樣。漫威式的包裝(Thanos、六顆寶石、一個彈指)只是敘事手法,不是重點;重點是一套維護的營運模式。

Buykin 講的是親身經驗:他說自己曾刪掉沒人用的測試與樣板碼、重寫整個專案、弄丟有用的部分,然後看著代理把一團混亂又長回來。他的系統大約四分之三是散文(prose,寫給代理的業務規則指令),這也是為什麼他把提示文字當成工程材料來對待,需要 linter、帳本(ledger)與人工簽核。讀者應該帶走的是具體機制——幾乎沒有任何測試會失敗的突變測試(mutation testing)、只有在跨國家重複出現才升格為工作流程的「路徑走訪(walk)」、一個看不到前一個代理推理過程的二次查核代理,以及一個只准數字下降的棘輪(ratchet)。

當系統四分之三是散文,測試無法界定「正確」

Buykin 的起點是:「正確」取決於人,不是測試,因為他的系統大部分是散文指令而非程式碼。他估計系統約四分之三是散文。團隊借用突變測試——刻意改壞一句話,看測試會不會變紅——結果幾乎沒有測試變紅。他由此推論:如果外殼全是程式碼,那麼代理指令與測試才是散文;重寫很容易,難的是知道哪些東西必須在重寫後存活下來。

這套系統跑在 110 個國家、約 10,000 個散文指令情境上。每個任務都落在一個「切片(slice)」裡:一個國家、一個流程。預設情況下,變更不得跨出所屬切片;跨切片的一整簇失敗與單一失敗的處理方式不同——團隊會一次修掉背後的那個概念。

他對「誰決定正確」的答案是分工。業務專家看得到規則;開發者看得到水面下的東西,而多數 bug 就住在那裡。當業務說「跟團隊確認一下」,Buykin 認為這藏了一個真正的問題:這一步該由人做,還是可以自動化?專家答不了,因為他們看不到系統內部如何串接,所以由開發者帶著編碼代理翻查追蹤紀錄與日誌來決定。在他示範的案例裡——要求更改一張已核准訂單的金額——最終決定仍由團隊主管以人工做出。

「我們給專家的指南寫得很簡單:業務告訴我們要做什麼,我們負責想出怎麼做。」

檔案紀律很具體:一份檔案、兩種讀者。代理讀區塊,所以區塊必須精確;專家讀區塊周邊的文字並簽核。他們只保留一份正本,另一份則允許有落差,而且兩個方向都成立。每位專家審查任務的方式,和代理看到任務的方式完全一致;審完的節點就成為下一個由編碼代理做出的變更,並在同一個任務上受測。

散文需要編譯器、linter 與帳本——重複出現的路徑走訪該變成程式碼

Buykin 的第二個機制,是把散文當成一種沒有編譯器的語言,於是團隊自己造了一個。作者每改一個檔案就 lint 進帳本,跟程式碼一樣。他舉了一個具體的失效模式:散文寫上限是 1,500,程式碼寫 1,000,同一張訂單在一處沒問題、在另一處卻超標,而且完全不會報錯。他也警告,即使只是寫「不要呼叫 X」這種句子,都會讓模型學到 X 存在。

Lint 擋不住副本各自漂移,所以團隊改為監看「路徑走訪」——代理在散文中走過的那條路。當代理反覆走同一條路,這條路就升格為工作流程工具,原本走過它的散文則刪除。他們第一次嘗試時反而把事情弄得更糟:散文裡仍然寫著工具內部的步驟,於是代理又把那些步驟跑了一遍。直到把散文精簡到只留決策,才真正奏效。

他歸納出的規則是:路徑走訪只有在跨國家重複出現且結果一致時,才變成程式碼;否則維持散文。仍然會變動的部分,留在框架內的散文裡。程式碼負責備妥事實並執行決策;專家擁有決策表;模型只負責挑一列,若沒有合適的列,就交由人接手。這條界線會雙向移動——他們曾把數百行運算式從程式碼搬回散文,因為專家讀不懂。用正規表示式抓關鍵訊號沒問題,但當訊號一多,就搬進設定檔。

層級擁有者內容
散文指令業務專家(簽核)規則、決策、專家讀得懂的文字
決策表專家模型從中選擇的列
工作流程工具開發者重複出現、跨國一致的路徑
程式碼開發者備妥事實、執行決策
設定檔開發者大量訊號,原本是正規表示式

控制,就是控制模型看到什麼、能改什麼

Buykin 的第四與第五顆「寶石」是上下文與權力。關於上下文:當他們讓模型自己決定要載入什麼,它把全部都載進來,然後只因為價格看得見,就自己發明瞭一道價格檢查。他的結論是:只要進了模型的上下文,就會成為行動的理由。現在由執行環境決定模型看到什麼——以訂單任務為例,只給三項訂單事實——完整紀錄留在執行環境,模型的錯誤動作因此變少。

面對大型資料集,模型傳的是一個 handle,也就是執行環境已持有資料的短名稱,執行環境在任何寫入之前先驗證它。這讓上下文保持精簡、又足以支撐決策,同時讓執行環境能檢查上下文的一致性。

關於權力:模型就算握有正確事實,照樣可能造成破壞。他們對變更控管兩次——開發時一次、執行時再一次——而且只有程式碼能開啟正確的路徑,這讓他們一天可以改散文好幾次。仍然依賴人的部分則是「開放環(open rings)」。執行時,寫入之前有五道牆,第六道則確認寫入真的落地。若寫入看似失敗,代理會重試,而日誌(journal)確保它只執行一次。

瓶頸從程式碼審查轉移到架構師的注意力

Buykin 直言,他自己注意力才是那個沒有防護的資源。一開始他每一筆變更都讀,系統因此染上他的習慣。後來量成長到一個人讀不完,他瀕臨 burnout,於是不再逐筆閱讀。他稱這是第六顆寶石的代價。

「第一個儀表就是我。當我累了、說不出到底改了什麼,那就是訊號。儀錶板可以是綠的,而我這個儀表正在警報。」

他的回應是先停下來修流程,不等數字出現。他打造了觀察事物變化及其導數的儀器。其中之一是爆炸半徑(blast radius):在建立新檢查之前,他們把它的規則回放過數千個過往工作階段,結果觸發率不到 1%。數字跳動的地方,他就下去讀。覺得哪裡不對,他們就等——某個訊號會一直等到它自己回來,即使是專家給的也一樣。

他也描述自己如何變成「使用者與我的代理之間的訊息匯流排」,並說在這個規模下,每個使用者都必須是評估者,要有介面能在不經過他的情況下給回饋。他自認架構師的職責,就是把這些回饋迴路建進系統。任何時刻都有 10 到 20 個這樣的迴路開著。每個迴路都寫進帳本,這樣就沒有事情要等他的記憶。

記憶本身就是設計問題:工作階段一結束,代理就忘光一切,所以記憶必須以檔案形式外存。他們保留兩種——發生過什麼,以及現在什麼為真——下一個工作階段從「現在什麼為真」開始。每個問題都必須連到它的根本原因,否則代理會依據錯誤事實做決定,檢查也無從計數。

真正的限制是驗證速度,而代理會默默跳過工作

Buykin 說他的代理在一筆變更上,將近十分之九的時間都花在檢查,而檢查佔他每週時間的比重也變大了。他的證據排序把「在真實任務上回放」放在第一位。在資料到手之前,他們先寫下什麼情況能證明自己錯了;每個新檢查都必須先刻意失敗一次,他們才願意信任它。

他點出 AI 重構的一個特定失效模式:它們會無聲地失敗。每個條件、每一列決策表都是一個分支,重構之後每個分支都必須恰好落點一次。在他的例子裡,金額超過上限的那個分支不見了,訂單就會在沒有團隊主管的情況下放行。測試什麼由真實任務決定;他們凍結一組任務,拿舊版本對新版本回放。如果沒有任何真實任務走到某個分支,他們就稱之為沒有證據。

他不信任單一代理評判自己的工作。第二個代理會拿檢查清單查核,而且看不到作者的推理,所以不會被說服而點頭。他說六個月下來,這已佔他檢查工作的大部分。它暴露的缺口是:編碼代理會完成一批工作的大部分,然後默默跳過剩下的,尤其在上下文快滿的時候。在某個待辦清單裡,多數專案看似已涵蓋,實際只有約四分之一能真正結案。

第三條路是每週清掃加棘輪,而不是彈指

Buykin 把自己先前的錯誤歸結為一個假二分:全部保留,或者彈指。他選了彈指——刪掉沒人用的測試與樣板碼、重寫專案、弄丟有用的部分——然後代理又把混亂長回來。他的替代方案是壓在變更線之下,每週做小規模清掃,並把回饋迴路建進系統。

方法論,以「一週」來看:

flowchart TD
    A["真實使用決定什麼留下"] --> B["沒有任何真實任務觸及的東西,給它名字與證據"]
    B --> C["退役的變體連同它的測試一起帶走"]
    C --> D["棘輪:數字只能下降"]
    D --> E["儀表觀察變化及其導數"]
    E --> F["數字跳動處,下去讀"]
    F --> A

他描述一個歷時一年的流程:有些分支合併回來,有些仍在漂移,有些已經死了卻還看似活著。他提出的問題是:哪些值得存活。修補只是一瞬間;造成混亂的力量在修補之後立刻繼續推。目前有兩個儀表在跑,還有六個排在後面。橋接線會以數字的形式回來,而棘輪意味著數字只能下降。

系統會複製每一個糾正它的人,包括架構師的偏見

結尾轉向他後來才看到的代價。上線之後,Buykin 發現自己的工程原則被內建進系統設計,而系統的技能與記憶也承載了他的習慣與偏見。

「Conway 說系統會複製組織圖。我們的系統複製的是每一個糾正它的人。」

他提出 18 個問題,每顆寶石三個,供聽眾用在自己的專案上,並請大家停下來挑一個自己的儲存庫目前答不出來的問題。他給那些目前是「每一筆變更都要等的人」的建議是:趁你還讀得完每一筆變更時,把這些寶石用起來。他提到,自己是已經 burnout 之後才學會這套流程。

尚未解決的張力在於:整套模式仍然把判斷權集中在一小群專家手上,而且歷史上也集中在他身上。帳本、棘輪與二次代理查核,都是為了把他從路徑上移除而設計,但他並不宣稱這件事已完全做到——迴路還開著,八個儀表有六個還沒建,下一步(讓模型做小決策、用工作流程把它們串起來)也明說還沒做。值得持續追蹤的主張,是他那句「重寫很容易,難的是知道什麼必須在重寫後存活」;如果這句話成立,這套營運模式的價值就在證據層,而不在程式碼。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論