跳到正文
AI Engineer(youtube.com)· Ford Prior·· 3 小時前精選AI 評分85

一天燒掉 1,000 美元 Token:為老舊程式碼打造的 AI 作戰室——Ford Prior,GEICO

一天燒掉 1,000 美元 Token:為老舊程式碼打造的 AI 作戰室——Ford Prior,GEICO

AI 導讀

GEICO 的 Ford Prior 展示如何透過多人協作的作戰室排程 AI 代理艦隊,產出經過審核的舊系統理賠遷移計畫,甚至揪出一個正式環境的程式錯誤;其中 Token 成本與模型選擇是關鍵課題。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

推薦理由

展示 AI 代理如何突破傳統外層迴圈瓶頸,並提供可落地的 Token 成本與流程設計,對現代化團隊具實用參考價值。

正文 · 原文

Ford Prior 是 GEICO 理賠技術部門的資深主任工程師兼技術推廣者。他主張,AI 代理能突破軟體交付的「外層迴圈」瓶頸——也就是重大變更過程中的協作、事實查核與決策——而不只是寫程式的「內層迴圈」。在 18 分鐘的演講裡,他描述了一個「多人 AI 原生戰情室」,以 1,000 美元的 Token 預算、每次各一天,執行了三項遺留系統現代化實驗;演講大部分時間都花在機制細節上:FleetKit 編排層、Anthropic Code Modernization 外掛、人在迴圈中的工作表,以及成本教訓。標題的「1,000 美元與一天」確有其事,但只是眾多實驗設計之一;整集節目的主體,在於這個戰情室如何拼裝起來,以及哪裡出了問題。

Prior 的視角來自 GEICO 內部一個約 300 名工程師、32 個團隊的理賠技術組織。他形容 GEICO 是風險管理公司,而非科技公司——這個定位很重要,因為風險控管會形塑軟體如何開發與核准。讀者讀完應該能具體掌握整體架構(供應商提供的 harness,加上 GEICO 專屬的脈絡、方法與判斷儲存庫)、三項現代化任務及其成果,以及模型選擇、Token 消耗與人類留在迴圈中哪些環節的實務教訓。

GEICO 收回了寫程式的時間,卻卡在外層迴圈

Prior 的核心診斷是:SDLC 中間那塊「建置」工作,大致上已被 AI 輔助寫程式消滅,但周邊的工作——重大變更規模下的協作與情報整合——並沒有加快。他借用 Gene Kim 的內層迴圈/外層迴圈概念來闡述:內層迴圈(寫程式與建置)加速了,外層迴圈(其他一切)卻沒有。在 GEICO,風險管理「融入我們做的每一件事」,軟體交付也不例外,他說這正是公司無法單純坐享內層迴圈紅利的原因。

量化切入點:演講前約六個月(以 2026 年 10 月的發布日期推算,大約是 2026 年 4 月),GEICO 檢視待辦清單後發現,工程師在完成修補與小幅升級後,能投入重大版本工作(V1 到 V2 到 V3)的頻寬,「狀況好的時候也只有 25%,甚至更少」。公司的回應是投資 GEICO 自行管理的 AI 代理,橫跨多種 harness 與模型,把修補與小幅工作「從規格到部署」整段外包出去,讓工程師轉而投入維持公司競爭力的重大工作。

「我們擺脫了外層迴圈的束縛。接下來換你們了。」

據他描述,重大工作的瓶頸有兩層:一是能否在每個時間點召集對的人做出決策;二是「情報」——能否把各種變數交織起來、查核事實、快速消化程式碼,在決策出現時即時端出洞見。戰情室的設計就是為了同時提供這兩者。

戰情室=一份名單、一位駕駛,加上一整套 AI 原生工具

「多人 AI 原生戰情室」由三部分組成:與主題相關的關鍵決策者與領域專家的名單;一位駕駛(也就是 Prior 本人,操作這些所費不貲的 AI 工具);以及一套 AI 原生生產力工具,涵蓋通訊頻道、互動式設計工作室(他未指名供應商,但邀請聽眾猜測)與程式碼儲存庫。這些以工作流程、代理技能、MCP、企業 MCP,以及負責事實查核與綜合整理的代理艦隊串接起來。

整體架構清楚切成兩塊:可替換的供應商元件,與不可替換的 GEICO 元件。

| 層次 | 供應商提供(可替換) | GEICO 專屬(不可替換) |
|---|---|---|
| 核心 | Harness、模型、FleetKit、Code Modernization 外掛 | — |
| 脈絡 | — | 內含軟體標準與「過往決策考古」的知識庫 |
| 工具 | — | 代理可在駕駛機器上取用的工具待辦清單,加上使用說明 |
| 方法 | — | 技能,以及 GEICO 開發軟體的領域專屬做法 |
| 判斷 | — | 誰能在哪道關卡決定什麼(領域專家與主管視角) |

這些 GEICO 資產被整理成兩個儲存庫,讓代理和人都能新增與修正。Prior 強調,任何供應商元件——模型、框架、harness——都可以換成別家的。

FleetKit 把軟體開發變成工廠生產線

FleetKit 是 Prior 取的名字,指的是一套「緊密、結構化的規則、協定與指令,全部以 markdown 撰寫」,針對 Claude harness、特別是 Fable 模型最佳化,並圍繞架構轉型設計。他形容這是「比實際的系統提示詞再高一層」——代理必須遵守的規則——並表示大概需要 Opus 4.8 等級以上的模型才扛得住這種駕馭。它尚未開源,但他公開了運作方式,讓別人可以自己打造,並稱這「不是什麼火箭科學」。

flowchart TD
    A["目標/任務"] --> B["拆解並派發領導者"]
    B --> C["領導者研究並決定做法"]
    C --> D["人在迴圈中的佇列(例如 GitHub issues)"]
    D --> E["人類留言並核准;其他代理補充脈絡"]
    E --> F["派發建置者"]
    F --> G["實質變更:變更請求或程式碼變更"]

流程是這樣:取得一個目標、拆解它、派發「領導者」去研究並選定做法,把產出放進人在迴圈中的佇列(建議用 GitHub issues),由人類留言核准、其他代理補充脈絡,再派發「建置者」。過程中用 Beads 協助代理在各自的代理空間裡追蹤工作。宣稱的最終目標是產出「實質變更」——送進儲存庫的變更請求或程式碼變更。他點出的思維轉變是:開發軟體看起來「愈來愈不像在畫布上作畫,而更像在工廠裡幹活」。

實際操作上,內含 FleetKit 所需一切的三個儲存庫,會連同一個外掛啟動成 Claude Code 工作階段,被呼叫後接收一項任務。代理會為該任務採用或建立一個 Slack 頻道,並邀請相關的戰情室成員加入。在九步流程的每個里程碑,它會產出兩種成品之一:由人填寫、會自動儲存的 HTML 工作表(用 Claude artifacts 製作),或是包含架構視覺化圖的設計檔案——這些圖過去並不存在。代理能依名單標記特定人員,例如把缺漏的產品細節轉給產品負責人。經過編輯的設計檔案(draw.io 或 Figma)會被讀回工作階段。

三項任務:升級、轉型、重新想像

Prior 用 Anthropic Code Modernization 外掛的 Uplift/Transform/Reimagine 分類法,在三項程式碼現代化任務上各跑了一次實驗。每次的賭注都一樣:1,000 美元的 AI Token、一天時間,把一個領域從頭到尾摸清楚——業務拓撲圖、遺留程式碼圖,中間的一切——找出並提出一項重大變更、部署到技能代理平臺,下午四點向老闆 demo。

| 任務 | 領域 | 分類 | 產出 | 值得一提的成果 |
|---|---|---|---|---|
| 1 | 租車(事故後的租賃車) | Uplift | 同技術的較新版本;擴充既有 API | 代理找到方法,透過提供客戶即時租車資訊,每月省下 8,500 次呼叫 |
| 2 | 車損(為申報損失核定金額) | Transform | 一套新的代理可呼叫 API | 解鎖了一個需要車損資料的更大工作流程 |
| 3 | 殘值處理(全損車輛,「可說是最複雜的」) | Reimagine | 完整審核過的遷移計畫,含 API 規格與設計 mock-up,各層級產品與技術主管全數放行 | 代理找到一個正式環境的 bug(細節未公開) |

他特別強調殘值處理的成果:一份完整審核、可直接實作的專案計畫,且各層級都批准——他稱之為「本身就是一個里程碑」,因為這代表所有人,包括技術細節層面,都站在同一頁上。他也說代理「把這些領域摸得非常透」。

產出的成品好到團隊自己留著用

2026 年夏天,維吉尼亞州里奇蒙的戰情室,畫面不是一大片 Claude Code 螢幕、一群人擠在旁邊,就是螢幕上開著產品工作表和繪圖工具。Prior 的重點在品質:過程中從未出現「代理為什麼問我蠢問題」的時刻。反而是工作表挖出了團隊從未想過的業務或技術邊角案例。設計成品事後被團隊留下來,而且往往畫出了過去沒人有空記錄的東西——畢竟「不是每個工程師都愛畫圖」。

兩種代理平行運作。「程式碼深潛」在雲端對遺留的領域特定語言做大量程式碼消化與繪圖。本機代理則跑在 Prior 的筆電上,可取用機器上所有 MCP——許多尚未上線、企業專屬且高度最佳化——並能挖出有價值的資料,包括正在深潛的程式碼庫的分塊版本。一份繫結檔描述了機器上有什麼、怎麼運作,以及如何對應到 FleetKit。

九步流程(啟動加八步)是從 Code Modernization 外掛分岔出來的,Prior 鼓勵大家自行調整。他那張密密麻麻的流程投影片只傳達一個訊息:橘色的工作表元素需要人工核准;人工投入在開頭很重、後段較輕;外掛位於核心。外掛也會做確定性檢查,確認前一步是否產出必要成品,包括某個檔案。

Token 消耗、快取,以及一個跟貴模型打成平手的便宜模型

成本控管是實實在在的主題。Prior「燒了很多 Token」,而他最尖銳的警告屬於操作層面:別讓跑 Fable 的 Claude 設定 cron 來檢查工作進度,因為每次檢查都會啟動一個新的 Fable 工作階段,立刻燒掉預算。提示快取(prompt caching)的用量「遠比我預期的高」,他也看到「古怪的子代理行為」。

最具影響力的發現是:在建好脈絡、派發代理去寫複雜的遺留程式碼之後,GEICO 拿近期寫好的既有程式碼當黃金資料來對照,發現 Sonnet 5.5 寫得「一樣好,甚至更好」。他的結論是:「模型選擇定勝負。」

他列出的後續優先事項:
- 強化關卡強制執行,是他預期最大的收益
- 更新 harness 內的決策模型與模型選擇框架
- 更好的脈絡搜尋與繪圖方式——目前「就只是 markdown 檔」,沒有 Graphify、Obsidian 之類的工具
- 把音訊當資料來源:自動轉錄戰情室對話,取代他拼命抄筆記——他說這既分心又漏東漏西
- 全組織部署

部署在一個決策卡關的團隊,並讓人類繼續攻頂

Prior 的部署建議很直白:在組織裡找一個「不知道怎麼做決定」的團隊,把戰情室部署在那裡、親自駕駛、控制成本,然後把它變成你自己的。在 GEICO,未解的習題是:當代理逐步爬山、找出更好的方法時,人該擺在哪裡——以及如何讓最優秀的工程師「彷彿領受天才的神啟」,在代理爬完第一座山時去攻下一座。

他也勾勒了一個未來:代理負責幹活,人類「坐在中間當主管,逐階段簽核」,但同時坦承自己「不是先知」。完整的投影片與視覺化圖表,收錄在演講當天發布的部落格文章中,連結放在他投影片的最後。

尚未化解的張力,在於工廠比喻與人在迴圈中的設計之間:實驗顯示代理能產出可直接核准的計畫,甚至找到正式環境的 bug,但價值來自人類回答真正的好問題、在關卡上批准決策。關卡強制執行與更好的脈絡搜尋,能否在沒有駕駛的筆電當執行環境、也沒有那筆 Token 帳單的情況下規模化——這是 Prior 留給大家的問題。

來源: AI Engineer (youtube.com)
開啟原文