像打造其他系統一樣,工程化你的編碼代理——Warp 執行長 Zach Lloyd
像打造其他系統一樣,工程化你的編碼代理——Warp 執行長 Zach Lloyd
Warp 執行長 Zach Lloyd 主張,工程師應把編碼代理(coding agent)打造成以程式碼定義、可量測的閉環「軟體工廠」——用自家資料追蹤、評估與基準測試——並表示這能帶來更高產出與更低成本。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Warp 創辦人暨執行長 Zach Lloyd 主張,編碼代理(coding agent)應被視為一種全新的工程基本元件,並納入一套可量測、以程式碼定義的系統——也就是「軟體工廠」(software factory)——而不是放任個別開發者各自在本機下提示詞。這場 18 分鐘的演講是單人研討會簡報,並非訪談,內容幾乎全繞著這座工廠的概念打轉:如何以宣告式方式定義它、如何觀測它、如何用線上評測(online eval)為它打分、如何讓代理自行提出修正,以及如何拿自家資料對各種配置做基準測試。標題所揭示的主軸完全對得上,沒有離題需要修正。
Lloyd 的權威其來有自:他曾在 Google 擔任 principal engineer,帶領 Google Docs 的工程團隊,協助它擴充套件到數億使用者;如今在 Warp,他形容公司正在打造一個讓企業執行內部軟體工廠的平臺,同時也是開源代理終端機的開發者,該專案在 GitHub 上約有 6.5 萬顆星、將近百萬名開發者使用。以下是他提出的工廠工程架構、他口中足以取代除錯器與效能分析工具、成為優秀工程師新標誌的那套工具組,以及 Warp 用這套系統自我執行後所宣稱的成果。
軟體工廠是閉環系統,不是一堆自動化拼湊
Lloyd 嚴格區分「基本元件」與「終局狀態」。零散的自動化流程、一群「AI 隊友」、共用的技能與 MCP 函式庫、個人的代理叢集,這些都是有用的積木,但沒有一項稱得上是工廠。他的定義刻意收得很窄:「一套以程式碼定義的閉環系統,用來持續量測並改進雲端編碼代理。」由此推出三項性質,而且每一項都是必要條件,不是加分項。
- 宣告式編碼。 工廠必須以 Terraform 風格的宣告式語言寫下來:跑哪些編碼代理、如何觸發、從 issue 經過分流到規格再到後續的完整工作流程、可用哪些 MCP、代理在哪裡執行。
- 持續改進的迴圈。 工作由人員或自動化訊號送入,依序經過分流、實作、驗證與監控。代理跑得越多,這個迴圈就應該越有效率。
- 處處量測。 Lloyd 直言,憑直覺營運本身就是一種失敗模式:沒有量測,你無從得知自己是否以最佳成本取得最高品質的產出,也無從確認產能是否已最大化。
他把整門學科框定為一個新的工程問題——如何圍繞一個具智慧的基礎元件來設計系統——並且拒絕那些軟性的比喻。「對我來說,這不是在種花園,也不是在照食譜做菜,」他說,「我們都是工程師。」
工廠堆疊共六層,模型只是其中一個變數
Lloyd 從第一原理推匯出一套基礎設施堆疊。順序很重要:程式碼定義放在最底層,因為它支撐了上面的一切;推論則靠近頂端,因為模型是要拿來測試的自由度,而非固定的選擇。
flowchart TD
A["API 與 MCP 優先 — Slack、Linear、Jira、GitHub"] --> B["協調層 — 推動工作流經整座工廠"]
B --> C["推論層 — 多模型、多執行框架"]
C --> D["運算層 — 沙箱化、跨平臺、可重現"]
D --> E["資料與脈絡 — 記錄每一段對話與產出物"]
E --> F["工廠即程式碼 — 宣告式定義,可分支、可回滾"]
其中兩層承載了大部分的論證。工廠即程式碼之所以關鍵,在於程式碼定義可以分支、可以在不同配置下測試、可以回滾——更關鍵的是,它開啟了自我改進的大門。資料與脈絡在組織規模下毫無商量餘地:每一段代理對話、產出物、影片、截圖都必須記錄下來,因為這些紀錄就是日後改進工廠的原料。至於推論層,Lloyd 堅持平臺必須支援多種模型與多種執行框架——Claude Code、Codex、Warp,或內建組織脈絡的自家客製框架——因為每個框架特性不同、強項各異。最上層則應以 API 與 MCP 優先,讓工廠能被其他代理驅動,並在工作實際發生的地方接手。
可觀測性讓代理艦隊從成本中心變成可量測的系統
Warp 提供一個 Lloyd 形容為 Google Docs 式的即時檢視介面,隨時掌握全團隊每一個編碼代理的動態。示範中,他點進某位同事的工作階段——正在實作他稱為「Opus 55 on the high plan」的東西,從 Slack 啟動,附帶一份產出物——即時讀取實際的對話與生成的輸出。即時檢視是可見的部分;重點在於這一切都在中央被完整捕捉,個別筆電上什麼都不必安裝。
有了這份中央紀錄,才產得出 Lloyd 說平臺團隊目前普遍欠缺的指標。他把它們分成三大類:
| 指標類別 | Lloyd 列舉的例子 | 回答的問題 |
|---|---|---|
| 交付產出 | DORA 指標、週期時間 | 我們出貨變快了沒? |
| 自動化深度 | 每個 PR 的人工介入次數、產能 | 這座工廠有多自動化? |
| 成本 | 每次執行/每單位工作的花費 | 我們為產出付了多少錢? |
他的警告是:少了這些資料,「你基本上是在盲飛」——這個立場直接打臉他開場時描述的本機、逐開發者配置模式:每位工程師自選模型與技能,沒有人能驗證效率,也無法落實治理。
線上評測能抓到基準測試漏掉的失敗模式
指標之上還有一層:評分。Lloyd 提議對所有已記錄的代理工作階段跑線上評測:由第二個代理審閱每個工作階段,並就選定的面向打分。他的具體例子是重複測試——編碼代理常見的失敗模式,代理會寫出多餘的測試。評測會把它標記出來,團隊接著就能追問原因,以及工廠裡某個機制是否該調整。
他勾勒的流程是一條管線:記錄所有執行、明定每次執行會走過的迴圈、追蹤每次執行在迴圈中的位置、蒐集資料、套用線上評測,再用得到的分數定位改進機會。評測是診斷工具;工廠定義則是被診斷的物件。
自我改進,就是讓代理對自家工廠開 PR
把工廠用程式碼定義的好處,就是代理可以動手改它。Lloyd 的自我改進迴圈是這樣:由代理讀取評測分數、找出失敗執行之間的共同模式、提出修正方案,再把這個修正以 pull request 的形式送到工廠定義上。人類審的是 PR,而不是逐筆手讀分數輸出。
「接著你就可以讓編碼代理自行診斷它們內部運作方式的問題,並提出修正建議。」
這正是讓他定義中「閉環」二字名副其實、而非空談的機制——也是為什麼程式碼層位於堆疊的地基,而不是跟工具層並列。
用自家資料做基準測試,因為網路上的共識毫無用處
Lloyd 對網路上關於哪個模型、哪項技能、哪個框架最好的討論嗤之以鼻。他說,這些問題唯一的解答方式,就是拿自家資料來測:用真實任務建立一組基準題,再拿不同配置反覆重跑——換模型、換框架、換工廠設定——看它們原本會有什麼表現。
他展示的輸出,就像新模型發布時 SWE-bench 或 Terminal Bench 常見的成本對品質散佈圖,目標是左上象限:低成本、高品質。差別在於兩個軸上填的都是組織自己的工作。同一套框架也能測出拿掉一組技能是加分還是扣分,讓技能庫從日積月累的雜物,變成可測試的變數。
工廠工程是新差異化所在,舊本領依然管用
Lloyd 的結尾談的是職涯。他在 Google 那些年,區分頂尖工程師與堪用工程師的工具——除錯器、效能分析工具、Chrome DevTools——如今已不那麼關鍵。代理時代的對應物是評測、能運作的自我改進迴圈、基準測試,以及對自家工廠做 A/B 測試。精通這一套,就是他說的工廠工程。
他也很謹慎,不把產品工程丟掉:工程師仍應對自己交付的東西是否解決了真實的客戶問題抱有責任感。但他說,每一位工程師都需要這套系統層級的能力,不只是最頂尖的那批人。至於業界的焦慮,他的立場是:他仍然在用職涯累積的那些本領,即使他寫程式的方式已不同於從前。Warp 自己的成果就是他拿出的證據:Lloyd 說公司用這些工具「大幅提升了產能、壓低了成本」,並維持一套常態迴圈——建立基線、評分、基準測試、實驗、工廠工程——成本對 Warp 而言尤其時時放在心上。
尚未化解的張力,正是 Lloyd 點出卻未給出答案的那一個:從本機、各自調校的代理,轉向中央定義、中央量測的工廠,等於用開發者的自主權換取治理、成本控制與可重現性。他的舉手錶決資料顯示市場已在移動——據他所述,現場正在打造或使用內部軟體工廠的聽眾,多於採用他所說「目前預設」的本機多執行緒模式的人。自我改進的工廠能否對自家定義產出可靠的 PR,而不是愈改愈偏,是接下來值得緊盯的關鍵,尤其當愈來愈多組織公佈實測結果之後。