跳到正文
AI Engineer(youtube.com)· Zach Lloyd·· 14 天前品質評分58

如何打造能自我進化的軟體工廠——Warp 執行長 Zach Lloyd

如何打造能自我進化的軟體工廠——Warp 執行長 Zach Lloyd

重點導讀

Warp 執行長 Zach Lloyd 主張,團隊應打造能自我進化的雲端「軟體工廠」,讓資料與模型都掌握在自己手上;評估代理時要用自傢俬有基準,並依「每個 PR 的成本」來決定模型路由,而不是看公開排行榜。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Warp 創辦人暨執行長 Zach Lloyd 主張,企業不該再讓工程師在自己的筆電上以互動方式跑編碼代理(coding agent),而應打造沙箱化、雲端託管的「軟體工廠」(software factory)——以程式碼定義,並透過自動化評估迴圈持續改進。這場演講是研討會式的完整導覽,而非訪談:Lloyd 在 21 分鐘裡,大多用來談為什麼本地代理在安全與治理上註定行不通、一座工廠該包含哪些東西,並現場示範 Warp Factories 的儀錶板、評分代理、自我改進 PR 與自訂模型基準測試。標題所稱的「自我改進工廠」確有其事,但只佔演講最後約三分之一;前半段講的是基礎架構論證。

Lloyd 的資歷讓這套主張更有說服力:他曾任 Google 首席工程師,在 Google Docs 規模擴張到數億使用者的期間帶領工程團隊;而公司的代理式終端機 Warp Terminal,依他所述在 GitHub 上約有 6.5 萬顆星、活躍開發者接近百萬。讀者讀完應該能帶走三樣東西:一套具體的工廠堆疊架構、對 Warp 追蹤哪些指標(自動化率、週期時間、支出、每筆 PR 成本)的掌握,以及一個清醒的認知——這裡的證據大多來自 Warp 自家的內部使用情況與自家產品。

本地代理是安全與治理的死路,把它們沙箱化、搬上雲端

Lloyd 的核心論點是:代理式開發的現階段——他稱之為「互動式提示」(interactive prompting),也就是工程師在自己的筆電上跑 Claude Code 或 Codex——同時撞上了三道天花板。跑代理的那個人本身就是瓶頸;當每個人各自設定自己的環境,成本就難以控制;而治理基本上付之闕如。

安全這點最為尖銳。Lloyd 說,本地代理一旦被攻破,就會繼承那臺筆電上登入者的許可權。治理方面,工程師各自配置自己的 MCP、技能與工具,既沒有可視性,也沒有稽核軌跡。他開出的解方是把代理沙箱化並搬到雲端,也就是他所稱的「雲端軟體工廠」這個產品類別。

「本地代理一旦出問題或被攻破,它基本上就能接管那臺筆電上登入的那個使用者所能做的一切,這可不是好事。」

他對工廠的定義相當寬:一個雲端迴圈,人類把工作送進去,代理接手軟體生命週期的部分環節——分流、與人協作撰寫規格、實作,以及用電腦操作(computer-use)進行驗證。企業的任務,就是定義人與代理互動的規則,然後隨著時間衡量並改進這個迴圈。

把工廠當成基礎架構,而不是產品或 AI 隊友

Lloyd 的框架是:工廠應該是一套開放、可調整、以程式碼定義的基礎架構堆疊,而不是買來的「AI 隊友」。他提出三項特性,並說明各自帶來什麼。

特性含義為何重要
開放支援任何模型(開源權重或前沿模型)與任何執行框架(harness)最好的模型與框架不斷更迭;保留選擇權
可調整能與既有基礎架構搭配運作避免整個打掉重練
以程式碼定義工作流程、技能、MCP,以及代理在哪裡執行,全都放在版本控管的儲存庫裡讓工廠版本可被測試,也讓編碼代理能更新工廠本身

他另外補上一項大型企業常提出的要求:AI 主權(AI sovereignty)。企業希望自己掌握進出的資料、在自己的基礎架構與算力上跑代理,並使用自家的推論服務。貫穿這一切的主軸是:工廠的核心要素太重要,不能整包外包。

公開基準測試是雜訊,要用自家任務來衡量

Lloyd 認為,每天在 Twitter 上爭論哪個模型最強,甚至像 SWE-bench、Terminal-bench 這類具名的公開基準測試,對特定公司的程式碼庫來說都是糟糕的指引。目標狀態是「先用自己的資料來衡量」:替你的編碼代理打分,把分數餵給負責改進工廠的代理,並用真實任務建立自家的基準測試。

他在示範中展示了實際運作方式。Warp 會把過去真實的編碼代理執行紀錄,針對不同的模型配置重跑一遍,產出一張成本對品質的圖表。在他的例子裡,GLM 53 Flash 以 2 美元的成本拿到 93% 正確率,GPT 56 則是 95% 正確率、成本高三倍。這份結果會回饋成一套模型路由策略,立基於公司實際的技術堆疊,而不是通用排行榜。

他提到兩種整理基準測試題目的方式:由人工挑選簡單、中等、困難的任務(他建議先從這裡開始),或是請工廠自己去掃描先前的執行紀錄,挑出有代表性的案例。圖表上的正確率由 LLM-as-judge 判定;Lloyd 也坦承人工評分是合理的替代方案,只是 Warp 還沒加入,並表示系統中定義的任何評分器都能拿來當作基準測試的評估標準。

自我改進迴圈:代理找出失敗模式,並對工廠開 PR

這就是標題背後的機制。因為每一次代理執行都會被儲存下來,Warp 會用 LLM-as-judge 對整條工作流跑評分代理——即「線上評估」(online evals)。其中一個評分範例專門揪出代理撰寫冗餘測試的情況,這是編碼代理常見的失敗模式。大多數執行都通過,失敗的那些就是原料。

接著另一組代理會彙整失敗案例、尋找模式,並對工廠定義本身提出修正建議。Lloyd 點進其中一則建議——「實作前先讀取更多正向技能(positive skills)」——它回報這個失敗發生了 37 次,並提出一個針對工廠儲存庫的 PR 來修正。因為工廠是以程式碼定義的,這個 PR 就是對整個系統行為的一項正當、可審查的變更。

flowchart TD
    A["工程師透過 Slack、Linear/Jira、GitHub PR 提交工作"] --> B["協調器分派至分流、規格、實作、程式碼審查"]
    B --> C["代理執行紀錄連同完整追蹤一併儲存"]
    C --> D["評分代理評估執行結果(LLM-as-judge)"]
    D --> E["彙整失敗案例並進行模式比對"]
    E --> F["代理對工廠定義儲存庫提出 PR"]
    F --> B
    C --> G["將過往執行重播為自訂基準測試"]
    G --> H["各模型的成本對品質圖表"]
    H --> I["模型路由策略"]

工程職能分裂為產品工程與工廠工程

Lloyd 預期會出現兩種工程師。產品工程師繼續為客戶打造功能、修 bug,但他們是透過工廠來做——提交工作,而不是在本地下提示。第二種職能是「工廠工程」(factory engineering),歸屬於平臺團隊或一般工程師,重點在於讓工廠本身更好:改進技能、設定上下文、調整模型組合。

介面這點對採用與否很關鍵。工程師透過原本就在用的工具提交工作——Slack、Linear(或 Jira)、GitHub PR 留言——而所有東西都匯聚到同一個集中、留有紀錄的地方。Lloyd 展示了一個主管層級的儀錶板,涵蓋 Warp 自家的內部開發狀況,包含自動化率、DORA 式的週期時間與支出,還能點開任何一筆代理追蹤紀錄,讀取實際的對話內容。

驗證與預算紀律是營運上的瓶頸

在問答環節,Lloyd 點出實務風險。開發自動化可能造成「PR 堆積如山」,所以產出速度本身需要管控。他的兩項建議是:採規格驅動開發(spec-driven development),這樣就能測試變更是否符合規格;以及用電腦操作進行驗證,讓代理從使用者的角度產出「這東西真的能用」的證據——他說這能實質減輕程式碼審查的負擔。

預算方面,Warp 的做法是公開每筆 PR 的成本,以及其中用於評分與基準測試的比例,再據此推估專案層級的支出。他最後的建議是打造出可衡量、可改進的東西:「一旦你能在封閉迴圈系統裡真正衡量,你就能用前所未見的方式做到這些事。」

他也對適用範圍講明瞭期待。Warp Factories 並非開源,不過 Lloyd 說設計目標是開放,讓既有工具能接進來。它也不是企業專屬——個人可以在自己的專案上試用——但他說對一個人來說是殺雞用牛刀,還不如訂閱 Claude Code。他給的價值門檻大約是十人以上的工程團隊。

推銷話術與證據系出同源

尚未化解的張力在於:演講中幾乎每一個數字——93%/95% 的基準測試結果、37 次失敗的模式、儀錶板上的指標——都來自 Warp 自家產品上跑的 Warp 內部開發。Lloyd 坦然表示他是在「洩漏」內部資料,而這些通用概念很可能可以轉移套用,但買家應把這場示範視為產品導覽,而非獨立證據。值得持續追蹤的兩個主張是:LLM-as-judge 評分是否可靠到足以驅動自動 PR 進入生產級工廠;以及「任何模型、任何框架」的開放性,能否經得起那些同時想要自家推論與算力的企業考驗——Lloyd 說最大的客戶已經在要求這樣的組合了。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論