跳到正文
AI Engineer(youtube.com)· Ryan Carson·· 13 天前品質評分58

一位創辦人如何同時管理 20 個 AI 編碼代理——Untangle 的 Ryan Carson

一位創辦人如何同時管理 20 個 AI 編碼代理——Untangle 的 Ryan Carson

重點導讀

Untangle 的 Ryan Carson 只開一個管理者工作階段,透過工單看板排程 20 到 25 個建置代理,並以錄下測試通過畫面的影片作為合併的把關條件;招募時則用代理評分的螢幕錄影,加上 16 小時的付費試作來排序人選。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Untangle 創辦人暨執行長 Ryan Carson 主張,管理 AI 程式代理本質上就是在管人;而代理驅動的工程團隊,組織圖應該是人在最上層、中間是一層「主管代理」,底下最多可同時掛上約 20 到 25 個「建構代理」,且人類永遠不直接跟建構代理對話。這場 15 分鐘的演講,絕大部分時間都花在這套運作模式(主管 session、審查迴圈、QA 代理、合併佇列協調),以及一套重新打造的招募流程——不看面試表現,而是看候選人實際操作代理。Untangle 真正在賣的離婚 AI 法務助理,只在開場簡短帶過。

Carson 的發言有其具體資歷支撐:他說自己創辦並賣掉四家公司,上一家新創擴編到約 110 人,現在經營 Untangle——這家公司原本是消費端 App,後來轉向,把家庭法 AI 法務助理賣給律師事務所。讀者讀完應該能掌握他代理堆疊的具體運作機制(Devin session、Linear 票券、最多三輪的審查上限、錄影測試、專職的合併佇列主管),以及他那套反主流的招募流程;同時也該清楚知道,他自己預期其中哪些部分幾週內就會過時。

人類只跟一個代理對話:主管代理

Carson 架構主張的核心是:每一條工作流,人類只該對接一個 session——一個永遠不寫程式的「工程主管」代理——所有建構代理都透過它間接管理。在他的配置裡,主管會從 Linear 看板拉票(用哪個工具不是重點,看板才是真相來源),每張票對應一個 PR,並依相依關係挑選工作。他形容這是「很基本的工程主管日常」,但重點就在紀律:人類設定優先順序、跟客戶談;主管代理回答技術問題、排除小狀況。

最吸睛的是規模數字:一個主管代理可同時管理約 20 個建構代理,實務運作區間大約 5 到 25 個。Carson 說,上限不是模型決定的,而是取決於人類能不能跟主管對話、搞懂現在發生什麼事——「你逼得太緊,很快就會失控。」他也堅持,人類絕對不能直接進入、對話或管理建構代理的 session。

flowchart TD
    H["人類(優先順序、客戶聯絡、上線核准)"]
    M["主管代理 session(永不寫程式)"]
    B1["建構代理"]
    B2["建構代理"]
    B3["建構代理,最多約 20-25 個"]
    R["審查代理(最多 3 輪)"]
    Q["QA 代理(建構代理的子代理)"]
    MM["合併佇列主管 session"]
    T["Linear 票券看板(一張票 = 一個 PR)"]
    H -->|"主要以語音"| M
    T --> M
    M --> B1
    M --> B2
    M --> B3
    B1 --> R
    B2 --> R
    B3 --> R
    B1 --> Q
    M -->|"三輪審查失敗後上呈"| H
    M --> MM
    MM -->|"GitHub 合併佇列"| H

有兩個運作細節讓這套架構在實務上站得住腳。第一,強制主管在固定間隔讀取每個子 session 的,是一段自動化流程,而不是主管自己的判斷;Carson 說他一開始設 10 分鐘,最後定在 15 分鐘,而且「你不能指望主管代理把這件事做對,它不具確定性。」第二,在團隊規模下(比如 10 個人),每個人通常各跑一個主管 session(Carson 目前跑兩個),這些 session 之間會直接互傳訊息。他說這「實在太愉快了」,並表示 session 之間的往來是實質的排障,不是閒聊——不讓 session 彼此對話的團隊,「大概都在交出更差的軟體」。

審查迴圈最多三輪,之後上呈

每個建構代理都會呼叫審查代理——Devin 內建審查者,Carson 假設多數程式框架也都有——但這個迴圈有上限。建構代理大約有三輪審查機會;三輪後若還有重要 bug,問題會往上丟給主管代理,必要時再丟到 Carson。他把這定位成一個可用的折衷,而不是什麼原則。

底層技術堆疊很常規:程式碼加測試,再加一道額外的 QA 流程,會開一個建構代理的子代理來跑 QA。他對成本的說法很直白——「這很便宜」,所以只要沒卡住合併佇列,代理開越多越好。他把 QA 流程的匯入歸功於一位最近加入、名叫 Dale 的工程師。

他警告的失敗模式是合併佇列:「把 PR 挑毛病挑到死,跟趕快合併進去,中間有一條很細的平衡線。」他的解法是一個專職的合併佇列主管 session,負責協調湧入的一批 PR——處理像資料庫遷移編號這種代理之間會互搶的衝突——並在排序上比單純的 GitHub 合併佇列更有智慧(他仍用 GitHub 合併佇列,並說它「沒問題,這又不是火箭科學」)。他會替 session 命名,好讓自己知道現在發生什麼事,並把合併主管視為 OpenAI 講者那句「鬆開模型的束縛」的實踐:先設定角色,再讓它去改善流程。

每個建構代理都要錄影,而人類必須看

Carson 流程裡的人為把關,是一段錄影:每個建構代理都要錄下功能實際被使用、測試通過的畫面,Devin 內建的「test」功能會產生測試案例、錄下執行過程,回傳綠燈或紅燈。若是面向 UI 的工作,主管 session 會通知 Carson 影片好了,他看完才說可以上線。

他強調,這正是大家會偷工減料、也最不該偷工減料的地方。這份工是真的:放大看、讀一遍這個 PR 應該做什麼的摘要,像產品負責人一樣投入。他提到演講前不久,主管代理在他還拿著手機時就丟了一支影片過來;他看不清楚,當下「超想就這樣說沒問題、上線吧」——最後還是逼自己回到電腦前。他的規則是:用筆電看,不要用手機核准。

他對本地開發同樣直白:「如果你還在本機寫程式,停下來。」他的立場是,要跑這套模式,雲端代理(Devin 或別家都行)是必要條件,本地開發會拖累個人、團隊和產出。他也誠實點出整套系統的但書——它已經迭代過幾百次,今天能用,但「明天就會變,一週後大概就沒用了」。

招募:用錄下來的代理操作取代面試

Carson 的第二個主要主張是,傳統招募已經過時:「你以前為了招募員工所做的一切都結束了,沒有一項還說得通。」他的理由是偏誤——興趣嗜好、說話方式、討不討人喜歡「全是雜訊,沒有一項是訊號」——唯一有意義的訊號,是候選人能不能操作代理。

流程分四階段,值得注意的是,直到最後一關之前,既沒有電話初篩,也沒有視訊面談:

階段內容成本/時長決策機制
1. 提交候選人錄一段約 45 分鐘的全螢幕影片,在自己本來就在維護的 App 上交出一個功能 PR,不給任何指示或引導無酬—
2. 排名影片與逐字稿餵給排名代理,由它替候選人做強制排名—代理排名
3. 付費專案前五名可獲固定報酬,做 16 小時,配一個 Devin 席次、簽 NDA,任務是讓一個真實 PR 達到可合併狀態;全程用 Loom 錄影有酬,每人 16 小時代理審查 16 小時的影片
4. 最終通話只打給決選者,開場定調為「我們覺得想錄取你,聊聊吧」—人為判讀

有兩段自白讓這套流程站得住腳。第一,Carson 第一次並不信任排名代理,因為他不喜歡它的結果——後來證明它是對的;被排在第一名的,正是他說自己當初該錄取的人。第二,上一輪他親自看完了付費專案全部 16 小時的影片,他形容這「很折磨」,但能好好看清這些人。他也提到這種形式的一個實務怪癖:有些候選人含糊其詞、沒把思考過程講出來,審查者不一定看得出他們在做什麼;有些人則話很多。

他的結論是一個預測:「我認為大家都會這樣招募。」他的依據是,自己職涯中錄取過「幾百、幾百個人」,而這套方法「輕鬆太多、也好太多」。

為什麼做離婚,Untangle 到底賣什麼

產品背景簡短但具體。Untangle 打造的是專攻家庭法、聚焦離婚的 AI 法務助理。Carson 開場做了個觀眾調查,現場每個人都認識離過婚的人;他也提到自己的切身之痛——兩個姊妹和父母都離婚——說這是「人一生中最痛苦的事之一」,也是他想讓它「不那麼痛一點」的問題。

商業軌跡比使命宣言更值得注意:Untangle 原本是消費端 App,很快轉向 B2B,現在賣給家庭法律師事務所。Carson 說產品市場契合度已經有了,公司「成長非常快」,但沒給數字。他最後邀請想讓離婚不那麼痛的家事法從業者與他聯絡,並指出 X 是他最容易找到人的地方,還提到自己在那個平臺上已經 20 年。

值得觀察的重點,以及 Carson 自己會提醒的事

整場演講最有張力的地方,是 demo 的自信與 Carson 自己給它的儲存期限之間的落差。他展示的是一套生產系統——主管 session、有上限的審查迴圈、QA 子代理、合併佇列協調、強制影片審查——卻在同一口氣裡說它可能一週內就沒用。這不是假謙虛,而是在主張:真正能長期留存的是管理紀律(單一介面、有界迴圈、具確定性的自動化、以視覺證據做人為核准),而不是今天用來實現它的那些 Devin 具體功能。

有兩項主張值得持續追蹤,而不是照單全收。招募流程的核心前提——排名代理的強制排名比人類面試是更好的訊號——只建立在單一軼事上:Carson 對模型的不信任最後證明是偏誤;而且他親自看了付費專案的影片,這等於悄悄把流程原本要移除的人為判斷又放了回來。至於 20 到 25 個建構代理的上限,明確取決於一個人吸收主管回報內容的能力,也就是說,這套架構的擴充套件性綁在人的注意力上,而不是算力上——這正是 Carson 說他用語音跟主管代理對話來解決的瓶頸,因為他「讀字不快」。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論