跳到正文
AI Engineer(youtube.com)· Joey Wang·· 13 天前品質評分58

代理本身沒事,是周圍的一切垮了——Harvey 的 Joey Wang

代理本身沒事,是周圍的一切垮了——Harvey 的 Joey Wang

重點導讀

Harvey 的 Joey Wang 指出,Spectre 雲端代理框架(agent harness)才是產品,模型不是;而代理規模化之後,周圍的基礎設施反而先撐不住,迫使團隊打造公平排隊機制與預算護欄。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Joey Wang 在法律 AI 公司 Harvey 內部打造了雲端代理平臺 Spectre。他的核心論點是:跑 coding agent 真正難的不是模型,而是模型外圍的那套載體(harness)——checkout、金鑰管理、CI 迴圈、合併佇列、容量上限。在大約十二分鐘的演講裡,他講了三件事:Harvey 如何不再與 Cursor、Claude Code 競爭,而是把它們跑在 Spectre 之上;一條規則(「人能點的,代理就能呼叫」)如何讓 CLI 成為主要入口;以及兩波流量洪峰——一波由機器人驅動、一波由真人驅動——如何逼出一個公平排隊機制。標題的定調站得住腳:代理本身沒問題,出錯的全是周邊基礎設施。

Wang 是從維運者的位置發言,而非研究者:他回報上個月平臺上每分鐘就有超過一個代理啟動、約 460 位 Harvey 員工使用過、代理共寫出 10,000 個 pull request。以下簡報涵蓋:拉高合併率的後續追蹤迴圈、催生 900 個代理追同一個 bug 的告警風暴、讓整個叢集停擺的 950 個任務爆量,以及 Wang 坦言 Harvey 至今仍未解決的合併佇列問題。

產品是載體,不是模型

Wang 開宗明義:「這不是一場談模型、談 evos 或排行榜的演講,這是談難度」——談模型周邊的那些事:「checkout 分支、保管金鑰、開 PR、讓它合併進去」。他把這個想法追溯到 Harvey 在 2026 年 4 月發表的一篇文章,文中說「總有一天,載體本身會成為產品」。

支撐這個論點的是規模數字:上個月(2026 年 10 月),平臺上平均每分鐘就有超過一個代理啟動,日夜不停。代理累計寫出 10,000 個 pull request。上個月約有 460 位不同的 Harvey 員工使用這個平臺。而且用途早已超出寫程式——現在有人直接在 Slack 裡問資料問題並拿到答案。Wang 最喜歡的例子:行銷團隊有人在 Slack 丟進一個原型和一份講稿,要求產出一份產品影片的故事指令碼。他的結論是:「載體一旦存在,人們就會把你想都沒想過的工作帶進來。」

他也正面回應了那個顯而易見的質疑——既然有 Cursor 和 Claude Code,何必自己造——但他給的是定位宣言,不是功能比較:「我們不跟他們競爭,我們把他們跑起來。」他自己的看法是,筆電上的代理無法規模化:一個人現實上頂多跑五到十個,再往上就需要一個雲端平臺,能保管公司金鑰、接上真實技術棧、串接告警與工單、統一規則,而且容量要大到沒有人會被餓死。

所有代理共用一套載體與稽核軌跡

Harvey 的工程師原本就在用 Cursor,並不斷問:怎麼把公司金鑰接進去?怎麼對真實技術棧做測試?與其在 Cursor 裡重建一次整合、換下一個工具時再重建一次,答案最後收斂成一句話:「叫 Cursor 去用 vector 就好。」Wang 的重點是:人永遠會有偏好的代理,而且偏好一直在變,所以平臺要墊在所有代理底下——Claude Code、Codex、Cursor,或自製的載體都行——工作階段可以從筆電開始、推上雲端、再回到筆電。

他描述的夜間事故處理流程如下:

flowchart TD
    A["凌晨兩點 Slack 跳出告警"] --> B["代理接手任務,無需人工輸入"]
    B --> C["代理寫出修正"]
    C --> D["啟動真實的技術棧副本"]
    D --> E["在 PR 上張貼驗證結果"]
    E --> F{"CI 通過?"}
    F -- 否 --> G["後續追蹤迴圈讀取失敗原因,再推一次修正"]
    G --> F
    F -- 是 --> H["PR 進入單一審查佇列,規則與人類 PR 相同"]
    H --> I["上班時間開始時通知負責人"]
    I --> J["核准後由代理自動合併"]

兩個設計選擇承擔了大部分重量。第一是後續追蹤迴圈:Wang 說,如果只能做一個環節,就做這個。它在 2026 年 10 月初對所有人開放,當月合進後端的代理 PR 中,有五分之四走過這個迴圈——「這就是會寫程式的代理和把事做完的代理之間的差別」。第二是共享專案知識:團隊把重要的事和學到的東西寫下來(他點名同事 Adrian 是貢獻者之一),團隊把信任的技能釘選起來,並且留下誰寫了什麼的紀錄,於是任何在這個專案裡工作的代理讀到的都是同一份內容。他明講的原則是:不管你選哪個代理,稽核軌跡和檢查都該一致。

「人能點的,代理就能呼叫」

2026 年 5 月,要驅動 Spectre 只有兩個辦法:開瀏覽器分頁,或在 Slack 裡標記它;整整一個月裡,只有一個任務是從終端機發起的。於是 Harvey 立下一條規則:每一個 UI 動作都必須同時是一個 CLI 呼叫——啟動任務、開啟後續追蹤迴圈、啟用自動合併、發布頁面,全都算。這麼一來,平臺就能從筆電上的代理、沙箱內的代理,以及 CI 呼叫。

到了 2026 年 10 月,結果是:命令列每月啟動約 6,500 個任務。網頁應用並沒有萎縮——是其他一切圍著它長大。從終端機啟動的任務,合併率高於從瀏覽器啟動的任務。而且出現了一種新使用者:每個月啟動數百個任務,卻從來不開應用程式。

Wang 親自示範了這個模式:10 月他開了一個 Codex 工作階段,讓它當協調者。它把工作拆成十個里程碑,自己留一個,其餘以數百個任務的形式送進 Spectre,每個任務都有自己的沙箱做端到端驗證。同月稍晚,Harvey 的 IT 團隊開放了一個工具給所有人,讓它代替使用者盯著 Spectre——列出 Spectre 正在等待回答的問題、草擬答案,使用者核准後就送回去。Wang 說他就是這樣私訊朋友的:「我就用 cursor clock code 還是什麼的,對 spectre 狂發。」

兩波洪峰,一個解法:公平啟動佇列

2026 年 8 月中那起事故,是整場演講中最清楚的失敗案例。一次發布帶著一個 bug 上線,這個 bug 會對每個工作區各觸發一次告警,於是同一個 bug 變成同一個 Slack 頻道裡數百則告警。當時有個工作流程被設定成每則告警都標記代理,而每個標記都會啟動一個任務。平常一天大約產生 50 個任務;那天大約四小時內產生了 900 個,完全沒留空間給任何真人。修法「幾乎無聊到不行」:重複的告警現在會併入已經在進行的調查。

兩個月後同樣的事又發生,這次沒有機器人摻一腳。2026 年 10 月,一位工程師做了 Harvey 一直拜託大家做的事——把工作交給 Spectre——結果大約三小時內從命令列啟動了 950 個任務。叢集被塞滿,其他人的工作全卡在一臺筆電後面排隊。Wang 對責任歸屬講得很直白:「這不是使用者的問題,是我們的問題。」

四天後 Harvey 推出公平啟動佇列。啟動任務會拿到一個排隊位置;排程器在有空位時啟動它;正在鍵盤前工作的人優先;每個人都有公平份額,叢集閒置時可以多借;啟動任務時就看得到自己的佇列位置。在 300 個任務爆量的壓力測試中,任務延遲從將近 2 秒降到 70 毫秒。

指標2026 年 8 月(每週最忙的一天)2026 年 11 月 4 日
啟動任務數基準值超過 8 月的兩倍
未完成的任務約每 10 個有 1 個大幅改善,仍有成長空間

Wang 對因果關係很謹慎:好幾件事同時改變,所以他無法斷定哪個修正最關鍵。他能確定的是,爆量一次比一次大,而平臺都撐住了。

合併佇列是尚未解掉的難題

2026 年 10 月底,Harvey 的開發者平臺團隊發出警訊:全公司的 PR 在一個月內暴增約 60%。原本 15 到 30 分鐘的合併,變成要花一個多小時,合併佇列還得反覆關閉。他們提出的補救辦法——rebase 到 main、重跑 CI、綠燈就合併——有個已知的失效模式:main 一壞,所有人的 CI 跟著壞。Wang 講得很明白:「這一題我們還沒解開。」

這是整場演講中,載體唯一還沒追上代理的地方。這也連線到他收尾的幾個開放問題:如果每個 PR 都能在人類檢視之前先證明自己可用(目前每 20 次合併只有 1 次帶著這種證明),會怎樣?以及當代理永遠不停開 PR 時,該怎麼合併?他對第二題的答案是給一個日期,而不是一套設計:「六個月後再問我,我會告訴你哪裡壞了。」

無人值守的自動化,第一天就要有護欄

Spectre 上成長最快的工作來源,不是有人在要東西,而是自動化——按排程或事件醒來、自己把活幹完的代理:分流告警、讀 PR、寫貼文。上個月大約有 110 個人在跑自動化。

Harvey 第一天就上了護欄,原因很具體:沒人盯著的時候,一個代理可以啟動上千個任務。他們套用兩條規則——連續失敗五次的自動化會自動關閉;每個自動化都可以設定預算或到期日。Wang 對這件事的前瞻版本是一個他沒有回答的問題:如果每個 Slack 頻道都有自己的代理,永不下線、跟著對話走、自己開始做事,會怎樣?

Wang 會重做什麼,還在追什麼

給想打造類似系統的人,他有三點建議:

  • 先決定程式寫完之後會發生什麼事——後續追蹤迴圈是槓桿最大的單一環節。
  • 讓每一個 UI 動作都能被代理呼叫。
  • 在你還不知道代理、真人或一則告警能闖出什麼禍之前,先設好它們各自能啟動的上限。

他收尾時把兩層分得很清楚:工程師愛用哪個代理寫程式就用哪個,但真正留得下來的工作,是那套負責執行、檢查、並把成果合併進去的載體。

整場演講懸而未解的矛盾是容量治理。Harvey 用佇列解決了公平性問題,用預算和斷路器解決了自動化失控問題,但合併佇列——代理完成工作到程式碼真正落地之間的最後一哩——至今仍會在塞住時被關掉。Wang 自己的數字顯示壓力還在升高,並未緩解:PR 量一個月增加 60%,任務量在 8 月到 11 月之間翻倍,而只有 5% 的合併帶著機器產生的證明。任何在維運代理基礎設施的人,都該盯著兩件事:合併佇列問題會不會得到和啟動佇列同等的處理;以及「每個 Slack 頻道一個代理」這個想法,是會帶著護欄一起上線,還是變成下一場 900 個任務的洪峰。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論