跳到正文
AI Engineer(youtube.com)· Lauren Tan·· 8 天前品質評分58

所有程式碼都是垃圾(除了我的)——Lauren Tan,SpaceXSI

所有程式碼都是垃圾(除了我的)——Lauren Tan,SpaceXSI

重點導讀

Lauren Tan 主張,工程師應把經驗教訓寫成 lint 規則、架構限制,以及 TLA+、Lean 這類驗證層,讓自主代理每月能合併 11,000 個 PR,回退率僅 0.5%。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

SpaceXSI 旗下 Grokbot 的工程師 Lauren Tan 主張,若要在送出數千個由代理(agent)產生的 pull request 的同時維持程式碼品質,正確做法是投資在代理的環境上——包括程式碼庫的限制條件、lint 規則與驗證——而不是投注在文字規則或更多人工審查上。整場演講大部分時間都花在這個環境上:確定性的護欄(禁止使用的 API、目錄慣例、lint 規則)如何一次消滅整類的代理錯誤,以及執行期驗證、形式驗證與基於性質的驗證(property-based verification)如何成為她 Token 用量的大宗。標題裡的「所有程式碼都是垃圾(slop)」框架主要是個引子;真正的內容是一套具體可操作的劇本,把程式碼庫變成一套限制系統,讓代理的產出預設就值得信任。

Tan 講的是親身經驗:她說自己花了六個月,才走到能送出數千個 pull request 的地步,很多還是「睡夢中」送出的;她也公佈了團隊層級的數字——她個人在前一個月送出 3,000 個 PR,Grokbot 團隊共 11,000 個,十月有 227 位貢獻者,回滾率(revert rate)穩定維持在約 0.5%。讀者應該帶走的是:該把力氣花在哪裡的倒金字塔框架、她徹底根除的具體反模式(React 的 useEffect、命令式計時器、跨執行緒匯入、絕大多數程式碼註解),以及她說如今吃掉大部分 Token 預算的驗證堆疊(功能地圖、自製 CLI、TLA+、Lean、Bombadil)。

控制代理,確定性限制條件勝過文字規則

Tan 的核心框架是一個倒金字塔,用來決定該把力氣投在代理環境的哪一層,排序由最確定性到最不確定性。最底下兩層用的是程式碼本身——良好的 API 設計、架構、重構、lint 規則、型別系統、編譯器、測試——兩者合起來「限制代理能做什麼,並強迫它們預設就做對的事」。再往上是驗證(執行期與形式驗證),負責抓 bug、檢查不變數(invariant),以及確認代理是否真的理解意圖。文字——規則、技能(skill)、agents.md——是最薄的最上層,只保留給需要判斷力的事情。

她的操作原則:每次糾正代理,就把這次糾正轉換成一道確定性檢查,而不是在規則檔裡再加一行,「因為寫程序式碼裡可重現性高得多,也讓你更能信任它。」她認為代理是從輸入產生輸出,而程式碼庫是最大的輸入之一——所以任何還留在原地的變通做法、反模式、已棄用的程式碼或技術債,都很可能被下一個代理照抄,因為它看起來就像既有的慣例。

園藝的比喻撐起了整套論證:以前程式碼是一次來幾個 PR(她回憶 2024 年某個工作日審了三份同事的 PR),現在每位工程師的數量已接近 300 個,而且是「幾乎不間斷的流水」。限制條件與護欄是新程式碼生長所依附的具體地基;雜草與病蟲害則在你察覺之前就蔓延各處。目標是讓程式碼庫保持乾淨,這樣代理永遠只會抄到好東西。

停用需要細膩拿捏的 API,一次消滅整類垃圾

Tan 的團隊打造了 Dune,一個給 Grokbot 用的客戶端框架,她形容它「有點像 Electron 應用程式的 Next.js」——技術上沒什麼特別,但塞滿了限制條件與 lint 規則,把桌面開發學到的教訓都編碼進去。最核心的教訓是:任何需要細膩拿捏才能用好的東西,往往就會產出垃圾。

反模式觀察到的地方根除做法
React 的 useEffect普遍現象;「用 useEffect 得要有博士學位」產品程式碼全面停用;只允許在某些 Dune API 內部使用
主執行緒程式碼被匯入渲染程式Cursor(一個 Electron 應用程式),造成長任務與卡頓設頂層的 electron-renderer 與 electron-main 目錄;兩者之間的匯入由相依圖分析器與 lint 規則禁止
命令式計時器(setTimeout、requestAnimationFrame、requestIdleCallback)Cursor,用來補救 VS Code 命令式風格與 React 宣告式風格之間的架構衝突Grokbot 全面停用;由 lint 規則搭配有幫助的錯誤訊息,強制從根本修起
用註解合理化捷徑Cursor,代理會寫註解解釋為什麼快速修補是合理的Grokbot 停用 99% 的註解

談到計時器,她點出效能代價:快速建立又銷毀的計時器會造成大量垃圾回收,進而產生延遲與卡頓。最糟的是代理會把理由寫進註解,於是「不知不覺間,計時器就蔓延到各處,應用程式效能真的嚴重受損。」註解之所以被禁,是因為它們會過時、人類不會去讀、給了代理一個合理化「不做對的事」的逃生口,而且——這點很關鍵——「它們無法被強制執行。」

回報是審查工作被減法減掉:每一次糾正變成一道確定性檢查,就少一件要看的東西,直到「已經沒什麼好審了」,代理就能自己合併大部分的 PR。

「每次我們糾正代理,都會轉化為其中一道確定性檢查,或者我們會去想怎麼透過更好的 API 設計、更好的架構,從類別上根除那個問題。」

驗證如今吃掉大部分工程預算

Tan 團隊的程式碼審查已經縮減成審查驗證產物——影片、截圖、圖表、形式證明。執行期驗證是基本盤:給代理一個能執行程式碼、並使用跟人類相同除錯工具(例如 Chrome DevTools Protocol)的方法。有兩個機制讓這件事有效率:一是「功能地圖」,本質上就是每個使用者可見功能的網站地圖,讓代理有共通的詞彙,不必去猜「左側邊欄那個東西」;二是把自製 CLI 放進技能裡,讓代理每次都重複使用同一個驅動程式,既省 Token 又保持可測試性。

形式方法與基於性質的方法較新,仍在實驗階段:

  • TLA+:對主要使用者流程做模型檢查,例如跨多裝置、多平臺的的通知。
  • Lean:用來證明演算法——曾用在一套自製的虛擬化函式庫上,檢查閃爍與抖動。
  • Bombadil:一套針對 UI 的基於性質的測試函式庫,她說它已經抓到過 UI bug。

她表示形式驗證「已經找到不少 bug」,但稱它「絕對不是萬靈丹」——是另一層防線,不是替代品。她引用一位名叫 Cindy 的工程師的推文,發於演講前約六個月(大約 2026 年 5 月),內容是關於不敢信任代理,因為有細微的 bug 被合併進去;六個月後,Cindy 說她每天 70% 的 Token 都花在驗證上,Tan 說這跟她自己的經驗相符。Tan 的定調是:這些技術沒有一項是新的——只是在代理壓低成本之前,撰寫與維護它們貴到不可行,而「我們正進入軟體測試與驗證的黃金時代。」她也在自己的外掛 Potato Stack 裡做了一個「狀態圖」技能,從使用者的角度把狀態機視覺化,她覺得搭配影片與截圖一起審查更容易。

回報:每月 11,000 個 PR,回滾率還在下降

Tan 口中的應許之地是有資料的,不是空口宣稱。在 Grokbot 團隊,開發速度「正在起飛、快速攀升」,演講前一個月(大約 2026 年 10 月)送進生產環境的 pull request 達 11,000 個,大約每天推出一個新的穩定版客戶端,十月有 227 人至少貢獻了一個 PR。她個人在前一個月的數量是 3,000 個 PR。

品質方面的反方論點才是有意思的部分:她說被回滾的 PR 數量在相對比例上是下降的,穩定維持在約 0.5%;而且 Grokbot 自上線以來,在多個面向的效能都維持穩定或有所改善——啟動、打字、開啟新對話、切換對話——儘管它仍是個 Electron 應用程式,她也承認這有其天花板。

「這不會變成一團混亂嗎?你知道的,這不會變成一堆垃圾嗎?但實際上,被回滾的 PR 數量在相對比例上反而下降了,穩定維持在約 0.5%。」

內圈乾淨了,才去自動化外圈

她的先後順序建議很直白:在修好內部的寫程式迴圈之前,別蓋軟體工廠,因為「如果你的內圈寫程式迴圈會產出垃圾,那自動化這個迴圈只會產出更多垃圾,你就得往問題裡砸愈來愈多、愈來愈多的 Token。」前提是程式碼庫的整理、靜態分析,以及執行期與形式驗證;這些到位之後,在上面蓋工廠就變得很容易。

Grokbot 的定位是外圈工具——連接器、能觸發 Cursor 雲端代理的例行程式(routine),以及用來排程數百或數千個代理的專案。她的具體例子:每次出新版,Grokbot 就開一個 Cursor 專案,對整個應用程式與建置流程做模糊測試(fuzz),像真實使用者一樣操作應用程式找 bug,每個 bug 開一個修復 PR,然後自動合併。她說這行得通,只因為程式碼庫好到 PR「預設就傾向是好的」,而且多數產品程式碼已不再需要深入的人工審查。

flowchart TD
    A["糾正代理"] --> B["編碼成確定性檢查"]
    B --> C["lint 規則、重新設計 API 或調整架構"]
    C --> D["要審的東西變少"]
    D --> E["代理自行合併 PR"]
    E --> F["外圈:Grokbot 排程 Cursor 代理"]
    F --> G["模糊測試建置、開修復 PR、自動合併"]
    G --> A

論點歸結到信任,而信任是用環境換來的

Tan 自陳的論點是:軟體工程師的工作——「身為軟體工程師的本質」——就是在維持或提升程式碼品質的同時,大幅提高生產力。她拒絕「軟體工廠」這個標籤,偏好更簡單的說法:「一切都在於信任。不是盲目信任,而是投資在代理的環境上,讓你得以信任代理會做對的事。」她對代價也很坦白——花了六個月才走到數千個 PR——同時聲稱其他人會更快達到。

有一個細節值得提醒想照抄這套劇本的人:這些量能數字是單一公司、單一團隊的自述,而回滾率的比較只說「在相對比例上」,沒有給出絕對基準。形式驗證的工作也明確標示為實驗性。最強、最可轉移的主張是機制層面的那些——停用 API、目錄層級的匯入規則、把註解視為無法強制執行的逃生口——因為這些在任何程式碼庫裡測試起來都很便宜;至於 11,000 個 PR 的成果,則取決於一套量身打造的框架(Dune)、一層量身打造的排程層(Grokbot),以及一個花了幾個月把兩者都建起來的團隊。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論