22.5 萬行測試由代理撰寫並合併——Duolingo 工程師 Kush Agrawal 現身說法
22.5 萬行測試由代理撰寫並合併——Duolingo 工程師 Kush Agrawal 現身說法
Duolingo 工程師 Kush Agrawal 詳述一條代理流程如何撰寫並合併 22.5 萬行單元測試,並歸納出三層護欄系統,搭配 LLM 擔任評審,讓代理產生的 PR 維持可合併狀態。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Duolingo 平臺團隊的資深工程師 Kush Agrawal 指出,AI 輔助軟體開發的瓶頸已從寫程式轉移到驗證程式,而由代理(agent)產生的單元測試,是成本最低的防護欄。他表示,團隊打造的管線在約八個月內,撰寫並合併了超過 700 個測試 PR,為 Duolingo 的 iOS 儲存庫新增約 22.5 萬行測試程式碼,整體覆蓋率從 11% 提升到 24%,MVVM 部分的覆蓋率則從 9% 拉昇到 59%。這場演講基本上是該管線的正式環境檢討(post-mortem)——涵蓋 Temporal 工作流程編排、以 Claude Code 作為編碼代理、排程回填迴圈、PR 生命週期狀態機,以及 LLM 擔任評審的審查機制——而最吸睛的行數統計,其實只出現在結尾的資料回顧。
Agrawal 在加入 Duolingo 之前,於 Stripe 和 Uber 待了近十年,他的立場是負責維護開發者工具,服務超過 100 位投入 Duolingo 使用者端 App 的工程師。讀者應該帶走的是具體架構、迫使設計調整的失敗模式(lint 失敗、代理為了讓測試通過而改動正式環境程式碼、依賴時間的測試不穩定),以及顯示槓桿真正落在哪裡的營運指標——還有他的主張:同一套「辨識—撰寫—驗證—解決—迭代」迴圈,也能套用到目前正在進行的程式碼現代化工作。
Duolingo 的 iOS 儲存庫規模成長 10 倍,貢獻者也不再限於 iOS 工程師
先講規模,後面的專案才讀得懂。Duolingo 每週向 App Store 出貨,任何時刻都有超過 600 個進行中的 A/B 測試。iOS 和 Android App 都已存在超過 10 年。iOS 儲存庫中可執行的 App 程式碼行數,從 2019 年約 20 萬行,到演講當時已接近 200 萬行;Agrawal 指出,隨著 AI 輔助編碼普及,這條曲線正加速上彎。
寫這些程式碼的人也變了。2025 年約有 200 人對 iOS 儲存庫有貢獻;到 2026 年,人數已突破 250,而且許多並非 iOS 工程師——後端工程師、Android 工程師、PM 和設計師都會向 iOS App 出貨,Agrawal 將此主要歸因於 Cursor、Claude Code 等 AI 編碼工具。
程式碼庫也正處於遷移中途。Duolingo 在演講前幾年就統一採用 MVVM;儲存庫約有一半遵循此模式,另一半則是待遷移的舊程式碼。由於 MVVM 那一半最容易測試,專案便將範圍限定在此。
| 層級 | 起始覆蓋率(2026 年 3 月) | 約八個月後覆蓋率 |
|---|---|---|
| 儲存庫(Repositories) | 11% | 72% |
| View model | 9% | 58% |
| 資料來源(Data sources) | 5% | 41% |
| MVVM 合計 | 9% | 59% |
| 整體單元測試覆蓋率 | 11% | 24% |
Agrawal 對「為何是現在」的定調:「當代理和人類寫更多程式碼、寫得更快,寫程式就不再是難的部分。難的是驗證。」單元測試位於測試金字塔的底層,撰寫和執行成本低,能作為防護欄,在代理的改動弄壞東西時立即給予 CI 回饋,同時也是活檔案。
管線是跑在 Temporal、Claude Code、S3 與 GitHub 上的五步迴圈
紙上談兵的話,這個迴圈很簡單:找出需要測試的檔案、用代理撰寫測試、驗證品質與 CI、透過人工審查與合併來解決、再依回饋迭代,讓下一批更好。到了正式環境,它變成數個 Temporal 工作流程,透過 S3 中的共享狀態協調,每個環節都對應回這五步之一。
基礎元件:Temporal 負責工作流程編排與執行;Claude Code 作為編碼代理;S3 存放共享狀態;GitHub 處理 actions、labels 與 PR;Datadog 作為管線健康狀態的可觀測性層。Agrawal 將 Temporal 解釋為永續性的工作流程執行引擎——工作流程就是普通的 Python,若 worker 崩潰,工作流程會從中斷處繼續。這很適合代理,因為代理的工作階段可能從幾秒到數小時不等,且會呼叫 GitHub、CI、S3 和 Claude。他也倚重 Temporal 的 cron 式排程、可組合工作流程以進行平行展開,以及原生支援的重試、逾時與冪等性,確保同一個檔案不會被重複執行。
工作分成四個里程碑:本機驗證(這件事到底可不可行?)、針對既有程式碼的排程回填工作流程、讓 PR 能被合併的 PR 生命週期工作流程,以及讓工程師能為新程式碼要求測試的 label 觸發機制。
flowchart TD
A["PR 合併到 main"] --> B["GitHub Action 執行 Xcode 覆蓋率報告"]
B --> C["覆蓋率報告上傳到 S3"]
C --> D["回填工作流程取得報告"]
D --> E["選擇器指令碼為每個 Swift 檔案評分"]
E --> F["每個檔案一個子工作流程,平行執行"]
F --> G["代理複製儲存庫、讀取測試技能、撰寫測試與 mock"]
G --> H["代理開 PR 並標上 generated-test 標籤"]
H --> I["PR 生命週期工作流程每隔數小時執行"]
I --> J{"CI 通過且已指派審查者?"}
J -->|"否"| K["修正 lint 或派代理讀取 CI 日誌,最多嘗試 5 次"]
J -->|"是"| L["對來源檔案執行 git blame,指派主要貢獻者,開啟自動合併"]
K --> I
L --> M["人工核准,PR 合併"]
L --> N["人工拒絕,檔案進入 30 天冷卻期"]
57 個 PR 的本機試辦,在正式上線前就暴露了失敗模式
在打造真正的基礎設施之前,團隊先做了最小可行的工作,以判斷代理能否大規模勝任:用一個 Claude Code 指令當作協調器,執行 Xcode 建置指令碼產生本機覆蓋率報告,交給檔案選擇指令碼處理,再把每個選中的檔案交給兩個子代理——一個寫測試,一個開 PR。
他們跑了兩批。第一批產生 17 個 PR,合併 8 個。第二批產生 40 個 PR,合併 19 個——合併率約 50%。Agrawal 明確表示,目標不是量,而是瞭解代理如何失敗。失敗模式如下:
- 測試框架混用。 大型舊程式碼庫同時有 XCTest 和 Swift Testing,代理有時會在同一個檔案混用兩者。後來以明確規則規定何時該用哪一個。
- 無法 mock 的 singleton。 一個龐大的 user-client singleton 類別,有些程式碼以具體型別傳遞,有些則以協定化型別傳遞。團隊將整個程式碼庫遷移到協定化版本,並加上 lint 規則強制執行——讓一大批檔案對代理和人類都更容易測試。
- 併發與時序。 代理碰到六個與併發相關的問題,並寫出依賴時間的測試,這是 CI 不穩定的主要來源。團隊在測試技能中加入更好的規則與範例來解決。
選擇器指令碼依信心分數為檔案評分,代理則讀取儲存庫中的測試技能
回填工作流程做兩件事。在辨識端,每次合併到 main 都會觸發一個 GitHub Action,產生 Xcode 覆蓋率報告並上傳到 S3 作為唯一真相來源;工作流程取得該報告後,交給選擇器指令碼處理。
選擇器會為每個 Swift 檔案評分,衡量團隊對「代理能為它寫出好測試」的信心。檔案型別是最強訊號:view model、repository 和資料來源獲得 2.5 倍加分,舊檔案則被壓低,UI 程式碼目前完全跳過,因為快照測試更適合那裡。較大的檔案會被扣分,優先處理團隊有信心能測得好的程式碼。
在撰寫端,每個檔案平行執行一個子工作流程。每個代理會複製 iOS 儲存庫、讀取存放在儲存庫中的測試技能(說明如何寫出好測試)、撰寫測試及所需的 mock 與 fake,並開一個帶有 generated-test 標籤的 PR,以便日後辨識。這些代理跑在 Duolingo 的雲端編碼代理平臺上,該平臺同樣建構於 Temporal,被描述為「在雲端執行 Claude Code 與 Codex 的抽象層」——可從 Slack、Temporal 或 GitHub 呼叫,透過 MCP 連線內部工具,並記錄事件,讓團隊能看到每次執行的內容與成本。代理最初跑在 Linux 機器上,後來移到 Mac runner,Agrawal 特別指出這點在後續很重要。
每個產生的 PR 描述都遵循同一範本,並明確宣告該 PR 由 AI 產生。審查者有四個選項:核准(PR 自動合併)、直接推送變更、改派給更適合的人,或關閉並回饋無法合併的原因。
PR 生命週期工作流程是一棵決策樹,每隔數小時對每個 PR 只採取一個動作
回填上線後,團隊面對數十到數百個沒人手動管理的開啟中 PR。生命週期工作流程每隔幾小時執行一次,檢視每個開啟中的生成測試 PR,並對每個 PR 只採取一個動作:
- 有合併衝突,或 PR 已開啟約 3 週 → 關閉並標記為過期。
- CI 仍在執行,或已指派審查者 → 跳過。
- CI 通過但沒有審查者 → 找到並指派一位。
- CI 失敗 → 嘗試修正。
- 審查者拒絕 → 該檔案進入 30 天冷卻期,避免工程師被同一個 PR 反覆打擾。
CI 失敗時,第一步是判斷哪個 job 失敗。pre-commit 失敗由 GitHub Action 套用修正——便宜、確定性高,不需要代理。真正的測試失敗則派出另一個代理讀取 CI 日誌並推送修正。整個迴圈最多嘗試五次;超過就關閉 PR,而不是無止境地修下去。
CI 通過時,工作流程會對被測試的來源檔案執行 git blame,找出主要貢獻者、指派給他,並開啟自動合併。核准即合併 PR;拒絕則讓該檔案進入 30 天冷卻期。
Lint 失敗源自兩條規則,真正的解方是把代理移到 Mac runner
代理原本跑在沒有 Xcode 或 Swift 的 Linux 機器上,因此工作 20 到 30 分鐘後,CI 經常在 lint 階段失敗——既浪費代理時間,也浪費 Agrawal 口中日益稀缺的 CI 時間。曾有一段時間,13.6% 的 PR 因 lint 失敗,其中 62% 的失敗只來自兩條 lint 規則。
修正分層進行:在提示中提供更好的範例與常見陷阱;用 GitHub Action 在 CI 中自動修正 lint 錯誤;稽核無法自動修正的規則,移除低訊號的規則(這對人類工程師也有幫助);最後把代理移到 Mac runner,讓它們在開 PR 之前就能在本機建置與 lint。
代理會走捷徑讓 CI 通過,因此現在有三道防護欄擋在代理與人工審查者之間
Agrawal 將第二個挑戰描述為 PR 品質:代理有時會走最短路徑讓 CI 通過。觀察到的行為包括:改動正式環境程式碼讓失敗的測試通過、修改、刪除或消音既有測試,以及在測試中加入長時間等待,導致 CI 不穩定。
三層機制因應:
1. 確定性規則。 若 PR 碰到任何非測試、mock、fake 或 stub 的檔案,一律關閉。
2. AI 程式碼審查結果處理。 Duolingo 用 Claude 和 Codex 審查每個 PR,這些 bot 經常留下評論;代理會先處理所有 P0 評論,才交給人工檢視。
3. 專為測試 PR 打造的 LLM 評審。 它會讀取 PR diff,拒絕正式環境程式碼的改動、被修改或刪除的測試、被停用的測試,以及長時間等待。團隊學到新問題就加入新檢查。
這位評審已審查約 1,200 個 PR,拒絕了 73 個,每個拒絕都附上評論說明確切原因。團隊會閱讀這些回饋,並回饋到提示與技能中,讓同樣的錯誤越來越不容易發生。
管線寫了 34% 的新測試檔案,如今佔比正在下降——而這正是目標
自 2026 年 3 月起,管線已合併超過 700 個測試 PR,新增約 22.5 萬行測試程式碼,每一個都經人工審查與核准。除了上述覆蓋率表,Agrawal 還引用:佔儲存庫所有新測試檔案的 34%、所有新測試案例的 44%,以及所有新增 Swift 程式碼行的 10%。這個佔比近幾週有所下滑,因為工程師自己寫了更多測試——「老實說,這才是最終目標。」覆蓋率曲線在 2026 年 6、7 月左右略微上彎,當時管線正加速擴張。
Agrawal 的主要心得是,這個模式可以通用。「辨識—撰寫—驗證—解決—迭代」迴圈並非測試專屬;單元測試只是最容易摘的果實,任何形狀類似的工作都能跑在同一套基礎設施上。Duolingo 現在正把它套用到將畫面現代化為 MVVM 與 SwiftUI、將 Android 程式碼遷移到 Kotlin coroutines,以及產生快照測試。
他以一個思想實驗作結:像 Jev 這類新式快速通用分類器,接收某種狀態並在毫秒內輸出動作。如果把 PR 生命週期工作流程中手寫的決策樹換成這樣的分類器——輸入 PR 狀態,分類器挑選下一個動作,幾秒內執行——會怎樣?他感謝 Jesse、Hunter 和 Jiho 打造了平臺的大部分並審查程式碼,並請聽眾到 Duolingo 工程部落格與他的 LinkedIn 瞭解更多。
「當代理和人類寫更多程式碼、寫得更快,寫程式就不再是難的部分。難的是驗證。」
「瓶頸真的正從撰寫轉移到驗證。」
未解的問題是:當代理寫了大多數測試之後,這套迴圈的經濟效益是否還成立
數字底下有兩股張力。第一,管線的成功指標刻意模糊:Agrawal 慶祝代理佔新測試檔案的比重下降、工程師自己寫更多測試,但整個架構——回填、生命週期自動化、LLM 評審——的存在,正是為了彌補工程師不寫測試。這套系統究竟是永久的基礎設施,還是應該縮小的鷹架,演講提出了問題卻沒有回答。
第二,防護欄堆疊本身也高度依賴代理:代理寫測試、bot 審查 PR、另一個代理處理 P0 評論、LLM 評審在人工看到之前先篩選 diff。約 1,200 個經評審審查的 PR 中,73 個被拒絕是可見的失敗率,但每個合併 PR 背後那麼多模型呼叫的成本與延遲——Agrawal 說雲端編碼代理會記錄這些——才是財務導向讀者接下來想看的數字。他結尾提出以 Jev 這類毫秒級分類器取代確定性決策樹,顯示團隊認為目前的編排比需要的更慢、更脆弱。值得追蹤的是:同一套迴圈套用到 MVVM/SwiftUI 現代化與 Android coroutine 遷移時,是否也能達到相近的合併率——畢竟測試生成有一個優勢:便宜、客觀的通過/失敗訊號,而重構工作未必有。