跳到正文
aihot(aihot.news)· noreply@aihot.news (Runway:News)·· 3 天前精選品質評分87

Runway 分享如何讓 AI 助理接手軟體交付流程

Runway 詳解如何構建AI 助理驅動的軟體工廠

重點導讀

AI 助理寫的程式變多後,工程師花在審查和測試上的時間也跟著增加。

  • Runway 說明他們如何逐步讓 AI 助理處理程式檢查、審查、部分核准、產品測試和故障修復,再由協調器安排任務與合併順序。
  • 高風險改動和特定重要區域仍交由人核准。Runway 表示,10 月合併的程式改動中有 38% 由雲端 AI 助理協助完成,首次核准的等待時間也從 2 小時以上降到約 5 分鐘。工程師則轉而設定規則、處理卡住的工作,並決定要打造什麼。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Runway 逐步交代 AI 助理接手寫程式、審查、測試與故障處理的做法,可用來理解自動化如何改變軟體交付流程。

正文

Runway:News·2026-11-20 00:00· 1 天前精選AI 評分77

Building a Software Factory

AI 導讀

Runway 介紹了逐步把軟體交付各環節交給AI 助理完成的實踐。AI 助理 10 月驅動了 38% 的合併 PR(6 月僅 0.1%),首次批准等待中位數從超過 2 小時降至約 5 分鐘;AI 單獨批准的 PR 回滾率約千分之一,低於人工批准的約 1/200。

推薦理由

Runway 逐站交代了讓AI 助理接管軟體交付各環節的做法與驗收標準,讀者可對照借鑑這套可遷移的工程方法。

工程

AI 讓寫程式碼變快了,但程式碼審查卻成了工程師們的瓶頸。下面是我們如何一步步把交付流水線交給AI 助理,以及資料說明了什麼。

2026 年 11 月 20 日

作者:Alejandro Alvarez,技術員工

目錄

每個月,AI 助理編寫的程式碼佔比都在上升,拉取請求審查的佇列也隨之變長。審查機器人能發現問題,但每發現一個問題,改動就要退回再走一輪審查,最終拉取請求還是得等人來批准。

今年夏天,在我們核心 API 倉庫中,花在AI 助理編寫程式碼上的人工審查佔比增長了兩倍多,達到約五分之一,等待人工批准的拉取請求數量也翻了一番。

Anthropic 工程師 Felix Rieseberg 的“How to be more ambitious”啟發了我們向前看。我們沒有要求AI 助理寫出更好的改動,而是測試它們能否接管軟體交付的每個階段,並且在看結果之前就先定好每個交接環節的評判標準。OpenAI 也描述過在一個從空倉庫起步的產品上發生的類似轉變。

10 月我們合併的拉取請求中,有 38% 由雲端AI 助理驅動,而 6 月這一比例僅為 0.1%。9 月到 11 月中旬,首次批准的中位等待時間從兩個多小時降到約五分鐘,每週合併的拉取請求數量也翻了一倍多。由AI 助理批准的改動,被回滾的頻率並不比人工批准的更高。

我們的起點

每一步都需要工程師

  1. 1編寫
  2. 2通過 CI
  3. 3審查
  4. 4批准
  5. 5QA
  6. 6修復故障
  7. 7運營產線

從接到任務到上線,中間有七道工序。審查是指閱讀改動並提出修改要求;批准則是放行合併的簽字。AI 助理已經在幫忙做第一道工序;下面每一步都會把下一道工序交給它們。

年初的時候,工程師挑一個任務,提示AI 助理把它寫出來並開一個拉取請求,然後等 CI 跑完,再把問題交回給AI 助理。接著他們得找一位同事來審查。改動一旦合併,主幹可能會掛掉,誰先發現誰就得找出原因,要麼向前修復,要麼回滾。QA 也是手工做的。這些步驟之間的每一次交接都是人的工作,所以AI 助理寫的改動越多,轉給工程師的活就越多。

AI 助理幹活,人在旁邊看著。 工程師陪著每一處改動走完每一站,並在 QA 環節手工測試。審查是最慢的一站:工程師得找一位同事,把對方從自己的工作中拉過來,而拉取請求還在門口越堆越多。

第 1 步 · 編寫並通過 CI

讓AI 助理把 CI 跑綠

  1. 1編寫
  2. 2通過 CI
  3. 3審查
  4. 4批准
  5. 5QA
  6. 6修復問題
  7. 7跑通流水線

問題所在:讓AI 助理來寫改動,也許能省下我們一個小時的敲程式碼時間,但隨之而來的是整整一個下午的收尾工作:修不穩定的測試、處理 lint 報錯、解決合併衝突、回應評審意見。

我們做了什麼:一個內部服務,在雲端執行編碼AI 助理,並一路跟進每個拉取請求,直到它全部通過。你給它一個任務、批准它的計劃,之後AI 助理就會寫出改動、發起拉取請求、重跑 CI、修復測試、回覆評審意見並完成變基。

我們如何確認它有效:到第三個月,這個服務已經處理了我們 38% 的拉取請求,而且我們的AI 助理也幾乎不需要人工介入。在 11 月上半月合併的 100 個AI 助理拉取請求樣本中,有 78 個沒有任何人工提交。

每月合併的AI 助理驅動拉取請求數

2026 年。虛線:11 月,為預測值

每月合併的AI 助理驅動拉取請求數:6 月 2 個,7 月 164 個,8 月 268 個,9 月 592 個,10 月 3,130 個,11 月截至目前 1,912 個,全月預計約 3,200 個。

從 6 月的兩個拉取請求,到每月超過 3,000 個。覆蓋七個程式碼倉庫。11 月資料按當月至今的日均值推算。10 月AI 助理驅動的合併佔全部合併的 38%,11 月至今為 30%。這只是一個下限:我們只統計能明確歸因於AI 助理的拉取請求。
同一條路,不用人再走一遍。人只需把任務交給AI 助理一次,AI 助理就會自己把它推進到一個全部通過的拉取請求。交接計數在評審之前一直保持為零,到了評審環節,改動才等待人來處理。

瓶頸轉移到了哪裡

AI 助理產出可供評審的拉取請求的速度,超過了人們閱讀它們的速度,於是評審成了下一個需要交接的環節。

第 2 步 · 評審

讓AI 助理來評審

  1. ✓編寫
  2. ✓通過 CI
  3. 3評審
  4. 4批准
  5. 5QA
  6. 6修復問題
  7. 7跑通流水線

問題所在:我們的第三方評審機器人缺乏上下文,工程師們於是學會了快速略過它,仍然自己閱讀每一處改動。

我們做了什麼:一個 AI 評審器,它擁有與編寫程式碼的AI 助理相同的上下文,包括計劃、diff 以及周圍的程式碼。通常作者也是另一個AI 助理,因此改動會在編碼AI 助理和 AI 評審器之間來回往返,直到乾淨為止。

我們如何確認它有效:在我們的核心 API 倉庫中,11 月上半月 AI 評審器發起的評論執行緒有 93% 被解決或促成了程式碼改動,高於 9 月的 84%。9 月下旬的一次重建把每次評審的成本降到了約三分之一,同時每週評審量還在上升。

評審會回到程式碼環節。AI 評審器會把有問題的改動退回給編碼AI 助理,直到它們通過為止。乾淨的改動仍會排隊等待人工批准。

每週評審的拉取請求數

所有啟用 AI 評審的倉庫

每週評審的拉取請求數從 8 月 10 日當週的 234 個上升到 11 月 9 日當週的 3,177 個。

核心 API 倉庫的每次評審成本

指數,9 月 7 日至 21 日平均值為 100

每次評審成本指數在 9 月 21 日之前保持在 60 到 110 之間,從 9 月 28 日起降至 25 到 37 之間。

是八月每週評審量的十倍以上,而每次成本只有約三分之一。按周統計,8月10日至11月9日。數量包含十月啟用的兩個程式碼倉庫。9月28日那一週成本下降,是因為換上了重建後的評審器。

瓶頸轉移到了哪裡

AI 評審後的拉取請求已經可以合併,卻仍要等上幾個小時才有人點下批准。

第 3 步 · 批准

讓AI 助理來批准

  1. ✓編寫
  2. ✓通過 CI
  3. ✓評審
  4. 4批准
  5. 5質量檢查
  6. 6修復故障
  7. 7跑通流水線

問題所在:讓 AI 評審器直接批准能清空佇列,但這意味著程式碼會在沒人讀過的情況下合併。邁出這一步之前,我們需要證明 AI 的批准與工程師的判斷一致。

我們做了什麼:基於風險的批准機制。由一個獨立的AI 助理給每個拉取請求評定低、中、高風險,拿不準時就往高裡評,評級決定誰能批准它。起初,我們讓 AI 自行批准低風險改動,以及在倉庫允許的情況下批准中風險改動。高風險改動交給人工,資料庫遷移、金鑰和身份認證等程式碼庫的關鍵區域仍須由程式碼所有者簽字確認。

我們一開始讓評審器與人工並行批准,並統計人工提出異議的頻率。十月中旬,我們允許僅憑 AI 批准就合併拉取請求。九月到十月間,它批准的 977 個拉取請求中只有 15 個被人提出異議,約佔 1.5%,這一日期前後的比例基本持平。

低風險

AI 批准僅憑它的批准即可合併。

中風險

AI 批准以倉庫設定的上限為準,特定路徑可以調低。

倉庫上限:預設中風險

高風險

人工批准需經過一輪更深入的核驗。

任意風險

始終由所有者批准資料庫遷移、CI 與部署配置、金鑰、身份認證。

誰來批准拉取請求。虛線以下,AI 批准即可合併。
風險決定誰來批准。低風險憑 AI 批准即可通過,中風險在倉庫允許後也加入這一行列,高風險則把分支交給人工。

我們如何確認它有效:首次批准的中位等待時間從九月的兩個多小時降到十一月中旬的約五分鐘;在我們核心 API 倉庫中,AI 評審的合併約有七成僅憑它的批准就完成了。十月到十一月間所有僅憑 AI 批准合併的拉取請求中,只有千分之一被回滾,而人工批准的約為兩百分之一。考慮到 AI 批准的大多是較不容易被回滾的低風險改動,我們按風險等級做了對比,發現 AI 批准的表現與人工相當。

僅憑 AI 批准完成的已評審合併

核心 API 倉庫中僅憑 AI 批准完成的已評審合併佔比,每兩週統計:10月5日至18日,35%;10月19日至11月1日,70%;11月2日至15日,74%;11月16日至18日至今,78%。

5 分鐘

批准的中位等待時間

原為 2.3 小時

78%

一小時內獲批

原為 43%

11 小時

最慢的十分之一等待

原為 79 小時

0.10%

回滾率

僅 AI 批准,十月至十一月

前後對比:審批等待時間下降了。每週統計,10 月 5 日至 11 月 9 日。等待時間指從“待稽核”到任意稽核人首次批准,9 月與 11 月 9 日當週對比。

瓶頸轉移到了哪裡

在我們的核心 API 倉庫中,從待稽核到合併的中位時間從約 11 小時降到不足 2 小時,但人們仍在手動測試產品。

第 4 步 · QA

讓AI 助理跑 QA

  1. ✓編寫
  2. ✓通過 CI
  3. ✓稽核
  4. ✓批准
  5. 5QA
  6. 6修復故障
  7. 7執行產線

問題:我們釋出了一款名為 App Studio 的新產品,光靠單元測試不足以建立信心。我們需要一個能像真人一樣使用它的東西,註冊並測試所有功能和改動。

我們構建了什麼:一個像使用者一樣測試產品的 QA 迴圈。AI 助理並行驅動瀏覽器操作線上產品,標記出任何執行不符合預期的功能。在報告 bug 之前,AI 助理會先排除自身環境的問題,並定位導致問題的程式碼。確認的 bug 會變成AI 助理的修復任務,迴圈隨後重跑該場景進行驗證。

我們如何確認它有效:在最初四天裡,QA 迴圈發現了 86 個已確認的 bug,AI 助理全部修復。自 11 月初起,每個合併的改動都必須先在自己的預覽環境上通過驗證執行。

86

發現的 bug

在迴圈執行的前四天

74

在這四天內修復

67 個經重跑驗證

68 / 71

編寫的修復 PR

完全由AI 助理完成

4.6 小時

修復中位時間

從首次發現到合併

QA 迴圈的前四天。僅統計迴圈自身發現的 bug。修復時間計算到合併,而非上線。

瓶頸轉移到了哪裡

更多改動落地意味著更多破壞主分支的機會,而工程師仍需找出故障、定位根因並撤銷它。

第 5 步 · 修復故障

讓AI 助理盯住主分支

  1. ✓編寫
  2. ✓通過 CI
  3. ✓稽核
  4. ✓批准
  5. ✓QA
  6. 6修復故障
  7. 7執行產線

問題:在這樣的體量下,我們沒法等人來發現或報告問題。主程式碼庫每壞一小時,就會有更多改動堆在故障之上。

我們構建了什麼:當告警觸發時,AI 助理會按一組步驟處理:重試檢查、診斷故障、應用已知修復(如果有),若都不奏效則呼叫人工。一個協調器(下文會進一步說明)負責執行這些步驟,並在主分支恢復綠色之前暫緩自己的合併。每次釋出後,釋出系統會監控生產環境,一旦健康檢查失敗就自動回滾該次釋出。

我們如何確認它有效:在最初兩週裡,它處理了約 140 條告警。除一條外,其餘都在協調器無需呼叫任何人的情況下修復,從紅燈到綠燈的中位時間為 23 分鐘。自動回滾已在生產環境中觸發過。

瓶頸轉移到了哪裡

現在每個工位都有AI 助理,但工程師仍需決定每個AI 助理做什麼、按什麼順序做。

第 6 步 · 執行產線

讓AI 助理運營整座工廠

  1. ✓編寫
  2. ✓通過 CI
  3. ✓稽核
  4. ✓批准
  5. ✓QA
  6. ✓修復故障
  7. 7執行產線

問題所在:工程師原本是產線的協調者,負責啟動AI 助理、安排合併順序,還要盯著那些卡住的執行。

我們構建了什麼:一個負責運轉軟體工廠的協調器。它讀取問題跟蹤系統,把工作分派給AI 助理,並安排合併順序。當我們的規則要求由人決定,或某一步卡住時,它會請人介入。

協調器負責運轉產線。工作來自人們寫的規格說明和告警,經過與以往相同的步驟,最終產出已釋出的變更。當策略規定需要由人決定時,變更會轉出到人那裡,然後再回來。

我們如何確認它有效:我們建立對協調器的信任,方式和當初建立對 AI 審批的信任一樣。最初它以只讀方式執行,只記錄自己的決策。上線前,在短時間的測試執行中,由人逐一評判它提出的每個操作。協調器上線後的頭兩週,它分派了超過 14,000 個AI 助理任務,從診斷、規劃到審查和修復,最終產生了約 1,900 個拉取請求。

  • Read-only shadow mode before any writes

    如果沒有它:只讀執行中發現的那個 bug 會進入線上,並重跑已經完成的工作。

  • Gates re-checked at the exact commit being merged

    如果沒有它:一個拉取請求在檢查未通過後被強行合併,而且審查者簽字後AI 助理仍在繼續推送提交。

  • External actions safe to repeat

    如果沒有它:AI 助理會爭搶同一個任務,互相取消對方的副本,有幾次導致沒有任何一個在執行。

  • People step in by policy, not by accident

    如果沒有它:我們早先的合併工具曾三次因為一個提示詞卡在某個人的鍵盤前而停滯,並阻塞了所有合併,其中一次超過一小時。

  • Rollback in one call

    如果沒有它:釋出列車因一個嘈雜的錯誤訊號把所有生產池上的某個釋出撤了下來,而撤銷一次不想要的回滾需要不止一步。

安全護欄。每一條都對應我們在早先工具或協調器自身測試中遇到的一次故障。

瓶頸轉移到了哪裡

在規則允許的地方,產線已能自行運轉,如今更多的等待發生在上游:決定要構建什麼,以及回答AI 助理的問題。

產線現狀

各站點當前進展

這條產線在 App Studio 背後的程式碼庫中推進得最遠。十月和十一月在那裡合併的拉取請求幾乎全部由AI 助理編寫,十月約有七成由我們的AI 助理服務驅動。

到十月下旬,我們主要倉庫每週合併的拉取請求數量約為九月的 2.5 倍。首次批准的中位等待時間從兩個多小時降到約五分鐘。

每週合併的拉取請求數

六個倉庫每週合併的拉取請求數(三週移動平均),從九月初約 700 升至十一月中旬約 2,100。

首次批准的中位等待時間

核心 API 倉庫首次批准的中位等待時間(三週移動中位數),從九月初的 3.7 小時降至十一月的 5 分鐘。

合併量翻了一倍多,等待時間卻降到幾分鐘。三週移動平均,8 月 31 日至 11 月 9 日:統計兩個時期都存在的六個倉庫的合併量,以及核心 API 倉庫的等待時間。九月每週平均合併 929 次,十月中旬以來為 2,235 次,高出 2.4 倍。等待時間統計任何批准者,包括九月下旬試執行期間 AI 審查者的批准,當時這些批准還不計入合併。
站點之前現在
讓改動通過檢查工程師手動完成AI 助理負責 30% 到 40% 的合併
評審每個拉取請求都由人評審,核心 API 倉庫每週約 200 個每個拉取請求都由 AI 評審,核心 API 倉庫每週約 1,000 個,六個倉庫合計每週 3,000 個。高風險請求仍由人批准
批准拉取請求等待首次批准的中位時間為 2.3 小時中位等待時間約五分鐘;約七成經評審的合併僅憑 AI 批准即可通過
測試產品人工手動點選操作AI 助理像使用者一樣測試,從發現問題到修復合併的中位時間為 4.6 小時
合併之後有人注意到告警或被呼叫AI 助理在數秒內響應所有告警,必要時回滾生產環境
協調工程師協調器上線頭兩週,處理了 14,000 多個AI 助理任務,開啟約 1,900 個拉取請求,下達 442 次合併指令
各環節改造前後對比。

新的工作

工程師的角色

現在工程師閱讀的程式碼差異只佔一小部分。他們決定要做什麼,回答AI 助理關於架構的問題,制定上線規則,並處理AI 助理卡住的地方。最後這項工作分為四部分:

  • 找出AI 助理白費力氣的地方:我們查詢執行卡住的情況,以及程式碼庫中AI 助理的改動反覆需要返工的部分。
  • 清除障礙:我們最大的收穫很多來自訪問許可權和基礎設施的修復。如果AI 助理連不上測試環境、拿不到憑據或無法預覽部署,後面的一切都會卡住。
  • 讓路徑對AI 助理友好:我們整理程式碼庫,讓AI 助理能找到路;針對已經見過的失敗編寫操作手冊;建立更好的模式和核心繫統,讓AI 助理能安全使用。
  • 讓指標保持誠實:在看結果之前,我們先確定每個環節的評判標準。
在“工廠”上工作。AI 助理把每個改動從一個環節送到下一個環節。工程師則在環節之間的道路上幹活:鋪平坑窪路段,清除障礙,並加上檢查來攔住漏過去的問題。隨著他們這樣做,已交付數量會不斷攀升。

為了找出AI 助理白費力氣的地方,我們做了一個工具,根據 AI 助理在每個拉取請求上的記錄來衡量摩擦,包括實現改動花了多久、評審者發現多少問題、問題有多嚴重、AI 助理修復後問題是否復發,以及改動要多久才能乾淨通過。它把程式碼庫的每個區域與同等規模拉取請求的典型情況作比較,並把結果畫成地圖,讓AI 助理最吃力的區域一目瞭然。

按摩擦程度繪製程式碼庫地圖

每個區域、資料夾和檔案都按AI 助理的改動在那裡耗費的評審精力著色。熱點區域會得到針對性修復。

示意圖:程式碼庫畫成一棵樹,從區域到資料夾再到檔案,每個節點按評審摩擦著色。大多數分支顏色很淺。三個熱點顏色深,並標有編號。

  1. Cleanup

    AI 助理反覆重新實現一個已經存在的輔助函式。複用它,刪掉多餘的副本,並在 CI 中加入複用檢查。

  2. Documentation

    評審反覆指出同一個約定問題。把它寫下來,放在AI 助理開始工作前能看到的地方。

  3. Guardrail

    每次修復之後,同一個競態條件都會再次出現。用測試把它固定住,讓它無法再回來。

示意圖。 這張圖是自動繪製的,每個區域都會與同等規模的典型拉取請求進行對比。它為我們指出,在哪裡做清理、補文件或加護欄能帶來最大收益,並且每次修復都會被跟蹤,以確認摩擦是否持續下降。

地圖上的每個區域都附帶一份AI 助理可以直接執行的簡報:證據、可能的原因、範圍有限的改動,以及一個能確保問題不再復發的測試。在我們的第一次清理中,某個內部服務裡的 23 個拉取請求複用了現有的輔助函式、刪除了死程式碼,並在 CI 中加入了複用檢查,結果它們所觸及檔案中的重複程式碼行數下降了 16%。

下一步

軟體交付的自動化會把瓶頸前移,轉移到最初決定要構建什麼上。我們的長期目標是打造一個系統:輸入對結果的描述,它就能把結果交付出去,並在需要人類判斷的既定節點上引入人工參與。

如果你想參與打造下一座工廠,我們正在招人。

來源:Runway:News · runwayml.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論