跳到正文
AI Engineer(youtube.com)· Chetas Joshi·· 13 天前品質評分58

我們的資料 PR 已有 60% 在無人審查下直接合併——Robinhood 的 Chetas Joshi

我們的資料 PR 已有 60% 在無人審查下直接合併——Robinhood 的 Chetas Joshi

重點導讀

Robinhood 的 Chetas Joshi 說明一套混合式 PR 審查系統:事實交給指令碼、判斷交給 AI 代理、敏感變更交給人工,讓 60% 的資料 PR 在無人審查下直接合併,手動工作量減少 75%、事故減少 30%。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Robinhood 的資料平臺工程師 Jas 主張,如今 AI 撰寫的 pull request 湧入生產資料管線的速度,已快到人類無法安全審查,而解方是混合式審查者:用確定性指令碼處理可證明的事實、用 AI 代理對程式碼做判斷、由人類負責受保護的決策。這場演講大部分時間都在說明這套三層系統如何運作,並以一個 schema 變更的 PR 全程走一遍,同時談到把人類糾正轉化為新審查規則的回饋迴圈。最受矚目的成果——約 60% 的資料管線 PR 未經人工審查即合併——直到最後幾分鐘才揭曉,同時也坦率列出這套架構目前的缺口。

Jas 負責打造支撐 Robinhood 資料湖的分散式資料擷取與處理框架,而這裡所談的 PR 涵蓋 schema 變更、管執行緒式碼、設定與資料存取授權。以下簡報重建完整的審查者設計、那個逐一展示各層運作的 PR、截至 2026 年 8 月 31 日的指標,以及形塑這些規則的兩個失敗案例——一次誤報升級、一次漏判。

CI 全綠,不代表資料變更安全

核心問題是速度落差。AI 程式助理讓開 PR 變得極其廉價——一個新查詢、一個 schema 變更、一筆存取授權,幾分鐘就能完成——但具備判斷「什麼能安全合併進生產資料管線」所需脈絡的人數並沒有增加。CI 檢查加上人工審查向來能抓到真正的 bug(程式碼壞掉、查詢效率低落、下游中斷、敏感資料外洩),但人工那一半是以人的速度在跑,而且取決於審查者當下剛好掌握多少脈絡:誰會讀這張表、表有多大、資料有多敏感。

Jas 精準點出這個落差:一個 PR 可以通過 CI,卻仍舊打破新鮮度 SLA、弄壞三個團隊之外的下游消費者,或暴露原本不該被觸及的資料。待審佇列就堆在少數掌握脈絡的人面前,問題也正是從那裡開始漏掉。

設計原則是分工,演講中三度以「三種職責、三個負責人」表述:

層級負責人職責對應的失效模式
第 1 層確定性指令碼對照事實來源(schema registry、catalog、lineage 工具、staging 效能測試)證明事實不該讓模型重新發掘的事實
第 2 層AI 代理判斷需要脈絡的部分——讀 diff、PR 描述、commit message 與儲存庫檔案指令碼看不見的風險,尤其是未登記的下游消費者
第 3 層人類負責受保護的決策——敏感授權、改變意圖的遷移、低信心的判定只有人該扛的決策責任

合併需要同時通過一整組檢查並取得核准審查,核准者可以是代理,或在升級後由人擔任。Jas 明確表示,這樣的分工也控制了成本:「我們用 AI 做判斷,不是讓它重新發掘指令碼查得到的事實。」

第 1 層對照即時系統檢查四件事

這些指令碼存在的目的,是回答光看程式碼無法回答的問題。Jas 詳細說明四項檢查,以及它們在範例 PR 上的結果——該 PR 新增一個欄位,並把既有欄位從 integer 加寬為 big integer。

  • 資料契約(data contract)。 遇到 schema 變更時,指令碼會把 schema 與鍵值對照 schema registry。以範例 PR 而言,新欄位確實已在上游登記——通過。
  • 必要標籤。 每張表都必須有負責人,任何 PII 都必須在 catalog 中標註。指令碼直接查詢 catalog;範例表兩者兼具——通過。
  • Lineage 影響範圍。 欄位變更時,指令碼會沿著 lineage 工具記錄中該欄位的每一個下游工作逐一檢查,確認是否有任何一個會壞掉。把 integer 加寬為 big integer 不會弄壞任何已登記的消費者——通過。
  • 效能。 CI 測試會用模擬資料,在 staging 以生產資料量級執行這項變更,確認叢集規模是否足夠,以及該工作是否仍符合新鮮度 SLA。通過。

檢查失敗會讓 CI 變紅並擋下 PR,沒有爭辯空間,也不涉及任何模型。但 Jas 為 lineage 檢查劃出界線:「它對下游的視野,完全等同於那份記錄的完整度,僅此而已。」每一個綠燈結果,都只是對「已登記的影像」做出的陳述,而非全貌。

代理真正的價值,在於找出 lineage 從未記錄的消費者

代理會審查 diff、PR 描述與 commit message——只有一條規則:意圖永遠不能拿來否定發現。「如果描述說很安全、程式碼卻說不是,以程式碼為準。」它的工具僅限於儲存庫:讀取、搜尋、列出整個 repo 的檔案,並順著變更追進管線定義與存取授權。它無法查詢即時 catalog、lineage 工具或生產狀態;即時事實仍屬第 1 層的職責。

它的規則依變更型別設定,撰寫時已考量第 1 層涵蓋的範圍,並針對三大類:查詢反模式(未分割槽的 cross join 可以執行正確,卻仍把叢集操爆)、敏感資料存取(一筆授權看似尋常,卻可能開啟敏感資料)、以及 lineage 之外的下游消費者。

在範例 PR 上,最後一類真的觸發了。代理沿著程式碼走,發現有一個工作從湖表讀取那個被加寬的欄位,而這張表從未登記在 lineage 中——這正是第 1 層看不到它的原因。那個工作會把值寫進另一張表,而該表的這個欄位仍是 integer。一旦出現第一個超出 integer 上限的值,寫入就會失敗。一個合法的 schema 變更,CI 全綠、通過所有已登記的檢查,卻仍弄壞了一個下游工作。

Jas 解釋 lineage 為何會漏掉這類工作:企業資料世界本來就混亂,工作負載跑在不同的查詢引擎上,而每個引擎都必須自行發布 lineage。只要有一個引擎不發布,這段關係就缺失了。沒有任何單一 catalog 能自動看見一切。

代理也被要求對自身限制誠實。程式碼庫之外的資料使用——手動執行的臨時查詢、儀錶板——對儲存庫搜尋而言是不可見的。因此,即使代理什麼都沒找到,它也不能宣稱不存在任何下游消費者;它只能回報「在它搜尋過的地方都沒找到」。「沒找到不等於不存在,代理永遠無權宣稱一切安全。」

它的輸出比照優秀的人工審查:附上推理的行級評論、風險分數,以及一個裁決——沒有重大風險就核准,有風險就升級給人,並把評論與推理一併帶上,讓接手的人直接展開調查,而不是從零開始。

代理永遠不得自行核准的三類變更

多數變更在檢查通過且代理有信心時,可由代理自行放行。但 Jas 點名三種情況,無論代理聽起來多有把握,它的職責都只到「揭露風險與推理」為止:

1. 涉及敏感資料的授權。 誰能觸及敏感資料,每一次都必須由人決定。
2. 改變意圖、而非僅改變機制的遷移。 若變更動到的是資料的意義,而非資料如何搬移或儲存,就由人決定。
3. 低信心的判定。 代理不能只因沒查出什麼具體錯誤,就四捨五入成核準。

在範例 PR 上,代理給了高風險評分並升級處理,完整列出推理鏈。接著人類做了代理做不到的事:確認代理找到的消費者在生產環境中確實存活且活躍,使這成為真實風險而非理論風險。解法關乎順序,而非否決——先更新下游表,讓它的欄位能容納更寬的型別,然後 PR 才合併並部署。零事故。

人類的糾正變成規則,而指標區分兩種錯誤

回饋迴圈目前刻意維持人工。代理的判定與推理留在審查評論中;由人回覆同意或不同意並說明理由。這些回覆每天彙整,每週由值班工程師閱讀並手動更新審查規則。沒有任何東西會自我重訓,也沒有任何規則會自動變更。Jas 提到一個想法,讓事故調查代理協助每週的整理,但表示尚未實作。

兩個實例展示了迴圈的兩個方向。在一次誤報升級的案例中(是另一個 PR,不是那個 schema 變更),來源資料庫中標記為個人資訊的欄位,進入資料湖時已由擷取管線加密,因此該 PR 提議將它標為非敏感。代理因為上游標示為 PII 而提出警示。作者反駁,要求代理去看其他表上類似欄位既有的分類方式,而不是純粹依據上游標記,人類也同意——寫入前即加密,使非敏感標籤對該欄位可被接受。Jas 補上一句提醒:這取決於那條特定管線確實在寫入前加密,並非通則。

在一次漏判案例中,某份資料的開放副本有些欄位即將被重新標記為個人資訊,這會把它們移入限制更嚴的副本,並從開放副本中移除。重新標記看起來沒問題便合併了,但沒有人檢查是否有下游讀取者仍在從舊的開放副本讀取這些欄位。有一個確實還在讀,欄位一消失它就壞了。這成了新規則:當欄位被重新標記為敏感時,搜尋程式碼庫,找出還有誰在從即將失去該欄位的副本讀取它。

Jas 用一個 2x2 的結果矩陣衡量品質:

有問題的 PR沒問題的 PR
核准漏判——危險,變更照樣上線正確
升級正確誤報升級——耗費一個人的時間

截至 2026 年 8 月 31 日,漏判率約 2%,主要來自規則的缺口,而非判斷失誤。Jas 表示沒有乾淨的單一誤報升級數字,但主因是脈絡缺失,例如加密欄位那個案例。他陳述的原則:「一個什麼都升級的關卡或許能避免漏判,但它並沒有減輕審查負擔。」

成果,以及 Jas 坦言他們做錯的架構

截至 2026 年 8 月 31 日的回報成果:

指標結果
未經人工審查即合併的資料管線 PR約 60%
人工審查工作量減少約 75%
節省工程時數每月約 132 小時
與這些 PR 相關的事故下降約 30%
漏判率約 2%

Jas 謹慎說明這代表什麼:「目標是減少審查工作,不是移除責任。」受保護的決策依設計仍會送到人手上。

現行架構有四個公認的缺陷。第 1 層與第 2 層是各自獨立觸發、平行執行的分離系統;彼此都看不到對方的通過/失敗或故障狀態,而第 2 層只知道指令碼被設定涵蓋哪些專案,不知道它們實際執行時發生了什麼。代理無法呼叫第 1 層的即時檢查——它的工具只能讀取、搜尋、列出儲存庫檔案——因此需要即時生產事實的判斷無法取得該事實。而當其中一方無法完成時,系統就等人;沒有自動回退機制。

Jas 強調目前尚未上線的提案方向,是單一入口:由分類器綜觀整個 PR,決定哪些變更分開審、哪些合併審(以整個 PR 為單位決策,而非逐檔獨立路由),並讓代理把第 1 層檢查當成可呼叫的工具,與其儲存庫工具並列,以便在判斷需要即時事即時請求相應的檢查。

能證明的就證明,絕不讓代理放行嚇人的變更,並把誤報升級計入

Jas 以三點作結。第一,只要某件事能對照事實來源證明,就交給指令碼去證明——更乾淨也更便宜,因為指令碼證明的每一項事實,都是永遠不需要 AI 的審查工作。第二,對嚇人的變更只標記、絕不放行:敏感授權、遷移意圖、低信心判定,代理在這些地方只揭露風險與推理。第三,把誤報升級和漏判一樣認真計數,因為一個什麼都升級的關卡,只是把工作挪來挪去。

「能由事實來源證明的一切交給指令碼,需要脈絡與判斷的一切交給代理,只有人才能做的決定交給人。」

未解的張力,正是演講點出卻未解決的那一點:代理的可見範圍受儲存庫所限,lineage 則受各查詢引擎是否願意發布所限。2% 的漏判率被歸因於規則缺口,這意味著系統的安全性只能隨著人類從事故中寫出新規則的速度而提升——一個 Jas 希望能部分自動化、但尚未做到的每週人工迴圈。提案中的統一入口、把第 1 層檢查變成可呼叫工具,是值得追蹤的進展;在它上線之前,這套審查者的盲點是結構性的,而非偶發的。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論