跳到正文
AI Engineer(youtube.com)· Chinmay Gandhi·· 12 天前品質評分58

讓值班工程師擁有專屬的 AI 隊友——Meta 的 Swaapnika Motapothula、Chinmay Gandhi 與 Vlad Tsvang

讓值班工程師擁有專屬的 AI 隊友——Meta 的 Swaapnika Motapothula、Chinmay Gandhi 與 Vlad Tsvang

重點導讀

Meta 工程師 Swaapnika Motapothula、Chinmay Gandhi 與 Vlad Tsvang 主張,為每一輪值班(on-call rotation)配置一位共用的 AI 隊友,依「影子、協作、自主」的階梯運作,讓它自行處理低關鍵度的工作,藉此縮短需要人為決策的佇列。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Meta 事故應變工具團隊的工程師 Chinmay Gandhi、Swaapnika Motapothula 與 Vlad Tsvang 主張:on-call 應該每個輪值配一位共用的 AI 隊友,而不是堆疊一堆單一用途的自動化機器人;而且這位隊友的自主權必須一階一階掙來。這場 15 分鐘的演講大部分時間都花在設計這位隊友上:從影子模式、到需經核准才能動手修復、再到自主處理低嚴重度工作的自主階梯;一套由團隊共有的記憶,讓專業知識能跨班別傳承;以及每一項由代理撰寫的變更都仍須通過的人工審查關卡。至於「AI 現在寫了大約四分之三 Meta 新程式碼」這個定調說法,只在開場簡短帶過。

三位講者負責打造 Meta 事故應變與 on-call 體驗背後的平臺與基礎設施,因此這場演講是實務工作者對「我們上了什麼、還在量什麼」的第一手交代。讀者讀完應該能掌握整套運作模式——自主權如何授予、代理在每一層做什麼、記憶如何維護——並且清楚知道團隊尚未證明的事,尤其是 on-call 工時究竟省下多少。

瓶頸從寫程式碼轉移到在生產環境中操作它

Chinmay Gandhi 開場先立下支撐整個專案的前提:AI 改變了寫程式碼的速度,但 on-call 並沒有跟著變快。據他所述,Meta 目前約有四分之三的新程式碼是藉助 AI 寫成,而且每天都有更多 AI 生成的變更進入生產環境。其中有些變更就跟任何其他變更一樣,會造成生產故障。高品質的程式碼可以通過審查,卻仍在生產環境出包;一旦出包,還是有人在凌晨兩點被叫醒。

團隊的問題很直接:如果 AI 在寫程式碼,那 AI 能不能也幫忙操作它?Gandhi 的答案是肯定的,而整場演講剩下的部分,就是在談如何讓這件事安全到可以放著讓它自己跑。

他用一個簡化的凌晨兩點告警情境說明這個落差:12 個告警同時觸發。以現行流程,工程師得先分類這些告警(結帳、支付、磁碟),挑出結帳,再問 AI 助理為什麼 P99 延遲偏高。這位助理確實有用——它拉出指標、找到 1:49 的一次部署、讀出改了什麼、查了 runbook、發現某個逾時設定被調低,並建議回滾。但問題出在互動的形態:

「它等著被問。每一步都是你挑的。你是問題與答案之間的黏著劑,而它一回答完就進入休眠。」

到了 2:39,工程師已經知道原因,但回滾、變更與後續追蹤仍得自己來。換成另一種版本:一位 AI 隊友在工程師醒來之前就已啟動——它把 12 個告警排出優先順序,將結帳與支付合併為同一個原因,其餘 10 個分開處理,讀了儀錶板,比對出同一筆 1:49 的設定變更,對上兩起過往事故,並產出一個假設、一個 30 秒就能驗證的方法,以及一個待審的修復方案。工程師在 2:11 完成驗證,回去繼續睡。

各自為政的機器人各握一條線索,唯一把它們串起來的是 on-call 本人

Gandhi 對「為什麼既有自動化沒能補上這個落差」的診斷,是整場演講中最值得帶走的概念。每個團隊都是一個孤島、一個孤島地把自動化硬接到 on-call 上:告警用告警指令碼、工單用分流機器人、部署用部署機器人、事故用修復代理。每一個都只解決自己那一塊,各自保留自己的脈絡,然後就忘了。

把凌晨兩點那個告警情境放回這些孤島重演一遍,會發現每一條線索都存在,卻沒有任何東西把它們串起來:

孤島它看到什麼
告警指令碼P99 延遲超過 2 秒
分流機器人三張說結帳很慢的工單
部署機器人1:49 的一次設定變更
事故歷史兩起類似的過往事故

on-call 工程師之所以成為黏著劑,正是因為沒有任何系統握有全貌。Meta 押的是反向做法:每個輪值配一位 AI 隊友,用同一個迴圈串起所有訊號,用同一套團隊記憶在每個班別中學習,讓它有獨立身分、以自身名義行動,再加上一道人工關卡,讓工程師負責核准而不是親自操作。

Gandhi 明白指出,把脈絡與行動範圍集中到單一代理身上會拉高風險,這也是為什麼自主權必須靠表現掙來。底層的隊友刻意設計得很簡單——就是一個模型在迴圈中使用工具,對環境採取行動並讀取回饋。團隊打造的其他一切,都圍繞這個迴圈,讓它可以安全地放著持續執行。

自主權的授予方式,就像新進工程師贏得 on-call 信任

Swaapnika Motapothula 以一套自主階梯來鋪陳設計,藍本是新進工程師如何被帶上 on-call:先是影子,負責調查與建議,但不碰生產環境;再來是搭檔,負責寫修復方案,由另一位工程師核准;然後隨著時間與知識累積,逐步提高獨立性。代理爬的是同一道階梯。

層級代理做什麼什麼會進到生產環境
1 — 影子運用團隊記憶與 runbook 調查,分享根因分析不會有任何東西;由人來套用修復
2 — 搭檔寫出修復方案,附上根因與測試計畫,回覆審查意見,修好 CI僅在人工核准之後
3 — 自主自行清掉嚴重度較低的工作;高嚴重度工作仍由人負責例行修復,走正常審查與 CI

升遷的判準是兩個問題:出錯的代價有多高?出錯有多容易被抓到?唯有當錯誤代價低、能被測試、CI 或審查攔下,而且代理在該項動作上已有實績,這項動作才能往上升一階。這就是為什麼代理可以自行關掉一個吵雜的告警,但生產環境的緩解措施仍得等人。

Motapothula 坦言,第 1、2 級對減輕人的工作量幫助不大:「代理把功課做完了,但每一份你還是得親自批改。」協助品質變好了,但需要人投入的任務並沒有變少。真正讓工作量縮小的是第 3 級——在她的例子裡,進來 23 項,只有三項需要工程師。代理處理長尾(吵雜的告警、重複項、走正常審查與 CI 的例行修復),另有兩項進行中,中間則是一個小得多的決策佇列,每一項都說明它需要什麼,並附上一鍵式的下一步動作。凌晨兩點的結帳告警仍歸人所有:代理帶來調查,關鍵決策由人負責。

這位隊友住在聊天室裡,每天早上 9 點發摘要,而不是掛在儀錶板上

沒有人會一直盯著看板,所以這位代理橫跨聊天與原生事故介面提供服務。每天早上 9 點它會發一份摘要——以 Motapothula 的例子,進來 23 項,三項需要工程師,18 項已處理。需要人處理的專案都附上一鍵式的下一步,例如直接從手機核准調高配額。已處理的 18 項以摘要呈現而非逐條列出,仍在進行中的兩項則說明代理正在怎麼處理。需要留意的緊急問題也會在聊天中通知,附上調查發現與修復草稿,代理並在交接時標註下一位 on-call。

事故討論串最能體現「隊友」的感覺。工程師開啟結帳事故、要求看證據;代理早就備好了——錯誤從 8:41 開始,就在一次設定推送把支付客戶端逾時調低的兩分鐘後,與兩起過往事故是同一個模式。追問一句「只有歐洲嗎?」馬上得到分割槽拆解。代理起草回滾,工程師在討論串裡核准,錯誤開始回穩。Motapothula 的重點是:「你從頭到尾沒開過儀錶板,也從來不必解釋脈絡,因為脈絡本來就在那裡。」

三項自動化維持系統健康,並在班別之間交接

在底層,Motapothula 說明三項維持隊友運作的自動化。

第一項調查每一個新訊號:自動分流會分類、判定嚴重度並轉送——告警送給事故調查員,任務送給團隊自己的代理,測試失敗送給寫程式的代理,查詢則送給記憶與程式碼搜尋。

第二項維持系統健康,前提是無人看管的自動化會無聲無息地壞掉。它按排程檢查卡住或失敗的執行、重試並修復中斷的排程,只有在問題自己修不了時才呼叫真人。「不會有任何東西默默卡住。」

第三項在每次班別交接與每天早上 9 點進行交接,摘要哪些事需要工程師、修復已備妥,以及哪些是它自己處理掉的,發到團隊聊天室。

關鍵在於,這位代理是通用的,而且屬於團隊:它執行的是團隊原本就信任的代理與技能。一個已經有代理載入自家 runbook 與知識庫的團隊,可以把它接在 Meta 自家的事故調查員與深入除錯的寫程式工作階段旁邊一起運作。工作從告警、工單、事故、團隊貼文與聊天進來。讓代理在某個輪值中表現出色的,是團隊的代理、技能、記憶與 playbook——而且每一次執行都有紀錄,團隊任何人都能檢視執行軌跡或接續對話。

每個輪值一位隊友,記憶則必須自己掙得一席之地

Vlad Tsvang 解釋為什麼代理屬於團隊而不是屬於個人:on-call 本身就不屬於任何單一個人。同一個看板上每個輪值有一位隊友,誰值班誰就能問它、糾正它,或在調查進行到一半時接手它的工作。它把團隊的 on-call 專業知識——playbook、告警設定檔與過往決策——從一個班別帶到下一個班別。

他的例子:週一凌晨兩點,Sam 值班,告訴代理「記住,如果結帳在設定推送後逾時,先回滾設定」。它把這件事存進記憶。三天後 Jordan 值班,遇到同一個告警,要求修復;代理給出修復方案、說明來源,並已備好回滾草稿。教一次,下一位 on-call 就得到。代理有獨立身分,由輪值所有,許可權僅限團隊願意授予的範圍。

記憶會隨時間衰減,所以 Tsvang 說他們的記憶必須自己掙得一席之地。它以語意檢索、使用找到的內容、為真正有幫助的專案評分,並自動升級或淘汰條目。當有人指出某條記憶有誤,它會重新開啟該專案,而修正本身也成為記憶。設計目標是第 30 個班別比第 1 個班別更好,就像新進 on-call 工程師一週比一週進步。

Tsvang 把這套做法能推廣到他自己團隊之外,歸功於三件事:一個永不停歇的迴圈,每一則回饋或路線修正都會重新開啟該專案,最終被吸收進記憶;以客製化取代分支,團隊在同一套底層隊友上帶入自己的 playbook 與技能工作流程;以及「一個輪值就能收尾」——身分、設定與記憶都以團隊為單位,所以新增一個輪值只是做設定,不是開新專案。

負擔變輕了,但團隊還沒給出數字

Tsvang 描述值班人員身上的三項改變。他們的工作從主導深入調查,轉為做關鍵決策,起點是一個附有佐證的假設,而不是空白任務或儀錶板。負擔正在減輕——對自主執行代理的團隊而言,on-call 負荷下降的早期跡象相當樂觀,但他說團隊想先嚴謹量測,再給出數字。而且代理寫的每一項變更仍會遇到人:修復只能透過正常審查與持續整合落地,大多數草稿並不會過關。「重點就在這裡。審查就是濾網。」on-call 不再是一疊待辦任務,而是一個審查佇列。

接下來宣示的下一步有三項。第一,讓緩解措施從「只是起草」變成「能被核准」:每一項提出的緩解措施都會被評分,結果回饋給代理,讓它是靠表現掙到下一階,而不是被直接授予。第二,用聊天寫技能,讓團隊不必寫程式就能把 runbook 變成技能。第三,嚴謹研究 on-call 省下的工時,而不是隻看使用次數。階梯的下一階,是靠證據掙得中嚴重度的自主權。

尚未化解的張力,存在於企圖心與證據之間。這場演講最強的主張——每個輪值一位隊友、自主權靠實績掙得、會自我維護的記憶——都是架構層面的,而且已經在真實輪值中全天候執行;但對財務或營運主管最重要的成果,也就是回收多少 on-call 工時,被明確推遲到未來的研究。升遷判準也仍是質性的(「出錯代價多高、多容易被抓到」),而非公佈出來的門檻,而能讓它們變成量化的評分迴圈,也還在路線圖上。值得留意那份研究與中嚴重度那一階;兩者都會把一套設計良好的運作模式,變成一套經過實測的運作模式。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論