跳到正文
AI Engineer(youtube.com)· Girish Konda·· 12 天前品質評分58

你的子代理就是一套分散式系統,就該這樣對待它——微軟 Girish Konda

你的子代理就是一套分散式系統,就該這樣對待它——微軟 Girish Konda

重點導讀

微軟的 Girish Konda 主張,子代理(sub-agent)的編排本質上是分散式系統問題,並提出 SAFE 交接模型——來源紀錄(provenance)、冪等性(idempotency)、柵欄權杖(fencing token)與扇出預算(fanout budget)——用來控制部分失敗與髒讀。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

微軟首席軟體工程師 Girish Konda 專注於打造開源 AI 代理工具。他主張,多代理架構本質上就是分散式系統,而分散式運算的經典失效模式——部分失效、髒讀、無界扇出、非冪等重試——正是讓子代理管線出錯的元兇。整場演講大半在逐一拆解這四種失效模式,並提出他稱為「安全交接」(safe handoff)的五部分一致性模型(來源餵送、至多一次副作用、扇出預算、明確結果),立論基礎是他自己開發的 MCP Peacemaker 橋接器,以及 1978 到 1996 年間多篇具名的分散式系統論文。標題下得名副其實:分散式系統這個框架撐起了整集內容。

Konda 之所以有資格提出這套論點,是因為他實際維運 MCP Peacemaker——一個負責讓 MCP 伺服器持續運作的受監控橋接器。他在生產環境中踩過其中好幾種 bug,並把修法記錄下來。讀者讀完應該能帶走一份具體清單,用來強化任何「協調器對子代理」的交接流程,同時也清楚看見這套模型解不了什麼——它不會讓事實變成真的、不提供恰好一次送達、也不會回滾任何東西。

每一次子代理交接,都該當成可能中途失敗的網路呼叫

Konda 開場的架構圖是整場的骨幹範例:一個協調器把任務拆給三個並行運作的子代理,它們讀取共享狀態(對話、記憶檔案、程式碼庫、工作目錄、issue、向量資料庫),並對真實系統發出工具呼叫——資料庫、API、CI 工具、部署管線——再由協調器把結果合併成單一答案。用他的話說,這就是「一個典型的分散式系統」。問題在於介面本身沒把這件事說出來:「你拿到的只是一個吃字串、吐字串的函式。」

他把觀察到的四種失效對應到分散式系統的專有名詞:

代理症狀分散式系統概念為什麼會出事
子代理中途失敗,卻回傳看起來像成功的文字部分失效協調器分不清真成功與流暢的半套答案
每個 worker 都讀同一份共享脈絡,連其他 worker 的猜測也照讀髒讀沒有隔離;一個猜測在下游變成事實
下游已經用 429/503 回推,協調器還一直開新 worker無界扇出協調器看不到背壓
重試時把整個任務重跑一遍,連副作用也重做非冪等重試重複寫入(例如多開一個 PR)

其中最危險的是他所說的「熱案例」,他把它連結到拜占庭將軍問題:某個元件回答了,但答案是錯的。一個做了一半的子代理「不會當掉,它會流暢地回答」。他用前一次演講的例子說明——同一則告警有三條不同路徑都得出「無害」的結論:一條真的去拉了遙測資料、比對過非無害清單;一條只是比對到自己以前看過的標題;還有一條什麼都沒做。三者都以同樣的信心回報無害。「協調器讀得到結論,讀不到背後做了多少工。」

逾時只是懷疑,不是判決——記成未知

在「沒有回應」這個情境裡,Konda 對工具極限的說明最具體。呼叫逾時的時候,有三種世界長得一模一樣:子代理還在跑、它當掉了而回覆遺失、它撞到硬性上限。他引用 1985 年的 FLP 結論——在非同步系統中,只要有一個行程出錯,共識就可能無法完成——再對照 Chandra 與 Toueg 1996 年的答案:故障偵測器本身可能判斷錯誤,「它們只是懷疑,並不知道。」

他在 MCP Peacemaker 裡兩個方向都踩過:
- 某個伺服器第一次啟動時要下載自己,結果超過 30 秒的呼叫逾時,看起來像壞了。其實它只是慢,不是死了。修法:讓 initialize 有獨立的逾時。
- 某個伺服器在呼叫中途當掉,呼叫隨後逾時,而這個逾時蓋掉了原本能解釋當機原因的結束碼。修法:只有在行程還活著時才記錄逾時,讓真正的原因留得下來。

他的原則是:「逾時是一種懷疑。記成未知,並保留真正的原因。」協定裡其實早有位置可放——A2A 的任務狀態(completed、failed、canceled、rejected,或停下來要求輸入),以及 MCP 的 isError: true——但子代理仍可能在文字裡寫著相反的內容,卻回報「completed」,而只讀文字的迴圈就會漏掉。他也把「查過了,結果是沒有」和「根本無法查」分開,引用他自己關於評估的個人草稿:把這兩者混為一談,就會改變誰被記功、誰拿到錢,以及日後稽核紀錄怎麼說。

三個代理對同一個共享猜測達成共識,等於同一個來源被算了三次

Konda 的髒讀例子:某個子代理寫進共享脈絡,說錯誤率下降了 80%。它並沒有量測,而是推論出來的。第二個子代理讀到這句話就採信;第三個拿它當繼續進行的理由。協調器把三份產出合併,三者彼此一致——但「那只是同一句沒有根據的話被讀了三次」。他把定義紮根在 1995 年對 SQL 隔離等級的批評:髒讀就是在寫入者提交或回滾之前讀到某個值。在共享脈絡裡,一個猜測在被寫下的那一刻就可讀,而且沒有任何東西標記它未經查核。

最直覺的修法——問三個子代理、取多數——在這裡行不通,而他的解釋是整場技術含量最高的一點。多數決之所以有效,靠的是加權投票(1979):讀取門檻加上寫入門檻超過總數,所以每次讀取都會與最新的寫入重疊。三個子代理讀同一份共享脈絡,並不是三份獨立副本,它們讀的是同一個猜測。「它們的一致,是同一個來源被算了三次。」

接著他走過標準的一致性階梯——線性一致、循序一致、因果一致、工作階段保證(讀己所寫、單調讀)、最終一致——並指出共享脈絡一個都不提供,連明示的保證都沒有。最強的一致性模型在網路分裂時無法維持可用性;因果一致與工作階段保證則可以,前提是每個使用者端都固定在同一個地方。對子代理來說,那個地方就是協調器。

「安全交接」模型:五個字母,各解一種失效

Konda 提出的一致性模型刻意限定在自己的工作範圍內,並未宣稱放諸四海皆準。每個字母對應上面一種失效模式:

字母規則對應的失效機制
S — 來源餵送每個事實都帶來源、版本、資料時點、修訂版;決策只讀新鮮的來源事實髒讀事實當成紀錄,而非句子(Lamport 1978 的 happens-before)
A — 至多一次副作用每次寫入都有身分,且針對該確切動作只有一次使用者核准;結果要讀回,絕不重放帶副作用的重試圍籬權杖(fencing token);以身分讀回
F — 扇出預算每個下游都有閘門與有界權重;拒絕也算一次失敗無界扇出配額、有界等待、看得見的拒絕
E — 明確結果每次交接都以具名狀態收尾;逾時記為未知,並保留其代價部分失效在協調器程式碼裡做結構描述、證據、新鮮度檢查

在 S 上,新鮮度紀錄帶三個時間——資料當時有效的時間、被讀取的時間、被使用的時間——並在使用當下檢查新鮮度。他的實例是:資料截止於 9:05,9:06 讀取,9:07 的決策通過五分鐘上限;9:15 的第二個決策被拒絕,必須重新讀取。觀察(來源加讀取時間)與推論(兩者皆無)就是這樣分開的。

在 A 上,他引用 1984 年的 RPC 論文:如果呼叫回傳,程式就恰好執行了一次;如果收到例外,它可能執行了一次,也可能完全沒執行,而且不會告訴你是哪一種。所以你得選一種送達語意——至多一次(可能遺失)、至少一次(可能重複),或恰好一次(至少一次加上去重)。在 MCP 裡,idempotentHint 只是提示,預設為 false:「你需要它,就自己建。」在他的橋接器裡,迴流的使用者端紀錄會對全新伺服器重新初始化(安全,因為那只是握手),但不確定的工具呼叫絕不會被替換;被回收的共享伺服器會先排空,截止時仍未獲回應的呼叫則以「可能已執行」失敗——一個誠實的狀態,告訴呼叫方自己去查。「已提交不等於已確認。已確認,代表你觀察到效果。」

租約問題他另外處理,引用 Martin Kleppmann 關於分散式鎖的文章:使用者端在持有租約時暫停,租約過期,別人接手,第一個使用者端醒來後照樣寫入。解法是圍籬權杖——一個單調遞增的數字,由儲存端檢查,拒絕權杖較舊的寫入。Konda 的轉譯是:「把核准當成圍籬權杖。一個動作,一次使用。在閘門檢查,而不是記在提示或對話裡。」他的橋接器修過同一類 bug:一個過期的結束碼,或一個被刪除的續跑紀錄,可能移除或復活一個替代的工作階段。

背壓以散文形式送達,所以檢查必須由協調器自己扛

在 F 上,Konda 的冷啟動事故是整場最好的證據。許多工作階段同時透過 NPX 啟動服務,共用同一個套件快取;每一個都因 NPM 的鎖定遭破壞錯誤而失敗。「任何單一請求本身都沒有錯。錯的是並行本身。」更糟的是,下游回推時可能只是純文字——MCP 規格自己舉的工具執行錯誤範例,就是一句話寫成的速率限制。模型讀到的是一句話;協調器程式碼可能根本沒看,下一個 worker 照樣啟動。

他橋接器的做法是:使用套件管理員的冷啟動預設兩兩通過閘門,有界等待 15 秒,逾時後就不經閘門直接啟動。他把取捨寫得很明白——快取損毀是風險,使用者端請求卡死則是必然——並稱之為「一個為了可用性刻意做出、且白紙黑字寫下的選擇」。他也對工作階段設上限:到達上限時,新工作階段最多等 10 秒,然後被拒絕,而這個拒絕算一次協調器看得見的失敗。另一個 bug 教會他:容量必須在同步啟動之前保留,而不是之後,否則排隊中的啟動會超額預訂上限——典型的「先檢查再動作」競態。

在 E 上,最高原則是:代理的輸出是不可信的輸入,要當成來自網際網路的請求內容來處理。檢查由協調器在程式碼裡負責:結果符合結構描述嗎?證據在嗎?夠新鮮嗎?數字重算後站得住嗎?檢查失敗就回傳附理由的拒絕,而不是原文外加一段警告。「如果同一個模型可以跳過檢查、自己宣告通過,那你有的只是請求,不是邊界。」他的實例是:某個子代理聲稱錯誤率從 1,000 次請求 10 個錯誤降到 600 次請求 6 個錯誤——絕對數字從 10 降到 6,但兩者都是 1%。重算之後,這個說法被拒絕。有憑據的答案可以;刻意交棒給人也可以;「一個自信的猜測,不行。」

這套模型有代價,也有純屬額外負擔的適用範圍

Konda 對限制講得異常坦白,這反而讓提案更可信,而不是更弱。安全交接不會讓事實變成真的——來源事實是可查核的,不是正確的。它不提供恰好一次送達;遺失的回覆在你讀回之前都還是未知。它不回滾任何東西;撤銷一個做了一半的任務,是你自己設計的補償步驟,他把它連到 1987 年關於 saga 的論文。而且 worker 之間沒有全域順序,只有每個事實的因果順序。

代價是一場 CAP/PACELC 取捨。網路分裂時,橋接器對冷啟動刻意選擇可用性;對寫入,安全交接則選一致性而非可用性——「它寧可拒絕,也不猜。」PACELC 再補上一點:即使沒有故障,你也在用延遲換一致性——每次新鮮度檢查都是又一次讀取,每次拒絕都需要有人負責。不適用的地方:只負責起草文字、等人看過才發生任何事的子代理(這裡大部分都是額外負擔),以及沒有單一固定點可依附的多協調器或對等代理拓撲。

「我們早就會蓋分散式系統了。我們只是得注意到,自己正在蓋一個。」

他收尾的三個重點:把每次交接都當成網路呼叫(它可能中途失敗、可能很慢、可能回來兩次);回傳狀態,而不只是文字——「如果結果沒辦法說出部分、過期或未知,協調器就會把它讀成完成了」;以及從安全交接開始,用程式碼強制執行,合適的留下,不合適的就改。

尚未解決的張力,是 Konda 點出但沒有解掉的那個:安全交接假設只有單一協調器。一旦團隊開始跑對等代理或多個協調器,那個讓因果一致與工作階段保證得以實現的「每個使用者端固定的一處」就消失了,模型需要另一套基礎。另一條懸而未決的線是強制執行——他描述的每一項檢查都活在協調器程式碼裡,這意味著這道邊界有多強,取決於團隊有多大紀律,不讓模型生成的文字被當成已通過的檢查。隨著代理框架逐漸成熟,這兩點都值得持續關注。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論