別用 vibe coding 打造你的代理基礎設施——專訪 Modal 的 Akshat Bubna
別用 vibe coding 打造你的代理基礎設施——專訪 Modal 的 Akshat Bubna
Modal 的 Akshat Bubna 主張,代理基礎設施需要把耐久沙箱、憑證注入與可觀測性當作基礎原語來打造;他警告,面對每週 2,000 萬次快照這類工作負載,沙箱平臺絕不能靠 vibe coding 拼湊。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Modal 技術長 Akshat Bubna 主張,代理基礎設施應建立在專為此目的打造的基礎元件上——持久化工作區、彈性資源、GPU 存取、共享儲存、憑證隔離,以及代理可讀的可觀測性——而不是靠「憑感覺寫程式」(vibe coding)自行拼裝。整場演講大半在導覽這些基礎元件,以及對它們有需求的客戶工作負載;標題所點出的「別靠感覺寫程式」論點,直到最後三分之一才登場,以可靠性、安全性、規模三方面立論。
Bubna 是站在廠商立場發言,因此他舉的客戶案例(Ramp 的內部編碼代理、Basis 的會計代理、Heavy AI 的「每個試算表儲存格一個代理」產品、Cloud Science 的 GPU 解除安裝)同時也是產品實證。讀者讀完應能帶走一份具體清單,知道代理執行環境必須提供哪些能力、Modal 自稱正在承接的規模數字,以及 Bubna 的預測:代理執行框架(harness)將與沙箱分道揚鑣,就像牲畜取代寵物那樣。
每個儲存格一個代理的試算表,正是壓垮簡易沙箱的工作負載
Bubna 用一個貼近金融業的場景貫穿整場演講:一位基金分析師要對每一家投資組合公司做複雜分析。以往這代表得逐一接上各公司的資料來源、逐家公司跑 Python——耗費數日。Modal 客戶 Heavy AI 推出的產品,讓使用者執行一筆試算表查詢,而每個儲存格背後都由不同的代理支撐。這個工作負載定下了後續所有需求的基調:每筆查詢要啟動數千個代理,每個代理都需要隔離、共享狀態,以及快速的啟動與拆除。
Bubna 描述的架構,把執行框架(harness,負責呼叫推論 API、發出工具呼叫並反覆迭代的代理迴圈)與沙箱(工具呼叫實際執行之處)分開,以兼顧安全性與隔離。如今單一沙箱可容納多個容器或微型 VM——有別於過去沙箱與容器/微型 VM 一對一的模式——還可包含一個 sidecar。共享儲存讓代理得以協作:其中一種設計是讓試算表的每一列共用同一個儲存卷,該列的代理便能協同作業;儲存也可在主容器與 sidecar 之間共享。
flowchart TD
Q["試算表查詢,每個儲存格一個代理"] --> H["執行框架,呼叫推論與工具並反覆迭代的代理迴圈"]
H --> S["沙箱,執行不受信任程式碼的安全環境"]
S --> C1["容器或微型 VM,執行工具呼叫"]
S --> SC["Sidecar,例如自訂外送代理"]
S --> V["共享儲存卷,例如每一列試算表一個"]
C1 --> V
SC --> V
工作區必須持久儲存數日,運算則只在代理工作時才啟動
每個代理都需要一個工作區,容納其任務所觸及的一切;Bubna 舉出三種客戶需求樣貌。Ramp 的內部編碼代理 Ramp Inspect,需要把 GitHub 儲存庫、相依套件與開發服務放在每個代理各自的工作區裡;據 Bubna 所述,它如今幾乎推送了 Ramp 所有的 PR。會計代理 Basis 需要把檔案、會計工作底稿與指令碼放在一起。某家遊戲開發客戶則需要把遊戲引擎與素材集中在一處。
持久化是更棘手的問題。以 Basis 為例,檔案送達後代理開始作業,接著得等待會計師回覆,而這可能耗上許多天。代理必須從中斷處接續,狀態可能得無限期儲存,但運算只在實際作業期間執行,因為運算所費不貲。Bubna 表示 Modal 支援多種持久化形式,因為使用者的需求各不相同:
| 持久化形式 | 涵蓋範圍 | 使用者為何需要 |
|---|---|---|
| 完整根檔案系統快照 | 整個沙箱根檔案系統 | 讓代理從中斷處原樣接續 |
| 單一目錄快照 | 單一目錄,例如 node_modules | 隨時間升級基礎映像時,仍保留相依套件 |
| 儲存卷 | 共享檔案系統語意 | 代理之間的協作與資料共享 |
資源需求起伏過大,按尖峰配置並不划算
經 Ramp 同意,Modal 分享了 Ramp Inspect 的資料,顯示 CPU 與記憶體用量不僅在不同沙箱之間差異極大,單一沙箱內隨時間的變化也同樣劇烈——編譯相當吃資源,某些分析則需要大量記憶體。各沙箱的尖峰用量也同樣分散。若按尖峰為每個沙箱配置資源,平均約需每個沙箱 15 個 CPU 核心與 15 GB 記憶體,Bubna 直言這在經濟上毫無道理。Modal 的做法是讓使用者不必事先申請資源,需要時可靠地取得,且只為實際使用的時間付費。
代理對 GPU 的需求日增,遞迴式自我改進是最佳展示
Bubna 把 GPU、TPU 與 AMD 列為代理新興的運算需求。Cloud Science 內建 Modal 整合:當它需要密集的 CPU 前處理,或需要 GPU 執行科學模型時,便解除安裝到 Modal 沙箱。遊戲設計、影片剪輯、3D 開發與 CAD 也有同樣需求。Bubna 最興奮的應用是遞迴式自我改進——Modal 曾發表一篇部落格文章,談如何給代理沙箱,讓它對模型訓練做爬山式最佳化:代理會更換 GPU、平行執行消融實驗,並迅速達到目標。
協作與記憶,歸根究柢都指向一個快速且一致的檔案系統
代理日益需要與子代理、以及與處理同一批素材的人類共享檔案系統,這要求檔案系統快速、一致,且其開發體驗可被推敲掌握——這正是 Modal 以儲存卷著手處理的領域。自我改進則帶來第二種使用者:代理會儲存並更新記憶、執行背景任務,Bubna 說這現在被稱為「做夢」(dreaming),用來隨時間重新整理記憶。這一切同樣表現為檔案系統裡的檔案,效能要求也如出一轍。
網域白名單不夠用,使用者要的是路徑層級的外送控管
Bubna 點出代理洩漏敏感資料的風險——他的說法是,代理「根本不知道自己什麼時候可能把你的敏感資料外洩到某個德國論壇之類的地方」。他列出的控管手段包括:哪些 IP 能與代理通訊、代理如何驗證身分、能觸及哪些網域,以及憑證注入的設計要讓代理看不到憑證,日後也無法將其外洩。事實證明網域白名單並不足夠;使用者希望能控管到 Datadog、GitHub 等服務上的特定路徑,甚至要能針對特定操作進行推敲。新興做法是由使用者自行撰寫輕量代理,以 sidecar 形式搭配自訂規則執行——Ramp 便是一例,據稱成效良好。
可觀測性必須讓代理讀得懂,不能只給人看
當自動研究代理的訓練執行失敗時,代理應能讀取失敗日誌、推斷原因,並以不同引數重跑。訓練進行期間,它應監看指標與 GPU 使用率,確認沒有停滯,並留意預算,避免在沙箱裡超支。Bubna 表示 Modal 正投入大量心力,把這些資訊開放給代理本身,而不只是給人看,因為代理正驅動愈來愈多的運算。
別靠感覺寫平臺:可靠性、安全性與規模就是理由
Bubna 反對用 AI 生成的程式碼自行打造代理平臺,理由有三。可靠性:即便有 AI 相助,要推敲尾端事件的回饋迴路——系統故障時會發生什麼——依然困難,這也是為什麼日常網站至今仍會掛掉。安全性:在快速變動的環境中,必須有人持續推敲安全邊界。規模:Modal 有一篇談如何擴充套件到一百萬個沙箱的部落格文章,Bubna 認為這不是能交給靠感覺寫成的平臺去處理的事。
他引述的 Modal 自身流量規模數字:
| 指標 | 數字 |
|---|---|
| 每週建立的快照 | 約 2,000 萬個 |
| 每日為快照處理的資料量 | 約 8 PB |
| 使用者每週建立的儲存卷 | 約 260 萬個 |
| 個人助理工作負載 | 每秒 1 萬個沙箱,共約 100 萬個沙箱,每個存活 2–3 分鐘 |
| 互動式啟動目標 | 低於 1 秒 |
他補充,沒有任何單一雲端能提供這樣的規模——吃緊的不只是 GPU,CPU 也一樣——因此 Modal 彙整超大規模雲端與新興雲端業者的容量,讓使用者能在全球取得 CPU 資源。
執行框架與沙箱分家,指向「微生物之海」的代理模型
Bubna 預測「大腦」(執行框架)與「手」(沙箱/執行環境)之間的分野將日益擴大。執行框架擅長隨需啟動環境、將其快照成日後可用的成品,並視需要調整。他延伸寵物與牲畜的比喻:服務曾是量身打造的寵物,在容器化與 Kubernetes 之下變成同質、可互換的牲畜——他說許多代理部署目前正停留在這個階段。他認為這有其侷限,因為模型很擅長對動態環境進行推理、將其快照、在需要時大量複製,並跨環境作業。他為下一階段取的意象——他歸功於一位他稱作 Six 的人——是「微生物之海」:自我演化的有機體彼此協作。結語的論點是:有了穩如磐石的運算、儲存與網路基礎元件,代理便能做得更多。
「我不認為你該靠感覺寫一個沙箱平臺。」
尚未化解的張力在於:演講中最有力的證據,都來自 Modal 自家客戶與自家流量;而「買平臺而非自建」的建議,也正好符合廠商的商業利益。那份基礎元件清單本身站得住腳,無論由誰提供;自建或採購的結論則是 Bubna 的立場,讀者應據此權衡。值得持續觀察的是:路徑層級的外送代理是否會成為代理執行環境的標準配備;以及執行框架與沙箱的分家,究竟會催生 Bubna 所預言的動態、可自我快照的環境,還是終究回歸今日的同質資源池模式。