跳到正文
Hacker News (official RSS)(allthingsdistributed.com)·· 11 天前精選品質評分79

AWS Emulator 推出,讓程式設計代理程式在本機測試 AWS 服務

AWS Emulator and the engineer's job when agents write the code

重點導讀

AWS Emulator 正式推出,讓程式設計代理程式在本機使用 AWS 服務模擬環境測試程式碼。

  • - 涵蓋範圍:由代理程式撰寫與測試,依據超過 400 個 API 模型建置,涵蓋超過 200 項 AWS 服務。
  • 可免費離線執行。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

AWS Emulator 以經真實 AWS 驗證的保真測試和合併檢查建立代理程式的測試環境,呈現工程師如何用規格與護欄把關代理程式產出的程式碼。

正文 · 中文翻譯

2026年11月11日 • 1671 字

2004 年,我加入 Amazon 才一個月,就有機會挑選一位實習生加入我的團隊。我比同事多了一項優勢:我早已聽說有位才華洋溢的年輕人正在阿姆斯特丹自由大學攻讀博士學位(我剛好也在那裡取得博士學位 :-))。我立刻選了 Swaminathan Sivasubramanian,也就是大家現在熟知的 Swami。這大概是我在 Amazon 擔任 CTO 的 22 年來做過最好的決定之一。

2004 年聖誕節期間發生了一場災難,商用關聯式資料庫無法擴充至符合 Amazon 的需求。之後,我請 Swami 深入研究 Amazon 實際上如何使用關聯式資料庫。結果發現,70% 的資料庫作業根本不是關聯式操作,而是鍵值操作。這項洞見促成了 Dynamo,Swami 也協助設計了它的架構。他的實習結束後,我立刻聘他為全職員工,當時他甚至還沒完成博士學位。

又一位堅持己見的學者加入,讓他和 Amazon 務實的工程師之間展開許多精彩討論;這些工程師透過實際打造可擴充套件的系統,成為擴充套件能力專家。最終一致性與強一致性、CAP 與 Paxos,還有更多議題。隨著時間過去,Swami 成為 AWS 資料策略的首席架構師之一。近年來我們也看到,他同時是推動 Amazon AI 創新的思想領袖之一。

我很榮幸他願意撰寫客座文章,談談支撐 AWS 許多服務的分散式系統基礎工作,以及當代理程式開始撰寫程式碼後,工程師的工作會如何改變。今天推出的 AWS Emulator,為代理程式提供了這類工作所仰賴的測試環境。Swami 的故事再次展現了看不見的工程。

現在,開始打造吧。

-W


當代理程式撰寫程式碼時,AWS Emulator 與工程師的工作

今天我們推出 AWS Emulator,讓程式設計代理程式能在本機使用 AWS 副本進行測試;這也讓我想起職涯早期參與的一個專案。在許多方面,推出這款模擬器讓我回想起我們為提升所打造之分散式系統的品質,而投入可靠軟體工程的努力。因此,我們想分享一段故事:

大約二十年前,Werner 請我與 Amazon 最早期的工程師之一 Al Vermeulen 合作,打造一項名為「Alf」的分散式鎖定服務。Alf 是以 Paxos 為基礎建置的;Paxos 是一種根據 Leslie Lamport 的研究成果所設計的通訊協定,能讓一群伺服器就單一值達成共識,而其中的複寫引擎則讓資料副本在各伺服器之間保持一致。迄今,Alf 仍是支援 S3、DynamoDB 等許多複雜分散式系統的服務(雖然它經歷了不少演進,也在原有基礎上做過各種變更——這部分留待另一篇網誌再談!)。

分散式系統很難測試

Paxos 是分散式系統共識協定中的黃金標準,在學術界也已獲得充分理解。然而,要在 Amazon 和 AWS 持續擴大的規模下建置 Paxos 並不容易。我們不只得處理伺服器和資料中心之間的複寫,還得應付數萬個使用者端同時要求鎖定,並在網路分割期間續租,同時還得滿足最核心的要求:永遠正確!當時,測試分散式系統的最佳方法是大規模系統測試和混沌測試。兩者都有效,但成本高昂,也無法依需求重現許多型別的狀況。這對 Alf 很重要,因為它的定位是真相資料庫,必須為每個使用者端提供強一致性的真實資訊檢視,也必須在伺服器故障和封包遺失時持續運作。當時已有數篇業界論文指出,以 Paxos 為基礎的鎖定服務很難正確實作,而測試上的困難也是原因之一。

我們透過盡可能忠實地模擬 Alf 的執行環境來解決這個問題。我們讓伺服器在 JVM 中執行,並模擬網路和其他相依的基礎架構,讓整個系統都在我們掌控的單一程式中運作。我們可以隨時丟棄封包並注入其他故障,也建置了工具來探索模擬環境,找出錯誤和擴充套件性問題。並行錯誤只會在事件以特定順序發生時出現;在模擬環境中,我們可以刻意設定許多這類事件順序,並檢視 Alf 如何處理每一種情況。我們也運用了 TLA+ 等理論技術進行形式化推理,並藉此找出許多問題。透過這種方式測試,我們在 Alf 於實際伺服器上執行之前,就排除了大多數並行錯誤。接著在真實環境中測試,又發現了其他問題,因為真實世界會暴露出模擬環境無法呈現的狀況。

超越手工打造的測試環境

模擬和形式化推理都提升了我們採用這些方法的分散式系統之軟體品質。模擬之所以可行,是因為小型團隊可以手工打造某個系統執行環境的複本,而且當時 AWS 只有少數幾項服務。但如今 AWS 已有超過 200 項服務,而呼叫 AWS 的應用程式需要為所使用的每一項服務建立測試環境。手工打造所有這些環境需要數年工程時間,而現在代理程式撰寫程式碼的速度,遠比任何團隊在正式環境中檢查程式碼的速度更快。因此,我們想知道代理程式是否能自行建置並測試這些環境。

這個構想來自 AWS 開發者工具團隊的資深首席工程師 Matt Goldberg。他提出的假設是,只要提供服務行為的文字描述,以及可供比對的真實服務,代理程式就能自行建置出可運作的服務版本。對 AWS 而言,文字描述就是以 Smithy 撰寫的公開 API 模型集合;Smithy 是 AWS 用來描述服務作業及其輸入、輸出和錯誤的格式。可供比對的真實服務則是 AWS 雲端,也就是客戶使用的同一套系統。

代理程式根據保真度測試工作,這些測試是依據公開 API 模型設計的端對端客戶情境。例如,測試可能會檢查在 Amazon Simple Queue Service 中,接收到的訊息是否會一直對其他讀取者隱藏,直到可見性逾時結束。代理程式會持續修正每項測試,直到它能在實際 AWS 上通過,因此測試記錄了 AWS 的行為。接著,代理程式會建置模擬器,直到它通過同一項測試;若測試仍未通過,就表示模擬器還有缺口。Matt 一開始只處理 SQS;當他用一段提示向 Kiro 說明這個做法後,Kiro 約在 15 分鐘內就產出可用的第一版 SQS 模擬器。Matt Goldberg 的發布文章說明瞭這個原型如何發展成 AWS Emulator。AWS Emulator 的所有程式碼都是由代理程式撰寫並測試,並以超過 400 個 API 模型建置,涵蓋 200 多項 AWS 服務。它可在自己的電腦上免費離線執行。多個代理程式團隊會對照實際 AWS 測試,並修正發現的缺口。每項變更都必須通過合併關卡,這是一套完整的自動檢查機制,所有變更在納入程式碼庫前都必須通過,其中包括多個進行對抗性審查的安全代理程式。

讓基礎架構進入程式撰寫迴圈

程式撰寫代理程式會在迴圈中工作:撰寫程式碼、執行程式碼,並讀取結果,再決定接下來要修改什麼。在分散式系統中,這個迴圈是在基礎架構內運作,因此它呼叫的服務必須像實際服務一樣運作。如此一來,代理程式就能在撰寫程式碼時檢查自己的成果,更常一次就產出正確的程式碼,進而提升軟體品質。AWS Emulator 將這套基礎架構放進你自己電腦上的程式撰寫迴圈。

代理程式撰寫程式碼時,工程師的工作

當代理程式撰寫程式碼並檢查自己的成果時,工程師的工作是讓它們有空間自主作業,並建置規格、測試與合併關卡,以判斷成果何時正確。這是我在一次慘痛經驗中學到的教訓:我曾用 Kiro 重建我和 Al 為 Alf 打造的複寫引擎,第一次花了我們約四個月。我監督代理程式四個晚上後,才發現它根本沒有檢查結果的方法。等到提供規格和測試環境後,重建只花了約兩個小時。

從一開始,建置 AWS Emulator 的代理程式就具備這兩項條件:公開 API 模型和實際 AWS。工程師則建置了執行這些代理程式的腳手架。內部版本在一個週末內完成,並在一個月內開始獲得採用。要將它打造為穩健的解決方案,還需要投入更多工作。

AI 時代的軟體品質,取決於工程師為代理程式設計的防護措施。在 AWS Emulator 中,這些防護措施包括經實際 AWS 驗證的保真度測試、合併關卡,以及具確定性的檢查。合併關卡中有多個安全代理程式,會從不同的攻擊手法審查每項變更,並搭配一般程式碼審查者;具確定性的檢查則會阻止代理程式修改不應碰觸的程式碼。我們預期代理程式將負責建置和檢查大部分軟體,由工程師決定要建置什麼,以及何時算是完成。我們才剛開始學習工程師如何帶領代理程式團隊,建置可靠且高品質的軟體;AWS Emulator 的誕生過程,就是這種做法如何實際運作的好例子。我們預期會持續增加防護措施,並改進代理程式建置軟體的方式。

發布時須知

模擬器程式碼採用 CC0 發布,這是 Creative Commons 將作品奉獻至公眾領域的授權方式。

我們將在 re:Invent 分享更多這項工作的資訊。完整的提交歷史記錄,以及代理程式提交的所有問題,都公開在 GitHub 儲存庫中;其中的「things-that-do-not-work」資料夾收錄了代理程式發現、目前仍與實際 AWS 不符的行為相關問題。


來源: Hacker News (official RSS) (allthingsdistributed.com)
開啟原文

讀者討論

理性交流 · 即時討論