Anthropic 工程師分享如何用 Claude 壓測 Claude Docs,20 億次請求僅有 60 次伺服器錯誤
Anthropic 工程師復盤用 chaos loop 強化 Claude Docs 上線:20 億次請求僅 60 次伺服器錯誤
Claude Docs 上線前,團隊還不確定服務能否承受大量使用者同時建立和開啟檔案。
- Anthropic 工程師讓 Claude 在仿照正式環境的測試伺服器上連續兩週製造大量檔案、故意弄壞服務,再讀取監測資料、修改程式並重跑測試。
- 遇到難以復原的資料庫變更時,則先停下來請工程師決定。測試也找出大型檔案耗用過多記憶體的原因,讓團隊把預估所需的伺服器數量從 500 多臺降到約 50 臺。Claude Docs 上線後,文章記錄 20 億次請求中有 60 次伺服器錯誤,團隊也分享了這套流程的成本估算與操作步驟。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
這次復盤呈現一套上線前的壓測與修復流程,從遙測、技術選型到人工把關,說明 Claude 如何協助工程團隊找出服務瓶頸。
Anthropic:Claude.dev 開發者部落格· Vivek Nair·2026-11-17 20:00· 15 小時前精選AI 評分79
Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests
AI 導讀
Anthropic 工程師 Vivek Nair 復盤 Claude Docs 9 月 16 日上線前的 chaos loop 實踐:讓 Claude Code 會話在映象生產的 staging 叢集上以每天超 100 萬合成 docs 持續壓測並修復故障,峰值時同時執行 30 個 sub-agents。
推薦理由
作者復盤了上線前用 Claude 持續壓測並自修復的兩週流程,給出了可遷移的具體做法和小規模成本參考。
Claude Docs 向公眾開放前三週,它還只是一個概念驗證,跑在單個節點上,只有 Anthropic 內部幾千人在用。當時我們正趕一個野心不小的上線日期,而按我們自己的估算,上線頭幾天就會產生數百萬份文件。
我們在 9 月 16 日上線。到 9 月 22 日,使用者已經建立了超過 460 萬份文件。在 20 億次請求中,我們只看到 60 次伺服器錯誤,而且全程沒有回滾過。整個 Docs 服務跑在大約 50 個記憶體最佳化型 pod 上。
靠的是兩個決定:
- 在上線規模下跑混沌迴圈。我們在預釋出環境搭了一套測試框架,讓 Claude 連續跑了兩週,專門想辦法把服務搞垮。它對基礎設施的每個部分都做了壓力測試,哪裡扛不住就修哪裡。
- 讓 Claude 更容易看懂。只有當系統在每一輪迭代中都產出準確的遙測資料,Claude 才能有效地把修復閉環跑起來。我們很早就做了一個決定:避開那些會以程式碼難以控制的方式佔用記憶體或 CPU 的執行時(比如帶垃圾回收的執行時)。這樣當某個遙測訊號看起來不對勁時,Claude 就能輕鬆追到某個 bug 或某個具體的設計決策上。
但說實話,這事能成,主要還是因為我們的前沿模型最近進步很大(我用的是一個內部研究模型,大致相當於 Claude Fable 5.2)。在我們的經驗裡,它們現在能在一個像這樣的任務裡盯住同一個目標好幾週,這正是我們能在緊張的時間表裡撐到上線規模的原因。
混沌迴圈
一臺機器上幾千個內部使用者,根本說明不了服務能不能扛住上線,而我們顯然也沒有上線流量可以用來測試。
我們需要真實證據來判斷能多快放量。所以在 9 月 4 日,也就是上線前大約兩週,我讓 Claude 去驅動一個與生產環境映象的預釋出叢集,每天造出超過一百萬份合成文件,並故意打壞核心元件。然後……我就讓它一直跑著(完整成本我放在文末了)。
我的設定很簡單。這個迴圈就是 Claude Code 裡一個我一直開著的會話:選一個場景,跑測試框架,讀遙測,提出修復方案,部署到預釋出環境,重複。這個會話充當協調者,把大部分工作交給子AI 助理。最忙的一週,通常同時有大約 11 個子AI 助理在跑,峰值到過 30 個。協調者還通過 Slack MCP 跟我們內部的 Claude Tag(beta)變體對話,向 Anthropic 內部其他擴充套件過類似服務的基礎設施團隊取經。他們的AI 助理幫我們檢查擴充套件方案,看有沒有他們踩過的坑。
有意思的是挑場景,我專挑那些我覺得偏執的:
- 單日新建 1000 萬份文件
- 2.2 萬個活躍連線同時重連
- 一份熱門文件有幾百人同時在看,伺服器在還在載入文件時被殺掉,資料庫卡住
每一輪迭代都差不多。測試框架選一個功能,比如文件建立,把建立壓到飽和。然後 Claude 通過 Datadog MCP 讀遙測,回來給出一份簡短的選項清單和一條建議。
如果建議容易回退,Claude 就寫好改動、部署到預釋出環境,再重跑測試。服務執行的每個操作都有遙測。比如每條資料庫查詢都會報告自己的名字、掃描了多少行、返回了多少行,這樣 Claude 就能發現爛查詢並重寫它。

在迴圈開始之前,我告訴 Claude 哪些決策需要我批准;基本上都是難以撤銷的事情,比如更改資料庫 schema 或鍵佈局,或者更改文件的儲存和物化方式。
當 Claude 遇到其中一項時,它會停下來問我,通常還會附上一條建議,而我最終都批准了。Schema 變更就是典型的例子,我希望這類事情必須經過我:通常有幾個合理的答案,而中途改變方向往往很痛苦。
在整個測試過程中,Claude 必須遵守兩條不變數:
- 文件必須幾乎瞬間開啟(即使是歷史很長的文件)
- 一旦伺服器確認了某次編輯,測試就必須證明該編輯仍然存在
讓服務對 Claude 清晰可讀
我的同事 Felix Rieseberg 最近寫了一篇關於對模型更有野心的教程。他的核心觀點是提高你給 Claude 下提示詞的“高度”:要求你想要的結果,而不是單個任務。
所以,與其讓 Claude 去修復一個個崩潰,不如讓它把你的應用做到不崩潰。(我們自己的應用還沒完全做到,但我們正是這樣取得實質進展的。)不過,要在那個高度上工作,你必須把程式碼設定好,讓 Claude 能自己拉取崩潰報告,並執行一個能復現每個崩潰、檢查修復效果的測試框架。
對我們來說,結果就是一個能扛住釋出的服務。為了達到這個目標,我們做了兩件事,讓服務儘可能對 Claude 清晰可讀:
- 診斷迴圈。Claude 在每次迭代時讀取遙測資料,並補充它認為缺失的內容。
- 清晰可讀的技術選型。我們挑選了執行時和依賴,使 Claude 測量的任何數字都能追溯到我們寫的程式碼。
診斷迴圈
每次迭代,Claude 都會讀取遙測資料,並補充它認為缺失的內容。手寫遙測很枯燥,所以實際上大部分遙測都是在出問題之後才加進去的。現在 Claude 會邊做邊寫。
記憶體是最好的例子。
在測試框架執行的早期,有一份大文件在其 pod 上佔用了約 3 GB(這數字可不好看)。Claude 第一次嘗試修復時,是縮小我們的一個快取,讓伺服器更早地驅逐文件。下一次測試框架執行顯示,記憶體實際上在一個單獨的快取裡,位於我們的某個依賴項內部,於是 Claude 撤回了那個改動。
接著,Claude 用更細粒度的記憶體分析不斷縮小範圍。最終它發現,每次按鍵都會把文件複製到幾個不同的資料結構中,每次增加幾 MB。Claude 把這些結構改為寫時複製,於是它們現在共享一個引用,而不是各自持有一份副本。
經過大約三天的迭代,那份文件的記憶體佔用最高降到了約 180 MB,而我們對釋出所需資源的估計從 500 多臺記憶體最佳化型 pod 降到了約 50 臺。

清晰可讀的技術選型
我們對服務的執行時和依賴很挑剔。我們希望 Claude 測量的任何東西都能追溯到我們寫的程式碼。
這是因為我們的模型在訊號乾淨時爬山效果最好。我們預計垃圾回收器會帶來噪聲,因為記憶體和延遲會隨回收器的排程而波動。
有兩個選擇幫助最大。
- 我們用 Rust 寫了這個服務。沒有垃圾回收器,一個文件的所有記憶體都放在我們自己定義的結構裡,所以當記憶體增長時,Claude 能指出是哪一處造成的,改掉它,再看下一輪迭代記憶體有沒有降下來。Anthropic 的 Go 工具鏈也很好,我們並沒有對兩種語言做對比評測,所以這只是我們在 Rust 上的經驗。我過去寫過 Go,這次讓我欣賞的一點是:程式碼用完某塊記憶體之後,我幾乎不用去想它還會不會一直佔著。
- 我們還把依賴壓到了最少。每個庫都會帶來我們沒寫過、也不容易說清楚的資料結構。對少數確實需要的庫,我們把程式碼 vendor 進來,這樣就能自己讀、自己測。
Rust 寫起來對人很難,幾年前這會嚴重影響選型。現在 Claude 寫 Rust 和寫大多數其他語言都沒問題,這一點就沒那麼重要了。

釋出周
服務扛住了釋出規模的負載。頭一百萬份文件大約 30 小時內出現,到 9 月 22 日已經超過 460 萬份。9 月我們一共上線了 629 次,一次都沒有回滾。
釋出周有種奇怪的熟悉感。Claude 很擅長設想一個服務會怎麼失敗,而且早在釋出前就把大多數情況規劃好了。我們在預發環境演練過的十個場景裡,有七個真的在生產環境發生了。到那時,測試框架已經讓預發環境把大部分情況都跑過一遍,Claude 也把修復放在執行時開關後面釋出出去了。基礎設施某部分吃緊時,我們通常只要撥一下開關。
為什麼現在能做成
幾個月前這大概還做不成。舊模型通過 MCP 伺服器讀遙測資料沒問題,但在一個長迴圈裡迭代十次二十次之後,它們就開始忘記我們在最佳化什麼,我只好反覆重申目標。Anthropic 的其他同事把這種現象叫作目標漂移。
我們更新的前沿模型是為長時間執行的任務打造的。Claude 在多次上下文壓縮中始終守住了我們所有的約束條件,我一次都不用重複。
做這件事的也不只我們。Vercel 用一個和我們的做法很像的受監督AI 助理迴圈,把 Turborepo 提速了最多 96%。
花了多少錢
按 Claude Fable 5.2 的 API 標價(截至 2026 年 11 月),從 8 月底到釋出日,我大約用掉了 12.5 萬美元的推理費用。放在幾年前,這個規模的工作我估計要一個工程師團隊做上大約六個月。
這些錢大部分花在讀遙測資料、寫方案、生成修復和審查程式碼上。
關於成本有幾點要說:
- 我們的釋出規模特別大。相當一部分錢花在了只有這個規模才說得通的基礎設施上,而理解這些基礎設施本身又需要更多推理。Claude 得花更多心思去想,一組不斷增長的服務如何協同工作,以及它們可能以哪些方式失敗。
- 我也燒了很多 token 去摸索流程。我試驗這套配置的時候,迴圈一直在不停地跑。以我現在的認識,我覺得本來可以只花大約一半的錢。
想試試的話
這套做法對規模小得多的服務同樣適用,成本也應該低得多。
為了估算一個大概的數字,我按經典的小團隊配置算了一筆賬:兩個規格適中的 Kubernetes 節點,外加一個 Postgres 實例。然後我梳理了從八月底到上線當天落地的所有改動,把這套配置用不上的部分剔除掉:
- 與內部其他服務的對接
- 和擴容工作混在一起做的客戶端與產品相關改動
- 跨多個 Pod 執行
- 細粒度限流
最後剩下大約三分之一的改動。
把開銷按這三分之一折算,再去掉我在摸索階段犯的錯誤,按同樣的報價水平,這樣一次兩週的衝刺我估計在 3000 到 10000 美元之間(我並沒有實際跑過,所以只是個粗略的判斷)。
下面的步驟假設有一名工程師,配備 Claude Code、一套預釋出環境和一家可觀測性服務商。協調者和子AI 助理確實加快了進度,但如果你發現它們每小時消耗的 token 太多,退回單個AI 助理應該也能跑得不錯。想試的話:
- 讓 Claude 能訪問你的遙測資料。多數可觀測性服務商都提供 Claude 可用的 MCP 伺服器。
- 讓 Claude 寫一個壓測指令碼,向預釋出環境的服務副本灌入十倍於真實流量的請求,並故意製造故障。殺掉一個實例、讓資料庫卡住、在流量高峰中途部署,都是不錯的起點。然後讓 Claude 不斷修復被壓垮的部分。
- 選技術棧時,儘量偏向 Claude 最容易測量的方案。對我們來說就是 Rust,以及儘可能少的依賴。
- 動手之前,先寫下最重要的技術不變數,交給 Claude。
- 凡是難以回退的操作,讓 Claude 停下來,給你幾個選項並附上明確的推薦。
特別感謝文件團隊,他們在同樣的三週裡提交了數千處編輯器修復;也感謝平臺和儲存團隊,這套東西所依賴的一切都是他們搭建的。
延伸閱讀。 我們如何在兩週內讓 claude.ai 快了三倍(claude.dev)· 為每個任務配一套框架:Claude Code 中的動態工作流(claude.dev),談的是目標漂移。
來源:Anthropic:Claude.dev 開發者部落格 · claude.dev