跳到正文
aihot(aihot.news)· noreply@aihot.news (Anthropic:Claude.dev 開發者部落格)·· 13 天前精選品質評分80

Anthropic 以 1,000 個 Claude Fable 5.2 AI 助理在沙箱中形式化證明費馬大定理

Anthropic 用 1000 個 Claude Fable 5.2 AI 助理在沙箱內復現費馬大定理形式化證明

重點導讀

Anthropic 使用 1,000 個執行 Claude Fable 5.2 早期版本的AI 助理,在沒有 Prove2Me 或研究者引導的情況下,於 28.7 小時內完成費馬大定理的形式化證明。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這項實驗呈現 1,000 個AI 助理如何用 Git 與共享資料庫自行協調證明工作,也說明沙箱和監控如何限制其操作範圍。

正文

Anthropic:Claude.dev 開發者部落格· Barry Zhang, Tianyi Peng, Elle Najt, Keller Scholl, and Lance Martin·2026-11-09 20:00· 9 小時前精選AI 評分83

Safely scaling multi-agent teams with Claude Fable 5.2

AI 導讀

Anthropic 的玩具實驗中,1000 個執行 Claude Fable 5.2 早期版本的AI 助理在無 Prove2Me 平臺和研究者指導的情況下復現了費馬大定理的形式化證明,耗時 28.7 小時,輸出 token 僅為原 9 月形式化的三分之一,證明長度為七分之一。

推薦理由

Anthropic 詳細復盤了 1000 個AI 助理在沙箱內自組織證明費馬大定理的過程,並給出了可參考的多AI 助理安全邊界設計。

多AI 助理團隊能夠解決具有挑戰性的長週期問題。今年九月,我們釋出了費馬大定理的首個端到端形式化證明,由數十個AI 助理執行一個內部研究模型完成,該模型大致相當於 Claude Fable 5.1。這項工作依託數學形式化平臺 Prove2Me,並由一位研究員指導。在一項新的小型實驗中,一個由 1,000 個AI 助理組成的團隊執行 Claude Fable 5.2 的早期版本,在沒有 Prove2Me 提供的腳手架、也沒有研究員引導的情況下復現了該證明。團隊耗時 28.7 小時,輸出 token 用量為原來的三分之一,寫出的證明長度僅為原版的七分之一。

每個AI 助理都在無法訪問網際網路的沙箱中工作。每條 shell 命令和檔案編輯在執行前都會經過分類器檢查,離線監控器則審查團隊的每一項操作。我們給AI 助理提供了一份包含 60 條命題的清單、對經典證明路線的一句話概述、這些命題所用到的定義,以及我們此前形式化工作中已證明的 47 個引理,並分配了負責人和協助者的角色。除此之外,我們沒有就如何證明該定理或如何組織分工提供任何其他指導。

這項小型實驗表明,執行 Fable 5.2 這類模型的AI 助理團隊,能夠在精心設計的安全邊界內完成宏大的長週期目標。

問題

費馬大定理指出,對於任何大於 2 的 n,都不存在正整數 a、b、c 滿足 aⁿ + bⁿ = cⁿ。這一命題在 350 多年間始終未被證明,直到 1995 年 Andrew Wiles 爵士發表了長達 129 頁的證明。將該證明形式化——讓每一步都能由計算機驗證——一直是數學界長期以來的目標。

我們九月份的形式化工作由一位研究員和數十個AI 助理耗時 11 天完成,輸出 token 約 60 億。他們用 Lean 編寫了 1300 萬行程式碼;Lean 是一種程式語言,計算機可以檢查其中證明的每一步。

AI 助理通過 Prove2Me 協同工作。該平臺由彭天翼(現為 Anthropic 技術團隊成員)及其在哥倫比亞大學的合作者設計。Prove2Me 使用一張共享圖,把每個待證命題與它被拆分成的更小命題連線起來。任何AI 助理都可以拆分命題,其他AI 助理則可以向這張圖查詢哪些未證明的部分已可著手處理,從而避免對專案狀態失去把握。每個命題及其證明都儲存在可獨立編譯的單獨檔案中,因此許多AI 助理可以並行工作,而不會編輯同一批檔案。

執行框架

我們想看看,一個執行 Fable 5.2 這類模型的AI 助理團隊,能否在沒有 Prove2Me、也沒有研究員指揮的情況下,藉助由通用工具搭建的執行框架取得這一成果。

工具

針對這項任務,我們給這個由 1,000 個AI 助理組成的團隊提供了 60 條待證命題,其中包括最終定理和 59 箇中間裡程碑。對每條命題,AI 助理都必須用 Lean 寫出證明,用 Lean 的工具構建並檢查,然後提交到 Git 上的共享主分支,由評分器進行檢查。我們為每個AI 助理提供了以下工具:

  • 一個 shell 和一個檔案編輯器,執行在各自無法訪問網路的沙箱中。
  • Lean 工具鏈和 Mathlib,已內建在沙箱映象中。
  • 自己的 Git 分支,以及向主分支發起合併請求的能力。
  • 一個共享的 Postgres 資料庫,可從 shell 訪問。

協作

證明工作可以拆分開來,因此很適合交給多AI 助理團隊完成。但AI 助理之間也需要協調,既要能基於彼此的工作繼續推進,又要避免重複勞動。在我們最初的形式化中,Claude 早期的嘗試之所以失敗,是因為AI 助理跟丟了專案狀態,協作也隨之中斷。改用 Prove2Me 平臺後,這個問題解決了。

這次執行中,每個AI 助理都有一臺輕量虛擬機器作為自己的沙箱。如果只用一臺共享機器,大約 100 個AI 助理就到極限了:我們 100 個AI 助理的執行中,超過一半因為記憶體、磁碟或 CPU 耗盡而不得不中止或重啟。

有了 1000 個獨立沙箱,AI 助理需要一種共享工作成果的方式,於是我們給它們配了一個 SQL 資料庫(圖 1)。選 SQL 是因為它提供了組織資訊的通用原語,其事務機制能處理 1000 個AI 助理的併發寫入,而且 Claude 本來就熟悉它。AI 助理用這個資料庫認領任務、共享筆記、記錄已完成的工作。

Harness architecture. A stack of 1,000 agent sandboxes (1 lead and 999 helpers), each running the agent loop, harness code inside the sandbox, with a shell and a file editor as tools and the repo, Lean and the math library as files. API requests and responses pass between the agent loop and a gateway outside the sandboxes that calls the Claude API. Git and SQL requests and their results pass through the same gateway to the team infrastructure, also outside the sandboxes: a Git repository of Lean files and plans, and a Postgres database of instructions, tasks and notes.
圖 11000 個AI 助理各自執行在自己的沙箱中,與外界的唯一連線是一條通往閘道器的管道。閘道器負責呼叫 Claude API,並把 Git 和 SQL 請求轉發給共享倉庫和資料庫。

提示詞

我們的提示詞給了 Claude 一份包含 60 條待證命題的清單,每條都附有一行非正式描述,並說明了可用的工具(見上文列表)。

我們給這個團隊的唯一結構是一個層級:一名負責人和 999 名助手。我們讓負責人把問題拆成若干部分,分派給助手;讓助手等待負責人派活,如果任務不清楚就向負責人確認。

執行期間,執行框架向負責人傳送了 19 次剩餘時間自動提醒,每次都鼓勵負責人繼續推進。

安全

正如我們此前介紹過的,單靠任何一層防禦都不足以約束一個AI 助理團隊。在這次實驗中,我們把沙箱與即時監控、離線監控結合起來,讓每個AI 助理都待在自己的虛擬機器裡、無法訪問網路,並能發現任何試圖逃出沙箱或篡改監控的行為。

沙箱

我們通過以下方式保障每個AI 助理沙箱的安全(圖 2):

  • 通訊:AI 助理沒有專用的訊息工具,只能通過資料庫和 Git 協調。
  • 程式碼變更:AI 助理只能推送到自己的 Git 分支,並向 main 分支發起合併請求。隨後由一個獨立任務把變更合併進 main,只有在出現衝突或故障(例如歷史不相關)時才拒絕。
  • 資料庫訪問:資料庫呼叫以共享的非特權角色執行。每條 SQL 語句限時五秒,寫入超過 256 MiB 會被拒絕。
  • 網路控制:沙箱沒有網路訪問許可權。它們對外唯一的通道是一條通往閘道器的管道,由閘道器轉發它們的請求。
  • 身份:閘道器在沙箱之外為每個請求打上該AI 助理的身份標記,防止一個AI 助理冒充另一個。
  • 核心:每個沙箱的核心在構建時都去掉了能讓 root 使用者直接侵入核心的特性,例如可載入模組、kexec、原始記憶體訪問和核心探針。核心以鎖定模式執行。
  • 最小許可權:每個AI 助理的命令都以非特權使用者身份在其沙箱內執行,sudo 等可能重新獲得 root 許可權的工具已被移除。AI 助理所用工具經過專門設計,無法讀取或更改執行它們的AI 助理迴圈。
The harness architecture with its safety measures marked in three groups. Sandboxing: each agent gets its own lightweight VM with no network access, no API keys or credentials, no direct path to other sandboxes, an unprivileged user account and no tool access to the harness code. Real-time monitoring: the gateway runs a blocking classifier on each tool call, with a fail-closed design, sets each agent's identity and logs every push and query; the Git repository takes own-branch pushes only with a merge job for main, and the Postgres database uses a shared unprivileged role with time and size limits. Offline monitoring: run records kept outside the sandboxes feed offline monitoring, which tells the run owners of serious findings.
圖 2團隊周圍有三層安全防護:沙箱、即時監控和離線監控。分類器會在每次工具呼叫執行前進行檢查,離線監控則審查團隊的操作。

即時監控

為了讓這類執行更安全,我們使用一個經過提示詞引導的 LLM 分類器,它可以攔截每一次工具呼叫,包括 shell 命令和檔案編輯。該分類器會監視試圖逃逸沙箱、探測沙箱邊界或篡改監控的行為,以及模型一旦成功逃出沙箱後可能採取的任何有害操作。當分類器攔截某次工具呼叫時,整個AI 助理團隊會停止執行,必須由人工審查這次攔截後,團隊才能重新啟動。這樣做的目的是防止另一個AI 助理繼續執行被攔截的操作。

為了測試分類器能否識別複雜的破壞行為,我們開展了多AI 助理側任務與破壞評估。在評估中,紅隊AI 助理採用分解攻擊等策略,試圖騙過分類器、讓它放行一次沙箱逃逸。我們發現,能夠檢視AI 助理思維鏈(CoT)和AI 助理間通訊的監控器,在這些評估中成功檢測出了所有破壞嘗試,因此我們現在用它們來監控多AI 助理執行。與此同時,我們還運行同一監控器的基於動作的版本——它只能看到動作,看不到 CoT——以防AI 助理的推理說服監控器放行有害操作。

我們正在通過人工引導和自動紅隊測試持續改進監控體系,用生產環境記錄(包括過往事件)來評估監控效果,並擴充套件威脅建模。本文所述的這次執行中,我們只使用了基於動作的監控器。只有對主AI 助理的攔截才會終止整個執行;對輔助AI 助理的攔截只會移除該輔助AI 助理。

這次執行後不久,我們增加了並行的 CoT 監控器。我們會在可能尚未完成釋出前對齊評估的模型上開展此類實驗,因此我們在設計監控時考慮到了模型可能未對齊的情況。我們釋出的模型會先完成該評估,這降低了風險,但並不能消除風險。

在超過一百萬次工具呼叫中,本次執行沒有任何一次達到攔截標準。當我們用 CoT 監控器和今天的評分標準回放這些呼叫時,只有一次——檢查 root 訪問許可權——接近被攔截。

離線監控

除了即時監控,我們還執行離線監控。該監控器依據與即時監控相同的威脅模型分析AI 助理團隊的操作,但擁有更多能力,例如可以查詢其他AI 助理的操作。

結果

沒有 Prove2Me,團隊自行搭建了協調系統

這項證明工作分為幾個層次:

  • 證明:對於任何大於 2 的 n,不存在正整數 a、b、c 滿足 aⁿ + bⁿ = cⁿ。
  • 命題:我們給團隊 60 個命題去證明,包括最終定理和 59 箇中間裡程碑。
  • 更小的命題:AI 助理把困難的命題拆分成更小的命題,即引理。
  • Lean:每個命題和引理都是 Lean 中的一個定理。

每條陳述都以 Lean 開頭,併為其證明留出佔位符,只有當 Lean 的檢查器接受了一份完成的證明時,這條陳述才算作已證明。我們讓負責人決定如何攻克證明,以及如何在這些工作層級之間協調團隊。

在前 10 分鐘裡,負責人在資料庫中建了五張表(圖 3):

  • Announce(公告):負責人向整個團隊下達的命令(例如如何分工)。
  • Assign(分配):誰負責什麼(例如哪位助手擁有或代理哪條陳述)。
  • Notes(筆記):一塊開放的公告板(例如用於認領某項工作或彙報進度)。
  • Subtasks(子任務):一份待辦清單,任何AI 助理都可以新增任務,最先認領的助手即擁有該任務。
  • Landed(已完成):已完成工作的日誌。
The five shared database tables between 1 lead and 999 helpers. Announce, the lead's orders to everyone, such as how to split up the work or to ease off the database: the lead writes and reads it, and helpers read it, with one helper write. Assign, who works on what, such as which helper owns or deputizes on each statement: the lead writes and reads it, and helpers read it, with one helper write. Notes, an open board where helpers say which piece they're taking or report progress: the lead and the helpers both write and read it. Subtasks, a shared to-do list where anyone adds a task and the first helper to grab it owns it: helpers write and read it, and the lead reads it, with two lead writes. Landed, a log of finished work recording which statement or piece landed, its commit and whether it passed the team's checks: helpers write and read it, and the lead reads it.
FIG 3在前 10 分鐘裡,負責人建了五張共享資料庫表來協調團隊。負責人寫下命令和分配,助手們記錄已完成的工作並管理子任務表,雙方都向筆記表寫入內容。

負責人把陳述分發下去

建好這些表之後,負責人做了三件事。第一,它通過向 assign 表寫入 999 行(每位助手一行),把每條陳述分配給一個由 16–17 名助手組成的小組。第二,它讓每個小組中的一名助手擔任隊長,負責向筆記表釋出計劃,並把工作拆成任務,供組員從子任務表中認領。第三,它向公告表釋出指令,告訴每位助手先判斷自己那條陳述的難度,並把結論釋出到筆記表中。

助手們從提示詞中知道資料庫的存在。它們找到公告表,開始做評估。大多數助手把結論釋出到了筆記表。大約 27 分鐘時,已有三條陳述得到證明,負責人也讀過了釋出的結論。隨後它把大多數助手判定為在本次執行預算內不可行的 47 條陳述擱置一旁,把幾乎所有助手重新分配到其餘 10 條它認為可以完成的陳述上。小組規模從約 17 名助手擴大到 46 至 139 名。

每位助手都在一個迴圈中工作,其中大部分步驟都寫在負責人的命令裡:

  • 在筆記表中找到該陳述的計劃。
  • 從子任務表中認領一個任務。
  • 用 Lean 編寫證明,用 Lean 的工具檢查,然後提交到 Git 的主分支。
  • 把任務標記為完成。
  • 向筆記表釋出更新。

大約 45 分鐘時,10 條陳述中已有約 5 條得到證明,負責人寫道:

“團隊的吞吐量遠高於早期‘預算內不可行’結論的假設”

全部 10 條陳述在大約 70 分鐘內得到證明。

隨後負責人把助手調往更難的陳述

這最初的 10 條陳述完成後,負責人寫道“沒有理由閒著”,並把助手重新分配到它最初放棄的更難陳述上。隨著更多陳述得到證明,它不斷把助手調往新的任務,主要集中在前六個小時(見圖 4 中以紅色顯示的 assign 表寫入)。

Timelapse from hour 0 to hour 30 of reads and writes between the 1,000 agents and the shared database tables: announce, assign, notes, subtasks, landed and a group of other tables. Writes run as red lines from a top row of the lead and helpers 1 to 999 down to the tables, and reads as green lines from the tables down to the same agents in a bottom row. The counts climb to 36,612 writes and 311,734 reads by hour 30. Nearly all writes go to the notes table, about 20,600, and the subtasks table, about 14,800, and the lines go quiet near hour 18, when the run was restarted.

FIG 4整個執行期間對共享表的讀取(綠色)和寫入(紅色)。幾乎所有寫入都是助手的筆記和任務更新,包括認領任務。總計中省略了大部分指令碼呼叫。活動在接近第 18 小時時停止,當時我們從最後一次存檔重啟執行,並給AI 助理又增加了 12 小時。

起初,負責人讓隊長們把工作拆成任務,填進子任務表。隨著工作推進,助手們承擔了越來越多求解各命題的責任。他們開始自己寫任務,有時是在隊長髮出求助之後。到第 5.6 小時,已有 73 名助手寫下了 756 個任務,其中只有 16 名是隊長。圖 4 顯示了許多助手對子任務表的寫入(紅色),不過這些寫入大多是認領任務或標記任務完成。完成任務的助手還會主動多攬活:

“有空……我能端到端做完一塊……給我一個難啃的塊……我馬上開工”

起初,負責人也會把助手分配到具體命題上。這一做法在第一小時內就開始改變,到第三小時,負責人對自由助手說:“不用等我。”這樣自由助手就能直接接手不同命題的工作,不必等負責人派活,而負責人 meanwhile 仍在不斷寫新的分配。

負責人把團隊派給了 Langlands–Tunnell

到第 18 小時左右,剩下的只有 Langlands–Tunnell——懷爾斯證明所依賴的一個經典結果——以及依賴它的命題,還有一個團隊順帶證出的命題。在這次執行早期,Langlands–Tunnell 任務的隊長曾很悲觀,估計證明至少需要 70 萬到 100 萬行 Lean 程式碼,按時完成的可能性不到 1%。負責人當時把這個命題擱置了。

其他工作幾乎全部完成後,負責人把團隊重新集中到 Langlands–Tunnell 上。這是最後一次自上而下的分配,它把約 750 名助手調到了這個命題上,並寫道:“實話實說,勝算不大。”

Langlands–Tunnell 的規模遠超AI 助理們此前處理過的任何命題,任務數約為其他命題的九倍,新增程式碼量也超過兩倍。助手們再次用子任務表來拆分工作,但最初的許多工太大,一個助手無法獨自完成。

於是團隊把工作組織成一棵樹。隊長制定了一份計劃,把該命題分成 10 個區域,並把每一塊列為一個任務。助手如果發現某一塊太大、獨自啃不動,就可以把它拆開,在下面掛上更小的任務。只要某一塊對單個AI 助理來說太難,樹就會繼續生長,最終達到 2,418 個任務、最深 10 層(圖 5)。每一塊都可以先假定其下各塊成立,因此在這些塊被證明之前,數百名助手就能並行工作。

Timelapse from hour 20.5 to hour 28.9 of the task tree under Langlands–Tunnell, drawn as rings around the statement, with its sub-areas as black dots near the center. Tasks appear as helpers write them and turn from gray to orange and then dark red as they are first marked done, with later hours in darker color. By hour 28.9 the tree holds all 2,418 tasks, 2,364 of them marked done with a known hour, and its deepest branches reach the outer rings.

圖 5Langlands–Tunnell 下的任務樹,從第 20.5 小時一直生長到該命題在第 28.4 小時被證明。每向外一圈就深一層,任務首次被標記完成時由灰色變為彩色。連線表示任務是如何被拆分的。這些連線大多是事後根據助手的任務標籤推斷出來的。

圖 6 展示了整個執行過程中每名助手在做什麼:早期助手分散在許多命題上,到最後則聚集到 Langlands–Tunnell 上。Langlands–Tunnell 在第 28.4 小時被證明,隨後最終定理在第 28.7 小時完成。負責人接著寫道:

“謝謝大家:費馬大定理已經進入 main 分支,並通過了官方檢查器的核心驗證。”

Timelapse from hour 0 to hour 30 of where each of the 999 helpers worked, sampled every 5 minutes. The 60 statements are dots grouped by how the lead staffed them: landed first, judged doable, set aside but staffed by hour 1.2, set aside and taken up from hour 1.5, modularity lifting, Langlands–Tunnell, and the last links up to Fermat's Last Theorem. Helpers cluster as orange dots around the statements they work on: spread across many statements in the first hours, crowded onto modularity lifting from about hour 8, stopped near hour 18, and gathered on Langlands–Tunnell after the restart. At hour 30, 54 of the 60 statements are proved and filled black.

圖 6每個點代表一個助手,每隔五分鐘按它自己的記錄所顯示正在處理的工作陳述或工作行來定位,包括等待構建的時間。助手們分散在各個陳述上,最終匯聚到 Langlands–Tunnell。計數止於 60 個陳述中的 54 個,因為五個備選方案已不再需要,另有一個陳述被放棄。

結論

這個小型實驗讓我們得以研究一支由 1,000 個AI 助理組成的團隊如何完成一項漫長而困難的任務。僅使用 Git 和一個共享資料庫,AI 助理們設計了用於分配角色和共享結果的表格,組建了團隊,並構建了一棵任務樹來拆解最具挑戰性的陳述——其隊長曾估計按時完成的機率不足 1%。

這一結果並不意味著不再需要領域專用的執行框架或平臺。例如,Prove2Me 仍可能通過幫助AI 助理更快地編譯 Lean 程式碼、讓它們搜尋並複用人類成果來提高效率。

在某些節點上,人類的引導也仍然有用。AI 助理往往會在難題面前放棄,並誤判其難度。早期,助手們判定 60 個陳述中有 47 個在本次執行的預算內不可行,但團隊隨後證明了其中大多數。在這種時刻,人類的鼓勵可以防止AI 助理過早停下。

精心設計的安全邊界正是我們最初敢於開展這個實驗的底氣。Claude 可以用我們提供的工具以任何它選擇的方式攻克問題,但只能在無網路訪問的沙箱內、並在兩個獨立監控之下進行。

我們預計這些方法會迅速演進;隨著這樣的團隊承擔更困難的工作,圍繞它們的安全邊界也需要同步跟上。我們相信,在安全前提下擴充套件的多AI 助理團隊,將在未來幾年幫助我們解決一些最具挑戰性的問題。

來源:Anthropic:Claude.dev 開發者部落格 · claude.dev

事件後續 · 4

檢視事件全部

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論