Lean 程式通過檢查,就能證明論文正確嗎?
Interpreting claims that a theorem is correct because it was checked in Lean
看到數學定理附上 Lean 程式,大家可能會以為只要程式能編譯,論文就一定正確。
- 作者整理了判斷這類說法前該做的檢查:確認程式寫的命題和論文中的定理相同、程式能順利編譯,並確認證明沒有偷換定義或加入額外公理。文章也提到,可以用 lake comparator 檢查證明是否只用到可信任的數學規則,並用多個核心程式交叉檢查。即使這些檢查都通過,論文文字裡的證明仍可能和 Lean 程式不一致。
- AI 產生的程式也應先放在隔離環境中執行。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
文章整理判斷 Lean 證明可信度的四項檢查,指出程式能編譯不等於形式化命題符合論文,也不保證論文中的文字證明一致。
這篇文章試著用淺白的方式說明,該如何解讀「這個定理是正確的,因為它已經在 Lean 中檢驗過」這類說法。簡單來說,Lean 程式碼能提供一項重要訊號,但如果程式碼是由 AI 生成的,就得先做一些測試。我們會說明這些測試,並指出在許多情況下(例如 OpenAI 的定理彙整),這些測試尚未經過系統性檢驗。
前言
上個月,OpenAI 公佈的定理彙整包含 722 篇數學論文,其中約 45% 附有一些 Lean 程式碼。當中有三篇(未轉成 Lean 程式碼的)論文後來因符號錯誤而撤回。有人可能會說:「嗯,附有 Lean 程式碼的論文肯定正確,因為 Lean 就是這樣運作的。」也有人可能會說:「嗯,Lean 曾經出現過可靠性漏洞,很可能還有其他漏洞,而且 AI 會為了獎勵而取巧,所以 Lean 驗證根本說明不了什麼。」不出所料,事實要微妙得多;這篇文章試著說明其中的道理。
本文分成四個問題,探討檢視 Lean 專案時應該提出哪些問題;如果程式碼是由 AI 生成的,尤其需要先問過這些問題,才能開始據此判斷定理是否正確。在開始之前,我想先強調,OpenAI 定理彙整中的許多論文,目前還沒有全部得到肯定的答案(但這些問題都可以有人著手回答,而且我沒有理由認為下文提到的任何測試會失敗,只是目前還沒有人做而已)。
問題 1:Lean 中的陳述是否符合非形式化的陳述?
Lean 專案通常會有一個「主要定理陳述」。這會是一段電腦程式碼,用來定義定理的陳述(而非證明!)。請留意,陳述和證明之間有很大的差異。舉例來說,以下是一段可以完整編譯、用來定義數學陳述的 Lean 程式碼。
這段程式碼匯入 Lean 的數學函式庫 Mathlib,接著定義一個乍看之下似乎是費馬最後定理的數學陳述,但實際上卻是個輕易就能證明為假的陳述,因為在 Lean 中,ℕ包含 0,所以 a = b = c = 0和 n = 3就構成反例。這不會妨礙該陳述通過編譯!但任何對這個陳述的證明都無法通過編譯。Lean 仔細區分定理的陳述和定理的證明;人們卻很常用「定理」一詞來指稱這兩種概念。
判斷一份附有 Lean 程式碼的 PDF 時,首先要問:「Lean 程式碼中的定理陳述是什麼?它是否符合 PDF 中實際的定理陳述?」對 Lean 專家來說,這通常(但不總是)很容易回答。例如,任何熟悉 Lean 的數學家都能讀懂上面兩行程式碼,並看出那並不是正確的費馬最後定理陳述。
不過,事情並非總是這麼簡單。由於目前可用的程式庫有其不足之處,光是要理解一個形式化定理的敘述,就可能得閱讀數千行程式碼。目前的一個例子是,有人向 DeepMind 的 Formal Conjectures repository 提交了PR,其中包含 Hodge 猜想敘述的 Lean 形式化版本。本文撰寫時,該敘述依賴超過 10,000 行程式碼,並建構在 Mathlib 之上,因為 Mathlib(經過領域專家仔細檢查,可以信賴)目前還沒有定義讓敘述成立所需的物件,例如迴圈類對映。另一個例子是 Axiom 最近宣佈,已形式化驗證有限單群分類的證明。Axiom 系統證明的敘述位於 Tau Ceti 中的這裡;Tau Ceti 是一個由 AI 生成的 Lean 程式碼程式庫。包含該敘述的檔案,從 Tau Ceti 匯入了超過 250K 行 Lean 程式碼(超過 900 個檔案)。其中約 5600 行程式碼至關重要,因為它們包含所有相關定義(例如所有散在單群的定義,其中大多數目前仍不在 Mathlib 中)。若沒有人工檢查,就無法真正確定這是否確實是正確的分類敘述(而且請注意,我還沒遇過任何人聲稱自己仔細檢查過 Tau Ceti 中散在群的定義是否正確)。事實上,目前證明這個敘述已正確形式化的最有力證據,遠遠就是 Axiom 的程式碼證明瞭它!
值得注意的是,OpenAI 提供 Lean 程式碼的 290 個定理中,約有 38 個的 Lean 程式碼甚至沒有敘述論文的主要定理,更遑論證明它。而 OpenAI 從未聲稱程式碼做到了這一點!他們只是說:「這裡有一些與這篇論文相關的 Lean 程式碼。」有時程式碼只敘述並證明瞭一些中間結果;我的印象是,OpenAI 在部分形式化工作尚未完成時就決定上線,因此直接釋出了當時已有的成果。舉個具體例子:論文 194聲稱證明交換代數中的 Lech 重數猜想,且對維度、剩餘域或特徵都不設限制;這個問題自 1960 年以來一直懸而未決。對應的 Lean 程式碼中的主打定理,經查證是論文的推論 5.4——這已經是很了不起的成就,但並非論文的主要結果。
問題 2:程式碼能否編譯?
一旦你確信自己理解 Lean 程式碼聲稱要證明的定理敘述,就得實際編譯程式碼;如果程式碼庫非常龐大,也可以請有高效能機器的朋友幫忙。
Anthropic 在 Lean 中形式化費馬最後定理的證明時,請我檢視他們生成的 1,300 萬行程式碼。我把程式碼下載到自己的電腦,放進沙箱裡(誰知道 AI 生成的程式碼會做什麼,理論上它可能會刪掉你所有檔案),接著試著編譯;但很快就用盡記憶體。我告訴 Anthropic,在看到程式碼庫成功編譯之前,我無法對他們完成的工作提出任何判斷;之後他們提供我一臺有 96 個核心和 500 gigs ram 的機器,讓我暫時使用。於是我就能編譯那些程式碼了。
當然,若程式碼庫規模合理,就能在效能足夠的電腦上編譯程式碼。例如,OpenAI 對 Navier-Stokes 問題的求解包含 640K 行程式碼,在我的筆記型電腦上也能順利編譯。
這裡可能值得再次強調:除非先在沙箱中隔離,否則不要在自己的電腦上執行來路不明的 Lean 程式碼。Lean 的數學函式庫由人類整理,並經專家檢查,因此可以安全地執行並以此為基礎開發。AI 生成的程式碼則不然。
問題 3:這段程式碼證明的是定理原本所述的內容嗎?
我在問題 1 已經談過檢查定理敘述的重要性,這樣才能確定程式碼證明的是正確的命題。不過,這裡還有一個額外的難題。理想情況下,定理的敘述應放在一個除了 Mathlib 之外幾乎不匯入其他內容的檔案裡,這樣我們就能確信它值得信任。但定理的證明必然會匯入數千行、甚至數百萬行沒有人想逐一閱讀的程式碼。我們如何確定,數百萬行證明檔案中沒有藏著什麼伎倆,將 x^n重新定義成 37,接著再證明 a^n + b^n ≠ c^n,因為左側是 37+37=74,右側是 37?或者,暗中為數學新增一條公理,宣稱這個定理為真?換句話說,假設有一個 Challenge.lean 檔案,只匯入受信任的程式碼,並包含定理敘述;另有一個 Solution.lean 檔案,匯入數百萬行未受信任的程式碼,並附上看起來完全相同的定理證明,那我們如何確定這數百萬行程式碼中沒有任何漏洞,會改變敘述的意義,或是把規則從僅限數學公理改掉,
一句話回答:lake comparator。你可以在這裡進一步瞭解這個答案。簡單來說,這個工具會檢查受信任檔案中敘述的定理,與透過未受信任的匯入內容證明的定理是否完全相同,並確認證明只使用數學公理。
問題 4:程式碼是否利用了 Lean 官方核心中的錯誤?
這種情況確實可能發生。Lean 核心曾出現一個可靠性錯誤,發現後四小時便修正了;OpenAI 隨後檢視 Lean 程式碼庫,又找到數個錯誤,也都在公開宣佈前修復。理論上,Lean 核心中可能還有其他可靠性錯誤。不過,這並不重要。
為什麼不重要?因為現在有許多由使用者建立、以多種語言撰寫的 Lean 核心,其中至少有一個經過形式驗證,確定沒有錯誤,驗證範圍甚至深入到組合語言層級。如果你想百分之百確定沒有獎勵駭客行為,答案同樣只有一句話:lake comparator --paranoid。利用 Lean 官方核心尚未發現的錯誤來作惡的程式碼,無法通過這項測試,除非它能同時利用多個彼此獨立系統中尚未發現的錯誤。例如,Lean 核心競技場的這個網頁展示了 OpenAI 對 Navier–Stokes 問題的求解,不僅獲得 Lean 官方核心接受,也通過了多個其他核心的驗證。
最後補充一點
即使 Lean 程式碼能成功編譯並通過所有這些測試,因此幾乎可以確定定理證明正確,也不代表任何相應的 PDF 都包含正確的證明!事實上,Navier–Stokes 證明在轉譯過程中失真的論文就以 Navier–Stokes 論文為例,展示了相反的情況;雖然上述所有測試都已針對 Navier–Stokes 的研究執行,但 PDF 證明與 Lean 證明仍有不一致之處。在這些情況下,誰知道 PDF 中的證明是否正確!據我瞭解,有些專家一直在使用 AI,將 Lean 證明非形式化地轉回英文,以便閱讀論證,而不是費力啃讀 PDF 裡的雜亂內容。
摘要/結論
「因為已在 Lean 中驗證,所以是對的」這種說法可以成立,但除了「Lean 程式碼能成功編譯」之外,還得做一些額外工作。你最先進的 AI 模型可以完成這些工作,但仍必須實際執行;而且(視證明中的 Lean 程式碼量而定)可能耗費大量運算資源。