形式驗證如何檢查 AI 寫的程式?&Truth 等公司探索新做法
AI 寫的程式愈來愈多,工程師也更難確定測試有沒有找出所有錯誤。文章整理 &Truth、Harmonic、Theorem 和 Axiom Math 的形式驗證做法:AI 嘗試產生數學證明,再由 Lean 等工具逐步檢查,確認程式是否符合清楚寫下的要求。&Truth 正在打造能檢查不同程式語言的工具,也把找出 C 程式的記憶體安全問題列為用途之一。文章提到,Anthropic 的測試中,Opus 5.5 在一組 36 項小型驗證任務上達到 50% 解題率,使用的 token 比 Opus 5 少約 40%。這類方法可能讓開發者更容易檢查 AI 交付的成果,但也需要先把需求寫清楚。