🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

幾年前，Caltech 的教授兼 Accelerated Understanding 的共同創辦人 Anima Anandkumar 開始開發第一個使用 AI 的開源天氣模型。與該領域的專家交談時，她遭遇了懷疑。天氣本質混沌，物理模擬困難，已經開發了數十年，且需要超級電腦，資料根本不足。儘管有保留，Anima 還是毅然前進並建造。不到一年，她的團隊就開發出了 FourCastNet，一個在可用的最佳物理基礎模擬中具有競爭力的預測模型。多虧了 Anima 及其後續工作，現在任何人都能使用消費級 GPU 在短時間尺度上準確預測天氣。在我們在 Latent.Space 上發布的十五集左右的科學節目中，我們涵蓋了原子、分子、材料、生物學和數學。Anima 是研究連續物理系統的先驅。天氣、聚變以及流體或熱流動是極難建模的巨大科學領域：它們龐大、混沌且本質上是多尺度的。這是 AI 社群在某種程度上忽視的領域，但我們預期它將迅速成長。我們計畫在未來的節目中更多地覆蓋大型物理系統。從 Anima 的工作中你可以看出，這一 AI 領域抵抗了滲透至其他領域的擴充套件理念。資料不足：許多這些領域的開源資料集僅限於數萬或數十萬個例子，遠低於 token 需求高的 transformer 所需。更糟的是，物理所要求的解析度把上下文長度推進到數百億，因而你無法僅僅通過增加 token 來解決問題。這並非上限，而是更慢的道路：這裡的進展來自於構建結構與歸納偏差。對所有苦學的語言模型者抱歉。『如果每個維度即使只有幾百個網格點，這也是工業規模的起點……我們談的是數百億甚至萬億的上下文長度。所以忘記在任何這種規模下使用 transformer，全球所有計算力也不夠。』數學基礎 為瞭解決這些系統，Anima 開創了一項被稱為 Neural Operators 的技術，是過去十年 AI 最美麗的理論發展之一。它們允許你結合資料與物理法則，實現多尺度輸入和輸出。我們不再建模格網，而是建模在多尺度上演化的函式。這使 Anima 和團隊能夠基於物理直覺構建先驗。為了看物理先驗仍對 AI 模型有幫助，讓我們重新審視全球尺度的天氣預報問題。地球是球體，準確建模需要使用正確的基底集——球面調和函式。將天氣模型放在格網上會迅速失效。轉向問題的自然基底，它能保持更長時間的穩定，足以推展數月而非數天。Anima 的 Fourier Neural Operator 直接在此頻域學習，其球面變體驅動 FourCastNet 3，該模型覆蓋整個地球的天氣，並能長時間穩定執行。物理世界更寬容 Anima 也探索了 Neural Operators 在其他物理領域的應用，並觀察到一個顯著的現象：物理世界比你預期的更寬容。在聚變中，幾千個樣本足以預測等離子體失控，並且速度比傳統模擬快百萬倍。這並非對規模的否定，而是通往規模的另一條路。Anima 最終仍想構建「物理基礎模型」，一個跨越多種現象、同時進行模擬與設計的模型。你可以通過構建物理世界已經存在的結構來達成，而不是等待永遠不存在的資料。這是起點，且比 AI 的 token 驅動部分更長，因為對於物理世界，token 從來不是答案。『所有能與深度學習一起工作的東西，我們都帶進來，但讓它們更有原則。』天氣只是開始 Neural Operators 和天氣建模是我的個人熱情，因而我們在這篇部落格和節目中花了大量時間探討這項工作。Anima 做了更多！在節目中，我們還介紹了 Anima 的其他近期發展：* Anima 有一系列結合神經網路與自動證明技術的作品。我們談到 TorchLean，一個新的框架，允許你在證明助手 Lean 內寫 PyTorch 風格的網路並正式驗證。這對於證明神經網路的界限是一大步，對於想將神經網路作為控制迴路的一部分加入聚變反應器的人來說，將非常重要！ * Anima 最近被任命為聯合國科學諮詢委員會成員！我們與她談論了將證據基礎觀點帶入政策的目標，以及 AI 在科學領域如何改善全球人民的生活。這集節目對每位 AI 或科學迷都有所收穫！優雅數學？✅ 老式諧波分析？✅ 現代 AI 的基礎發展？✅ 實用的物理世界建模方式？✅ 觀看吧！這是一集公開節目。若你想與其他訂閱者討論或獲得額外節目，請訪問 www.latent.space/subscribe