🔬 An Oscar, Two Asteroids, and the Algorithm in Your sklearn: John Platt on AI for Science

你有多常能與同時擁有奧斯卡獎且發明瞭課本式機器學習演算法的嘉賓交談？John Platt 擁有奧斯卡獎、兩項課本式演算法、兩顆以他命名的小行星，且 Erdos‑Bacon 數為 6。這無疑是我們至今閱讀過的嘉賓中最有趣的簡介。對話內容精彩又有趣，涵蓋 Google 的實證研究協助（ERA）、AI 如何協助對抗氣候變遷，以及大量關於科學與 AI 共進化的佳話。John 的同事 Dave Bacon 經常戲稱 John 的職涯被「總是提前二十年迎接下一大事」所定義。這可能是卷積神經網路（有人將創造此術語歸功於他）、聚變研究、量子計算。John 與 Google 已經合作超過十年，致力於用 AI 與計算解決人類最艱難的問題。最近，John 與他的團隊將目光投向利用 AI 解決任何可寫成「分數」的科學問題。Google 的實證研究協助（ERA）團隊多年前已經接手許多艱難的科學問題。在解決這些問題時，他們發現一個模式：許多科學問題可縮減為 John 所稱的「可分數化任務」。一旦你有了分數函式，目標就是尋找能最大化分數的程式碼。困難在於如何構造分數，但一旦有了分數，尋找最大化者仍可能需要相當多努力。John 的團隊決定自動化解決這一通用問題。這源於「auto‑Kaggle」AI 的概念，它可以解決任何你投給它的 Kaggle 問題。Kaggle 由 Google 擁有，因此所有資料對他們而言都已準備好且易於取得！結果就是 Google 的實證研究協助（ERA）（paper、github、blog）。ERA 在概念上相當簡單。Gemini（或你選擇的 LLM）保持一棵持續更新的實驗（筆記本）樹，並追蹤它們的進展。它與蒙地卡羅樹搜尋（Monte Carlo Tree Search）相近：在每一次迭代中，上限置信界（Upper Confidence Bound）規則挑選最有前景的筆記本進行突變。這是樂觀的，而非貪婪的，因此有時甚至連第五佳筆記本都會被挑選。Gemini 接著為每個筆記本提出約十個突變。每條分支的歷史被共享，讓不同的葉子能互相學習。『它幾乎像一位永不睡覺的極度渴求的研究生。』進化演算法自 70 年代以來已存在，但這之所以有效，是因為 Gemini 真正知道該往哪裡看！更有趣的是，Gemini 2.0 與 2.5 之間經歷了顯著的飛躍，從根本不起作用到表現卓越。ERA 的威力如此強大，John 與他的團隊用它解決了許多突出問題，產出了至少十篇論文。其中一些與氣候變遷相關，我們在下一節進一步討論。因此，我們必須問：如果你擁有一個最佳化之神，你該如何避免自欺？John 的答案是 ERA 提供預測模型。責任在於科學家確保它們真的具備描述性。這其中只是傳統謹慎的機器學習科學。『它是一把強力工具，能把你的手指切斷。』這引發了關於 Kaggle 競賽的有趣討論，以及人們如何在資料集上過度擬合卻未真正解決你真正關心的問題：Google 的凝結尾跡偵測競賽被那些注意到標籤中半畫素錯誤（原點是畫素角落還是中心？）的參賽者擊敗，這也成為獲勝秘訣的一部分。贏得 15,000 美元固然好，但若你真正想解決凝結尾跡就不太幫忙。『人們自己會像這些 LLM 一樣，嘗試獎勵駭客。這回歸到 Goodhart 定律：任何成為目標的度量再也不是好的度量。』他建議從哪裡開始？『永遠先擬合線性回歸。就這樣做。就這樣做。就這樣做。或 SVM。』以 AI 應對氣候變遷 John 與他的團隊已廣泛工作，以減輕氣候變遷的影響。我們討論了他們的多項計畫。也許最有趣的成果是減少飛機產生的凝結尾跡（contrails）影響。你在飛機後方看到的那些細長條紋，竟然佔全部人為全球暖化的 1%！這些冰晶尾跡有時會持續數天。這些冰晶在紅外線下呈黑色，像熱絕緣層一樣在白天與夜間鎖住熱量。很容易理解這裡發生了什麼：大氣區域變得「冰過飽和」，排氣中的微量水蒸氣立即結晶。規模驚人，單單一克排氣可產生十公斤冰晶。解決方案原理上相當簡單！我們知道哪個大氣層最易形成尾跡。只要讓飛機降落一兩個航路高度，問題就解決了，對吧？然而，困難在於計算被阻止了多少暖化。這是一個反事實問題，過去兩年多來困擾 John 的團隊。它們已有一個處理熱量捕獲部分的模型，但對反射陽光的部分還沒。ERA 能找到一個簡單模型，考慮了他們未曾想到的混雜變數。破解了！氣候建模通常是個艱難問題。氣候最好被視為多種可能天氣結果的吸引子。這使得建模更難。『天氣是你在吸引子上的位置，而氣候是吸引子的統計。氣候問題在於我們正在改變它；吸引子本身在變動。』John 與他的團隊致力於同時處理氣候變遷的症狀與疾病，並在該領域完成了多項工作。另一個有趣的例子是 FireSat，利用衛星星座快速偵測火災，防止其蔓延至難以撲滅的規模。對於住在加州的人來說，你一定了解這個問題。乾旱年份，一場小火可能造成數十萬英畝的災害。如果能在火災僅佔一間房間大小時就發現並撲滅，問題就大大降低。等到火災達到一英畝時，我們面臨的問題就更難處理。這一切將往何處發展？透過回顧展望。到此，應該已經清楚 John 擁有對科學、計算與 AI 交叉領域的非凡且獨特視角。John 回顧了 1982 年與 Richard Feynman 一起修讀的計算物理課程。那時量子計算仍是個定義不清、缺乏理論與實驗支援的概念。John 記得每週二都有客座講座，而每週四則是 Feynman 解釋為什麼週二的客座講者錯了。John 也回憶起當時幾乎沒有計算力，千萬次運算每秒即為前沿。John 的建議是：最重要的技能是培養深厚的領域專業知識。沒有其他方法能培養品味，除非挑戰艱難問題。令人驚訝的是，John 建議花時間以傳統方式做事。玩玩工具，親自實作。『你可以開車上山，也可以徒步上山，偶爾徒步也許沒問題。』總結來說，John 對觀眾的訊息是：科學家仍有一席之地，反而會為創意、嚴謹與哲學開啟更多機會。但別忘了投入時間做基礎工作。『世界上似乎有強烈的動力去最佳化並挖掘一切，但你在超最佳化時會失去某些東西，會過度擬合。』無論你最終使用什麼工具，John 的建議與四十年前 Feynman 給他的相同：你不能自欺，你是最容易被自欺的人。我們與 John 的對話十分愉快。希望你喜歡！此外，本集還包括：* 以 John 為例，聚變距離三年，而非三十年。以及 Lawson 原則為何使每種聚變方式都有致命缺陷。* 為何超導量子位元仍顯脆弱。* 他以母親命名的小行星，後來發現它有一顆衛星。* 眾所未談的氦短缺。* NeurIPS 最初是人們在 Snowbird 私人工作坊上突襲而成，為何 Hopfield 網路足以應付。* 在一臺 80 MB 磁碟、大小如洗碗機的 VAX 上擔任 Carver Mead 的系統管理員。* 1985 年用膠片、立體鏡和一封寫給 Brian Marsden 的信尋找小行星。Vera Rubin 天文臺六週內發現 11,000 顆。* Feynman 效應：房間裡全然明晰，離開後卻不再。* 量子回聲、NISQ 時代，以及他認為量子既非三十年之後也非明日。* 一家初創公司想將汞注入聚變反應堆並販售轉化金。『可能行不通。』* John 對自己團隊的 20% 時間規則：做學習用的事，你甚至不必告訴他。這是一集公開節目。如想與其他訂閱者討論或取得額外集數，請訪問 www.latent.space/subscribe