🔬 The Coolest Diffusion Research Isn't in LLMs — Evan Feinberg & Sergey Edunov, Genesis Molecular AI

本集有一個有趣的個人轉折：在一個反事實的世界裡，我是 Genesis Molecular AI 的第一位員工，這家公司是今天節目的背後力量。某個介紹發生得太遲，我已經高興地在 Atomwise（另一家 ML 為藥物發現的初創公司）簽約。相同的問題，不同的公司。我曾確信機器學習將改變小分子藥物發現。早期結果令人失望。偶爾有用，但遠未革命性。過去一年，我看到機器學習終於準備好實現我十年前的信念。Genesis 可能是最終破解這個問題的地方之一。我非常興奮能夠完整地回到起點，與共同創辦人 Evan Feinberg 及 CTO Sergey Edunov 聊天。若你對小分子藥物發現有任何興趣，我們相信你會覺得這很吸引人！在近兩小時的對話中，我們討論了：* 小分子藥物發現是什麼，為何困難 * 結構預測作為 AI 演算法創新熱點 * 其他領域 AI 的進步如何逐步提升預測力 * 社群基準本質上將 AI 視為足夠的“雜亂” * Genesis 的旗艦模型（PEARL）能定期達到實務應用所需的閾值 * 這些高度準確模型所啟用的新代理式工作流程 進一步閱讀，並在結尾分享一些個人對未來的想法。 在 Genesis 正在進行最酷的擴散研究。Sergey Edunov 由 Meta 轉至 Genesis，曾領導 Llama 2 訓練與 Llama 3 預訓練。Sergey 曾是物理學家，認為在多年訓練大型語言模型後已完成物理研究。後來他發現 Genesis，對他們開發的所有新型架構印象深刻。現代 LLM 研究自 Transformer 出現以來，幾乎沒有產生根本性或令人興奮的架構更新，整個領域都在使用「Attention is all you need」原始論文提出的同一概念變體。當然，有些變體相當實用（尤其是 mixture-of-experts 讓我們今天的龐大模型成為可能），但概念上並不算什麼新鮮事。『我們不得不等到正確的基礎概念被創造，結果竟是擴散……其實，現在我們領域中最具創新性的擴散研究正發生在 3D 結構預測上。』— Evan Feinberg 另一方面，3D 結構預測領域一直是研究熱點。Genesis 最新的模型 PEARL（Place Every Atom at the Right Location）能夠理解蛋白質的柔性，並不僅預測配體的位點，還能對蛋白質做微調，使兩者比單獨任何一方更好地匹配。該領域長期以來都知道這一缺口，但直到現在才真正能夠建模。代理式探索 為什麼這個問題如此困難？正如 Sergey 所指出，宇宙中有 10^60 種可能的類藥物小分子。你永遠無法搜尋全部，試圖找出好的分子就像在乾草堆中尋找針頭——除針頭外的一切都很危險。 「宇宙中有 10^60 種類似藥物的小分子……就像在乾草堆中尋找針頭，除針頭外的一切都非常非常危險。」— Sergey Edunov 「或者在針頭堆中尋找乾草可能更貼切。」— Evan Feinberg 嘗試解決多引數最佳化問題更為棘手。強結合子與具有良好「ADMET 屬性」的分子往往相互矛盾。例如，良好的結合子往往油膩，而油膩的分子往往不溶，無法進入血流並到達需要的位置！Genesis 在生成式 AI 上的進展現在已推進至他們認為代理式藥物發現迴圈終於可行的閾值。大家都記得 LLM 的早期日子。它們是優秀的聊天機器人，但糟糕的代理，因為小錯誤迅速累積成無用。隨著 LLM 的提升，代理的效用也迅速提升。Evan 與 Sergey 主張，Genesis 的模型最近已通過類似的閾值。其內部代理藥物發現系統（代號 SAPPHIRE）現在能像化學家一樣迭代：觀察並推理姿勢，形成假設，閱讀文獻，使用內部工具，為下一輪建立候選。將此與 Genesis 與 Incyte 的自動化實驗室合作結合，我們正迅速接近藥物發現代理全天候執行、製造/測試新分子的時代。令人興奮的時刻！ 基準危機：大家最喜歡的基準是「雜亂」 一個令人驚訝但談得不夠的觀點：學術領域「共摺疊」已將「2 Å RMSD」定為「好姿勢」的基準值。Evan 直言不諱：這個閾值只是糟糕。甚至可能是誤導性的糟糕。對許多強結合子來說，有一個非常清晰的姿勢，甚至可以直接在 PDB 電子密度中解析！然而，使用 2 Å RMSD 閾值，姿勢可能被錯誤地定位，甚至可能誤導藥物化學家。例如，翻轉芳環，所有東西看起來合理，但你已不再模擬正確的相互作用。Evan 強調，1 Å RMSD 才是確保分子核心位於正確位置並模擬所有相互作用所需的閾值。『如果你的模型位於 1.8、1.9 Å RMSD，那就很可能是雜亂。』— Evan Feinberg 作為一個簡單例子，他指出氫鍵是蛋白質‑配體系統中許多重要相互作用的關鍵。氫鍵僅有 0.6 Å 的有效範圍！顯然，如果你能準確解析所有 H‑鍵，通常必須遠超過 2 Å 的閾值。這對 Evan 與 Genesis 是一個艱苦的教訓。以他們的觀點，社群被這些基準卡住，因為開發方法的學者並非使用者。Evan 看見生命的跡象，使用新的指標如 lDDT 進行共摺疊。希望不久後社群能同意「1.8 Å RMSD 是雜亂」，並開始在這更艱巨的任務上攀升。若想更徹底探討傳統基準的缺陷，請參閱 PEARL 技術報告。 PEARL 超越 OpenBind 這使接下來發生的事更為顯著。播客結尾時，我們談到了 Genesis 的一次「證明在甜點中」時刻——在最近發布的 OpenBind 基準上評估其 PEARL 模型。該基準包含 802 個前所未見的共複合物，針對目標蛋白 EV‑A71。這個目標似乎幾乎是特意挑選，以挑戰大多數傳統對接方法。當配體結合到主要結合位點時，蛋白質會移動以關閉配體進入結合口的路徑。這一過程，被稱為「誘導配合」對傳統方法來說極其困難。權衡很容易理解：將蛋白質視為靜態結構，難以將配體放入結合口；將蛋白質視為動態，則需模擬需要長時間才能解決的複雜過程。PEARL 能在不進行長時間 MD 模擬的情況下，模擬配體的誘導配合。在不同評估指標上，PEARL 不僅領先，往往遠遠領先任何公開模型。這是一個真正令人印象深刻的結果。『PEARL 尤其擅長的是找出如何移動這個迴路。我們基本上對每一個姿勢都是正確的。』— Sergey Edunov 更令人興奮的是，這一切是在沒有任何微調，或使用任何關於目標或同源目標的資料下完成的——模板 PDB 在 PEARL 訓練截止後才發布。共摺疊現在走向何方？作為近十年來一直關注或參與蛋白質‑配體相互作用 ML 技術的人，我對 Genesis 最近發布的結果真心印象深刻。這是多年來的開發，我確信 Evan 與團隊為達到這一點付出了許多失眠之夜。我也認為其他團隊正在取得類似進展——Isomorphic 與 Deep Origin 也發布了看似精神相似的結果，結合計算、濕實驗資料、ML，以實現十年前看似不可能的真實預測力。遺憾的是，以上全部都是封閉原始碼，無法真實比較。從結果來看，我認為不久的將來，我們可能會把蛋白質‑配體結合視為「解決」。我真誠希望學術界能從這些發展中汲取靈感。一旦知道某事可行，執行就更容易。儘管如此，我相信上述所有關鍵推動因素是 ML、大規模計算與實際藥物發現應用的緊密整合。遺憾的是，學術界的結構並不易於此類發展。帶著這些結語，我們希望你聽聽這個播客！這是一個公開節目。如果你想與其他訂閱者討論或獲得額外節目，請訪問 www.latent.space/subscribe