New Open Environments to Test AI Agents on Real Chemistry - Ian Quigley, Leash Bio

Leash Bio 研究員 Ian Quigley 表示，公司已把自家 DNA 編碼庫篩選資料打造成一個預先量測好的「沙盒」，讓 AI 代理在其中執行藥物化學研究流程並即時取得回饋；他也指出，模型越強，越能明確地放棄沒有產出的化學空間。本集是先前 Leash 單集的續篇，聚焦於結構活性關係（structure-activity relationship，SAR）基準測試：環境如何運作、代理的 rollout 揭示了什麼、哪些模型領先，以及 Leash 打算如何從每天新增兩個環境擴大到二十個。標題所說的「知道答案的評測」正是整段討論的核心，而非附帶一提。

Quigley 是本集來賓；Latent Space 主持人 Brandon 與 RJ 把這集定位為他 2026 年夏天稍早提出之構想的更新版，如今已整理成預印本、資料集、部落格文章與數千份代理對話紀錄。讀者讀完應該能掌握：這套基準測試的運作機制、Quigley 點名的具體模型排名、探索與利用的發現，以及沙盒中的強化學習成果能否轉移到新生物學這個未解問題。

預先量測好的化學地景，讓代理能跑九萬次 SAR 研究

Leash 的核心資產是大量篩選資料集，這些資料集「環境夠大、反事實密度夠高」，代理可以直接投入其中，拿到任務與有限預算，並對照一個已完整量測的世界接受評測。旗艦任務是結構活性關係最佳化：給定已知能與目標蛋白結合的分子，找出能結合得更好的修飾方式。Quigley 明確指出，這只涵蓋結合力，不包含代謝等類藥性質。

代理只會拿到一份型錄、一百個分子的預算，以及目標，其他什麼都沒有。它用可讀的語言寫下自己的 SAR 假設，再花實驗預算驗證這個假設。由於每一筆結果都預先量測過，Leash 可以把同一個任務重複 rollout 很多次；Quigley 說次數「大約九萬次」。預印本預計與本集同步發布，環境會打包成「hardware packages」（依轉錄內容），並釋出數千份對話紀錄供外界檢視。

flowchart TD
    A["預先量測的篩選：分子對目標"] --> B["代理取得型錄、目標、一百個分子的預算"]
    B --> C["代理以自然語言寫下 SAR 假設"]
    C --> D["代理花預算驗證假設"]
    D --> E["預先量測的即時回饋"]
    E --> C
    E --> F["對照完整地景中的已知最佳解評分"]
    F --> G["評測，並診斷科學決策過程"]

因為完整地景已知，這套基準測試評的是科學判斷，不只是分數

最與眾不同的主張是：Leash 知道整個已量測世界的結果，而不只是代理的最終分數。因此即使代理找到的分子只有環境中最佳分子的一半好，他們仍能追問代理是否做出良好的科學決策。Quigley 列出觀察到的失敗模式：太早放棄的代理、買進與自己陳述的 SAR 假設互相矛盾的分子，以及在預算有限下仍反覆重測相同分子的代理。

最受矚目的行為發現是探索與利用的取捨。表現較好的模型「更善於放棄沒有產出的區域」，Quigley 稱這個結果「著實令人驚喜」。較弱的模型則不斷對「永遠不會有結果的分子做細微調整」，理由是分數低的分子看起來仍有希望。被問到較聰明的模型為何做得到，Quigley 直說：「我們完全還不知道。」他指出，對話紀錄裡有聽起來合理的藥物化學論述，例如某個環很好、某個氮「很痛」，而審閱過這些紀錄的藥物化學家認為推理非常合理。

「不只是它們跳得更多，而是它們真的在釐清一些事情，然後說：嘿，這不行，我們走吧。」——RJ，Quigley 予以確認。

Opus 4.6 領先；Sonnet 5 又貴又弱

Quigley 點名 Claude Opus 4.6 是目前冠軍，Sonnet 4.5 與「Sol 5.1」（依轉錄內容）表現也不錯。他說 Sonnet 5「既非常貴、表現又不太好」，Brandon 則稱第 5 代模型是「Anthropic 的一大錯誤」，但說 5.5 系列「相當不錯」。Leash 尚未測試 Opus 5.5。開源模型方面，Quigley 說「DeepSeek V4 Flash 相當好」，他們也跑過許多較小的 Qwen、Gemini、Kimi 與 DeepSeek 模型。他形容結果圖表看起來像 ARC-AGI-2 的圖，底部聚集了一群弱模型，而這個形狀正是部分設計動機。

一個實務上的抱怨：前沿模型大約每十一天就推出新一代，Leash 每次準備發布結果，就有新模型出現，比較基準也跟著變動。

化學能力在 2026 年 2 月到位，微調始終沒能超越

Quigley 回顧，2025 年夏天左右，Leash 啟動內部專案，用 SMILES 對語言模型做監督式微調；SMILES 是分子圖遍歷的一維字串編碼。當時沒有任何前沿的 Anthropic 或 OpenAI 模型能穩定把 SMILES 字串轉成非標準形式，儘管 RDKit 這類開源工具輕而易舉；Leash 希望模型自己做到，因為當時模型的工具使用能力還較弱。Quigley 說，到了 2026 年 2 月左右，情況明顯改變，模型已能有意義地處理化學，這也是 Leash 朝這個方向發展的原因。他對這代表什麼很謹慎：「我們並沒有改動權重」，但一旦把分子資訊從任務中移除，決策品質「真的會明顯變差」，可見模型至少有用這些資訊來做後續選擇。

Leash 計畫從每天兩個新環境擴大到二十個

Quigley 把這個做法稱為「實驗室在迴路中、延遲攤銷」：量測一次，之後就能跑幾乎無限次 rollout。相較於傳統的實驗室在迴路中方法，這是以自由度換速度——代理只能在預先量測的選項中挑選，但這個集合仍然很大。Leash 自成立以來，已用幾座化學庫篩選過約一千種蛋白。目前每天產出兩個新環境，目標是在 2026 至 2027 年左右達到每天二十個；Quigley 說這「不用費太多力氣」就能做到。RJ 指出，這與 Lila（依轉錄內容）類似，後者也把實驗用於 rollout，但並非即時。

貝氏最佳化被排除，轉移到新生物學仍未證實

被問到確定性的貝氏超引數演算法能否作為基線，Quigley 說不行：這個地景「太尖銳」、「維度非常高」，團隊大致認為這類方法行不通。更大的未解問題是轉移：在這些環境中獲得的強化學習進展，能否帶到新的生物學問題。Quigley 說他們還不知道，但正在設法找出答案。RJ 提出「覆蓋集」設計，或許能讓成果轉移到中間難度的問題。Quigley 也想請教決策科學研究者，因為底層技能——何時該留、何時該走、如何花掉有限的實驗預算——可以推廣到藥物化學之外。Leash 正為環境加入更多結構性工具呼叫。

Brandon 提出把任務變成遊戲，一個「藥物化學 CAPTCHA」。Quigley 喜歡這個點子，但指出一個限制：人類化學家會想嘗試任意修飾，而環境只包含實際量測過的內容，因此選項集必須縮小，並以有意義的方式呈現。Leash 先前做過類似的遊戲，叫「Name That Chemist」（依轉錄內容）。

尚未化解的張力在於：這究竟是基準測試，還是訓練場。Quigley 自己的說法是「如果新的訓練配方能改善科學決策，我們就有能力大規模量測這些事情」，等於把 Leash 定位為科學代理的量測層。在一個固定、預先量測的化學世界裡獲得的強化學習成果，能否在未見過的生物學中帶來更好的決策，仍是下一輪環境要回答的問題。