🔬Causal Models Need Causal Data - Xaira’s X-Cell model for Drug Discovery (Bo Wang & Ci Chu, Chief Discovery Officer & Chief AI Scientist)

投注資訊 如果測試損失在 15 億引數後趨於平穩，而訓練損失隨著擴張仍持續下降，這表示模型受限於資料中的資訊量。單一、規模較小的資料集訓練揭露了資訊缺口：3.1 億引數模型偏離了擴張趨勢。引數或運算力都無法突破這道牆。對於預測基因表達變化而言，你需要更資訊豐富的資料。這正是楚與博的團隊所做的，以下說明約 30 倍資訊所帶來的效益：現在我們能以引數與訓練運算力擴張！我們不確定這項工作耗費多少，但估計資料蒐集實驗與基礎建設花費數千萬，運算力＋人力＋研究則是數百萬。預算看起來更像是 RL 推出預算，而非資料豐富的預訓練預算。我們幸運地在播客中邀請到這個故事的兩位核心人物。以楚思為首、博王為副，Xaira Therapeutics 投注資訊豐富的資料是 AI 驅動藥物研發的關鍵。楚最近被提升為首席發現官，博則升任首席 AI 科學家，凸顯 Xaira 將此投資視為戰略。逆向工程人類細胞 若你必須弄清楚人類細胞如何運作，你會怎麼做？一個不錯的起點可能是紀錄不同細胞在不同情況下表達的基因（例如哪種 RNA 在漂浮）。這就是 CELLxGENE，一個由 Chan Zuckerberg Institute 建置、包含 1.68 億細胞的資料庫，將每個細胞對映到 2~3 萬基因被偵測的次數，以及每個細胞的詳細元資料。約 4 兆專案的矩陣。若蛋白質資料庫（Protein Data Bank, PDB）能釋放結構生物學模型（Boltz Episode、ESM/BioHub Episode），CELLxGENE 也為虛擬細胞模型做了同樣的事。像 PDB 一樣，CELLxGENE 啟發了大量 RNA 表達的 AI 模型；以至於 RNA 表達模型已成為虛擬細胞模型的同義詞。博王打造了最具影響力的 scGPT，成為 Xaira 新模型的起點。RNA 表達 ≠ 以 CELLxGENE 訓練的虛擬細胞模型描述細胞型別與細胞狀態之關係，但它們並不擅長預測改變 RNA 表達時會發生什麼。基因表達變化高度相關，且在大多數情況下難以（甚至不可能）確定因果關係。若你能一次「調低」一個基因，你就能觀察該基因上游與下游的狀況。你可以判斷 A → B & C 或 B → A & C 或 B → A, C → B → … 若對所有基因都做此實驗，也許可以訓練模型預測改變基因（例如藥物或基因編輯）會對細胞造成何種影響。或許你能找出改變特定基因表達的最小侵襲方式。X-Atlas → X-Cell 這正是楚與博的團隊所做的。資料集名為 X-Atlas，模型名為 X-Cell。在本集節目中，我們討論： * 為何團隊放棄自回歸改為擴散模型 * 以 CRISPR 為基礎的實驗，並行執行數百萬測試，產生 X-Atlas 與 X-Cell 的原始資料 * 將結果推廣至真實實驗室中的真實人類細胞 * 打敗先前模型的線性基準 * 為大量先驗知識作正當化，並說明其與資料與架構的比較 博還與我們分享了他作為學術界與產業領袖的主要優勢，以及他的實驗室如何跟上 AI 創新之快節奏。觀看完整節目於 YouTube 或你喜愛的播客平臺！這是公開節目。如欲與其他訂閱者討論或取得額外節目，請造訪 www.latent.space/subscribe