跳到正文
晚點聊 LateTalk(podcast.latepost.com)· 曼琪·· 4 天前品質評分58

189: Geodesic顧全全:預訓練有點“無聊”了,但用scaling改變AI製藥才剛開始

189: Geodesic顧全全:預訓練有點“無聊”了,但用scaling改變AI製藥才剛開始

重點導讀

顧全全講述離開位元組後以scaling路線創業做AI製藥,主張結構設計是製藥第一性原理、須自建濕實驗室與算力護城河,並斷言預訓練已因求穩而變得無聊。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

顧全全認為,AI 製藥的下一階段勝負手不是新架構,而是把大模型那套 scaling 搬到蛋白質結構設計上,並自建濕實驗室形成閉環。他剛從位元組 Seed 離職創業 Geodesic Intelligence,這期節目大部分時間其實在講位元組三年裡 AI 製藥與豆包預訓練的組織內幕、訓練穩定性與蒸餾取捨,scaling 改變製藥的具體設想集中在後段。

顧全全是機器學習理論出身的研究者,在位元組三年先做 ByteDance Research 下的 AI 製藥團隊負責人,後一年半轉入豆包預訓練負責最佳化器與 scaling law;主持人曼琪是《晚點聊》主播。讀完可掌握:位元組 AI for Science 為何一度出現三個並行團隊、SeedFold/SeedProteo 相對 AlphaFold3 的具體數字、1T 引數為何被視為門檻、位元組禁蒸餾的邏輯,以及他對濕實驗與算力兩套基建的成本判斷。

位元組 AI 製藥曾有兩個獨立團隊,AlphaFold3 出現後才被迫收斂

顧全全澄清了離職後外界對其頭銜的爭議:他自稱是 ByteDance Research(前身 AI Lab)下 AI 製藥團隊的負責人,這一點「毋庸置疑」;而《介面》引述的位元組相關人士說法否認其負責人身份,他認為那指的是另一個一級部門下做小分子製藥的團隊。他描述位元組在 AI for Science 上長期是多團隊並行:他本人帶蛋白質語言模型、結構預測、動態構象生成、結構設計與冷凍電鏡基礎模型;劉凱(原 Project Forager 下製藥團隊負責人,此前在 IDG 與火山石做醫療投資)帶小分子團隊;肖文芝(2015 年加入位元組,此前做搜廣推)先與劉凱合作小分子,後獨立做蛋白方向並複現 AlphaFold2/3。三人互不匯報,分屬不同一級部門。

2025 年暑假,ByteDance Research 連同 AI for Science、機器人方向併入 Seed;原小分子團隊仍留在另一部門、不在 Seed 內。同年永輝加入位元組後,顧全全另建第二個團隊(automation scaling),掛在豆包大模型預訓練方向下,負責最佳化器與 scaling law。他對「不同背景都能跨進 AI 製藥」的看法是:創辦人不必技術出身,但必須招得到足夠強的技術人才並給足空間,否則大機率失敗。

團隊/人物背景方向歸屬
顧全全機器學習理論出身蛋白質語言模型、結構預測、構象生成、結構設計、冷凍電鏡ByteDance Research → 併入 Seed
劉凱IDG、火山石醫療投資小分子製藥另一一級部門(不在 Seed)
肖文芝2015 年加入位元組,搜廣推蛋白方向,複現 AlphaFold2/3獨立團隊

SeedFold 用雙倍規模全面超越 AlphaFold3,設計成功率 70–80%

2025 年 6 月 Isomorphic Labs 發布 AlphaFold3,其抗體、胜肽設計成功率達百分之十幾到二十,遠高於 David Baker 實驗室此前約千分之一的水平。顧全全團隊因此從 2025 年 6 月起轉向結構預測,目標直接設定為超過 AlphaFold3,到 12 月底完成。做法是把模型從 400M 擴到 900M、資料量約為對方的兩倍,得到 SeedFold;再從 SeedFold 出發做模組調整與 continue training,得到對標 AlphaFold3 的結構設計模型 SeedProteo。

他給出的對比數字:SeedProteo 設計成功率 70–80%,binder 親和力達 AlphaFold3 的數十倍;在 AlphaFold3 測試的 52 個靶點中成功的 26 個上,他們也全部成功,IC50 達七八十、約為對方四倍。他強調「超越 AlphaFold3」的判定要看 folding bench 上與對方相同的評測協議(每個輸入預測 5 個結構取最好與中位數),而非預測 128 或 256 個再挑最好的做法;據他所知,至今敢宣稱超越 AlphaFold3 的只有 SeedFold 與 Isomorphic 自己的 IsoDDE。他也點名同批跟進者:Bose(MIT 背景團隊後來成立的公司)、David Baker 學生團隊的 Bandcraft,以及 Latent Labs。

「你要麼不幹,要幹那肯定就是要做 number one……要搞的話那肯定要把這個問題最好把它蓋棺定論。」

預訓練的競爭力在組織而非個人:跨團隊交叉檢驗,1T 是門檻

顧全全把預訓練拆成四塊:模型架構(圖紙)、資料(材料)、Infra、以及最佳化器與 scaling(怎麼把樓蓋起來不倒)。這幾塊的關鍵負責人全部直接向永輝匯報,沒有統一的預訓練總負責人;他認為這種安排讓每個團隊對自己那塊負責、無法甩鍋,跨團隊還能形成 cross validation,意見不一致時由永輝拍板。他反覆用「蓋樓」比喻:從 50 層到 100 層到 200 層是穩定推進,核心是技術方案不出明顯錯誤、執行中互相盯著曲線、發現 suspicious 現象立刻開會排查。

關於失敗成本:廣義的「訓飛」包括 loss spike、梯度爆炸,也包括 loss 微翹但下游指標幾天不漲。理想情況這些問題應在小規模調研階段全部暴露,正式任務不該出現;但幾百 B 模型在正式任務上失敗一次,損失可能是幾千萬美金級的研發成本。他沒有親自遇過 1T 模型訓飛,理由是敢訓 1T 說明調研已足夠 solid。他給出一個明確判斷:一旦 scaling law 在中小模型上擬合、並在 1T 上驗證預測 loss 與實際接近(此時外推倍數已達 20–50 倍),之後再訓 2T、5T、10T 問題都不大,1T 就是 threshold。

環節類比負責內容失敗後果
模型架構設計圖紙演算法與結構方案錯誤則整體重來
資料材料每版資料需證明優於上版模型能力落後
Infra施工隊訓練系統支援穩定性風險
最佳化器與 scaling怎麼蓋不倒超參、scaling law 外推幾百 B 模型失敗約數千萬美金

位元組禁蒸餾是主動選擇:捷徑能進第一梯隊,但做不了世界第一

顧全全確認離職時位元組確實禁止用蒸餾資料訓練模型。他的框架是:蒸餾能讓模型能力短期內有突破、在榜單與使用者體驗上排名提升,代價是與對手存在短期差距;好處是把問題從本質上解決,之後更強。他用足球隊比喻——找外援短平快能提升成績,但解決不了梯隊建設與青訓。關鍵論點是:高質量資料的源頭是別人「cure」出資料的方法,掌握方法才能源源不斷生成高質量資料;靠蒸餾永遠只能跟在別人後面,做不了世界第一。他認為位元組此舉同時出於合規與想做世界第一的中期抱負。

談到 Seed 的目標,他說保底是第一梯隊,最好是第一梯隊裡最好的;並稱 2 月 14 日發布的 Seed 2.0 當時是世界第一,Seed 2.1 發布時也應是第一,整體是交替領先。他對中美頭部模型的判斷是短期內持續纏鬥、沒有哪家形成降維打擊,下一步比拼的是創新與對技術的理解深度,而人才流動快使創新難以被單一公司長期壟斷。

預訓練後期讓他覺得「無聊」,因為正確方案往往早被少數人看出

顧全全直言後期對預訓練本身有點無聊:很多方案他早已想清楚,但必須求穩、等團隊 90% 的人 get on the same page 才能進下一步,而正確方案可能 10% 的人早就框出來了。他強調這不是說預訓練變簡單,而是挑戰相對變少;團隊裡很多人對此樂此不疲,能在群裡一針見血指出問題,這才是他說的 sharp。他反駁「預訓練不需要很聰明、靠譜就行」的說法(提及堯舜禹的觀點),認為說這話的人本身已足夠聰明,能達到那種程度的人不多。

對預訓練的下一步,他認為預訓練與後訓練目前仍相當 separate,未來應更緊密結合,因為存在「預訓練沒做好導致後訓練上不去」與「預訓練太好導致後訓練提升空間小」兩種難以歸因的現象,要查清需把兩邊關鍵人員集中討論。他也復盤 coding:位元組約在 2025 年下半年才意識到 coding 能力的重要性,從意識到體現在模型上約需六個月,屬正常週期;Seed 2.1 在 coding 排行榜上已僅次於 Anthropic 最好的幾個模型。

用 scaling 做製藥需要兩套基建,算力六個月 1200 萬美金

顧全全的創業邏輯是:AI for Science 領域多數團隊算力只有千卡級(一千多到兩千卡),遠未到萬卡,公開結構資料有 13 億個而 SeedFold 只用了 2650 萬個,資料量遠大於多數團隊吃得下的量。因此 scaling 在這一領域上限極高,而護城河正來自算力加持——若幾百張卡就能搞定,know-how 可挖人獲得,與傳統 biotech 無異。他對投資人講述時稱算力六個月就要 1200 萬美金,對方直接被 shock 到;他補充濕實驗成本可能還沒招人 package 高,招人 package 又遠不如算力高。

他主張自建濕實驗室而非外包 CRO,理由是買卡成本約為租卡三倍、跑三年以上買卡更划算,且 scaling 需要高頻濕實驗驗證,依賴外部會卡脖子。美國搭一套濕實驗基建約幾百萬美元。濕實驗的作用是提供後訓練的獎勵訊號:親和力、hT 半衰期、毒性、可合成性、特異性等結果迴流做強化學習;預訓練基本不需要濕實驗,後訓練需要。商業模式上他稱與 Isomorphic 很像,按任務(如一個靶點設計多少個候選)而非 token 計費,既自己做藥也向藥企提供 API。

flowchart TD
    A["靶點序列與結構輸入"] --> B["大規模結構設計模型(scaling)"]
    B --> C["高通量候選藥物"]
    C --> D["自建濕實驗室驗證"]
    D --> E["親和力、毒性、半衰期等獎勵訊號"]
    E --> F["強化學習後訓練"]
    F --> B
    C --> G["向藥企按任務交付 API"]
    D --> H["自有管線推進"]

他賭的是結構而非序列,並認為基礎模型吃不掉這個垂類

顧全全解釋為何從蛋白質語言模型(對標 Meta ESM,用 mask token prediction 或 diffusion language model 建模序列)轉向結構設計:製藥的第一性原理是結構,序列設計只是結構設計的副產品——全原子建模下主鏈側鏈坐標定了,胺基酸型別也定了。他認為蛋白質語言模型這條路徑鏈條太長,若它是第一性原理就會被基座模型吸收;但結構設計更像影片生成,Sora 這類能力無法直接融進 ChatGPT 或豆包,因此基礎模型吃不掉這個垂類。他也回應「通用模型能否覆蓋」的分歧,舉 Cosmos 3 為例:多模態可以進基座,但在影片生成這種垂直領域要媲美 Sora 2 不可能,所以需要專門團隊。

他對 OpenAI for Science 負責人 Kevin Weil 所稱「2026 年 AI for Science 會像 2025 年的 AI 程式設計」的回應是:沒有他這家公司,這個預測可能錯;有他這家公司,預測可以兌現。他稱 2026 年就能拿出成果,時間上與 Isomorphic 的差距約六個月,理由是 coding 從落後到反超也約六個月,而製藥模型目前只有幾十 B 級別、遠小於 1T 級的基座模型。

學界與工業界的評價標準已經分叉,讀博的價效比在下降

顧全全認為大模型熱潮擊穿了學界兩件事:算力不足使學校做不了前沿工作;學生的心態被改變,看到本科同學進 OpenAI 或大廠做出成果,而自己在史丹佛或 MIT 讀博橫向比較「啥都不是」。他認為對多數人而言讀博確實耽誤了,除非想做偏理論的事;讀博的價值在於 build research taste 與方法論,而工業界迭代太快、沒時間想。他對學生休學或退學持鼓勵態度,認為這恰恰說明上限極高。

他用《葉問》比喻學界:各實驗室像門派,講究一團和氣、不踢館,不鼓勵 lab 之間比賽;但現在有了榜單就像 MMA 擂臺,能不能打一上臺就知道。他明確偏好工業界的評價標準,並稱這種認知不是進工業界才改變的,只是過去 AI 迭代慢、沒必要點破。他對 DeepSeek 的評價頗為直接:最大貢獻是開源、社群很 respect,但 MLA、DeepSeek Sparse、彈性 DSC 等在他看來不夠 elegant、結構太複雜、不利於 scaling,數學上也不優雅。他也談到位元組因閉源、很多成果不發表(用於核心模型或未來模型),參與者犧牲了個人技術影響力,這是閉源公司的侷限。

值得追蹤的張力

這期節目裡有幾處未解的張力值得留意。其一是頭銜爭議:顧全全的說法與《介面》引述的位元組相關人士回應直接衝突,而雙方指的可能是不同部門的不同團隊,外界難以獨立核實。其二是他的自信與可驗證性:他稱 2026 年就能拿出成果、與 Isomorphic 差距約六個月,並稱 Seed 2.0 發布時是世界第一,這些都是當事人自述、尚待第三方 benchmark 檢驗。其三是方法論上的自我定位——他一方面說 scaling 是他十餘年見過最有效的手段,另一方面承認預訓練後期「無聊」、真正的智力挑戰退回到機器學習理論那些困擾多年的具體問題(如 anytime 演算法匹配 lower bound 的 silver step size 選擇),他把後者稱為「腦保健操」式的興趣。對關注 AI for Science 投資的人來說,最該盯的變數是他能否在算力與濕實驗兩套基建同時到位的前提下,把 SeedFold 那套「雙倍規模即超越」的經驗複製到更大的模型尺度上。

來源: 晚點聊 LateTalk (podcast.latepost.com)
開啟原文

讀者討論

理性交流 · 即時討論