跳到正文
Hacker News (official RSS)(xinmingtu.cn)·· 5 天前精選品質評分82

研究發現 Claude 能預測少人研究的蛋白質序列

Claude was trained on protein sequences at scale

重點導讀

模型答得出常見蛋白質,不一定代表它學會了蛋白質序列的規律,因為這些資料也常出現在論文和網路上。

  • 研究者改用少人研究的細菌與古菌蛋白質,請模型根據序列前段預測下一個胺基酸,再和打亂順序的序列比較。Claude Fable 5.2 在原始序列上答對 54%,打亂後則是 9%。
  • 其他受測的一般模型幾乎沒有這種差距。研究結果顯示,Claude 最新模型可能在訓練時接觸過大量蛋白質序列。
  • 不過,這項測試只檢查下一個胺基酸,不能直接說明模型能否預測蛋白質結構或突變影響。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

研究用冷門蛋白質序列測試模型是否學到序列規律,並比較 Claude 與專門蛋白質模型的預測表現。

正文 · 中文翻譯

目錄

最新的 Claude 模型以大規模蛋白質序列資料進行訓練。給 Claude Fable 5.2 或 Claude Opus 5.5 一段研究不多的細菌蛋白質序列開頭,它們就能預測下一個胺基酸。若將蛋白質序列打亂,它們就做不到。我們測試的其他模型都無法做到這點。和蛋白質語言模型一樣,它們在較大的蛋白質家族中表現較好,即使是完全沒有論文探討的家族也不例外。Fable 5.2 的表現勝過我們測試的所有開放權重蛋白質語言模型;Opus 5.5 則與其中最大的模型 ProtGPT3-10B 不相上下。

研究動機

前沿大型語言模型在蛋白質任務上的表現開始亮眼。Atharv Jayprakash 展示 GPT-6 Astra 對 SOD1 變異的排序表現可媲美 ESM-2,而 PG-LLM 也在多種蛋白質上發現相同結果。這些模型是從 UniProt 等蛋白質序列資料庫學到相關知識,還是從蛋白質的文字描述中學到?

知名蛋白質無法區分這兩種情況:GFP 出現在無數論文中,大多數前沿模型都能背誦它。因此,我們測試了幾乎沒有人撰寫相關文章的蛋白質。

方法:預測研究不多的蛋白質序列中的下一個胺基酸

我們提供模型一段蛋白質序列開頭,要求它預測接下來的胺基酸。接著,我們在同一蛋白質的打亂版本上再次提問。打亂序列會保留字母、破壞字母順序,因此準確率的差異能衡量模型對序列本身的瞭解程度。

百分比是 Claude Opus 5.5 在 668 種蛋白質上的整體準確率。真實序列列及其答案來自測試集;打亂序列列僅為示意。

測試集包含 668 種細菌與古菌蛋白質,來自 167 個功能未知的 Pfam 家族。這些家族都沒有已解析的結構,相關論文也不超過三篇;而且沒有任何蛋白質在 UniProt 中有近親。每種蛋白質都在五個位置切分。模型在每個切分點預測接下來的 10 個胺基酸,我們只評分第一個。思考設定調至最低。詳細資訊請見附錄 E。

結果:只有最新的 Claude 模型能預測這些序列

實心點:聊天提示。空心點:對 FASTA 文字直接進行原始下一個詞元續寫;適用模型透過補全文字的端點或預先填入回覆來生成。

Fable 5.2 在真實蛋白質序列上有 54% 的機率預測出正確的下一個胺基酸,在打亂的序列上則為 9%。幾乎每個家族都能看到這項差距,而不只是少數容易預測的家族。Opus 4.7 已展現這項能力,到了 Opus 5.5 大幅提升,Fable 5.2 又再提升。GPT、Gemini 和七個開放權重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)的表現都接近零;即使讓它們直接續寫原始 FASTA 文字,也就是它們受訓時使用的方式,結果仍然如此。最新的 Claude 模型還能連續寫出多個正確的胺基酸殘基,其他模型很少做得到(附錄 B)。

與蛋白質語言模型比較

蛋白質語言模型只用序列進行訓練,因此是自然的比較基準。最接近大型語言模型的,是從左到右讀取蛋白質序列並預測下一個殘基的模型:ProtGPT3,其 100 億引數版本是最大的開放模型;以及 ProGen3,其公開版本中最大的模型有 30 億個引數。在相同輸入下,Fable 5.2 的表現大幅勝過兩者。Opus 5.5 與 ProtGPT3-10B 不相上下,但低於 ProGen3-3B。

ESM 模型的訓練方式會同時利用某個殘基前後兩側的資訊,因此要它們從左側開始續寫會比較困難。附錄 C 列出全部八個模型。

這項能力來自訓練資料的證據

如果模型是從序列中學習,序列較多的蛋白質家族應該會比較容易。為了在更廣的範圍內測試這點,我們新增了 90 個較小的家族,每個家族只有 20 個蛋白質,總計涵蓋 257 個家族。

結果確實如此。Opus 5.5 的表現會隨著蛋白質語言模型 ProtGPT3-10B 和 ProGen3-3B 一同提升;這兩個模型只以序列訓練。Fable 5.2 的表現提升最快,並在每個家族約有 300 個蛋白質時趨於平緩。較早期的 Claude 模型表現提升幅度較小,而 GPT 和 Gemini 的表現則維持在接近零的水準。

另外兩種解釋也說不通:

  • 論文。在完全沒有論文的 128 個家族中,兩個模型的表現與整體資料集相當。
  • 推理。大多數答案完全不需要思考:API 回報,Fable 5.2 只有 9% 的答案、Opus 5.5 則有 36% 的答案包含思考 token。不含思考的答案一樣準確。GPT-6 Astra 和 GPT-6.1 Sol 每個問題會思考數百個 token;GPT-6.2 Sol 和 Astra 的回答則和 Claude 一樣簡短,而這四個模型的表現都維持在接近零的水準。

知名蛋白質與變異排序

知名蛋白質的情況截然不同。許多模型在這些蛋白質上表現良好,其中幾個還能逐字母背出數百個殘基(附錄 B),因為這些序列廣泛出現在論文和網路上。在第一輪測試中,我們將知名與罕見的蛋白質並列;Gemini 4 Carbon 在知名蛋白質上表現出色,但在罕見蛋白質上的表現幾乎降至零。最新的 Claude 模型和 ProtGPT3-10B 維持了水準,而 Fable 5.2 在兩者上的表現都是最佳。

這也解釋了 SOD1 和 PG-LLM 的結果。替知名蛋白質的變異排序時,可以參考相關文獻:哪些殘基埋在內部、哪些胺基酸替換會破壞螺旋結構、哪些突變會導致 ALS。在 PG-LLM 中,準確度不受序列比對深度影響,且會隨著更多思考而提升,這兩點都顯示模型採用了這種途徑。我們的測試排除了這種途徑。GPT-6 擅長第一類任務,卻不擅長第二類;最新的 Claude 模型則兩類都擅長。

這代表什麼

最新的 Claude 模型瞭解幾乎沒有人研究過的蛋白質家族。這需要大量序列資料,而非少數範例:蛋白質序列在它們的訓練資料中佔了相當大的比例。Opus 5.5 的表現就像蛋白質語言模型,而 Fable 5.2 更勝過我們能執行的最佳模型。GPT 和 Gemini 則完全沒有展現這種能力。無論它們在訓練時看過多少蛋白質序列,都不足以讓它們學會這些家族。

DNA 則是另一回事。Opus 5.5 能預測人類和小鼠的編碼序列,卻無法預測基因組的其他部分;對於它認得的蛋白質背後那些細菌基因,它也幾乎無法預測(附錄 A)。它學會的是蛋白質,而不是基因組。

我們也很好奇這些知識還能支援哪些用途。Fable 5.2 對研究較少的蛋白質,預測表現勝過我們測試過的所有開放式蛋白質語言模型。蛋白質語言模型學到的也不只有下一個殘基的統計資訊:ESM-2 的內部表示已包含足夠的結構資訊,讓後接的小型摺疊模組能預測 3D 結構(ESMFold);它們的機率值也能用來排序突變的影響。Claude 能否用同樣的方式摺疊蛋白質,或替其變異排序?

程式碼與資料

所有程式碼、測試集、模型輸出和圖表都收錄在 llm-bioseq-probe。

引用本文

@misc{tu2026bioseq,
  author = {Tu, Xinming and Chen, Leo Tianlai},
  title  = {Claude was trained on protein sequences at scale},
  year   = {2026},
  month  = nov,
  url    = {https://xinmingtu.cn/blog/2026/claude-opus-5-5-protein-sequences/},
  note   = {Blog post}
}

附錄

A. DNA

取自 hg38、mm39 及測試蛋白質背後的細菌基因,每個區域各取 500 個 220 核苷酸視窗,其中顯示 200 個,另有 20 個待預測。非編碼視窗不含重複序列;對照組則會打亂每個視窗,同時保留雙核苷酸計數。在 500 個人類編碼視窗中,Opus 5.5 有 25 次正確寫出全部 20 個核苷酸;盲猜約一兆次才會成功一次。Gemini 4 Carbon 會在回答前封鎖大多數 DNA 提示,因此未列入。

B. 較長的延續序列

10 個胺基酸殘基全對。每題要求預測接下來的 10 個殘基。在 668 種研究較少的蛋白質中,Claude Fable 5.2 有 88 次、Opus 5.5 有 12 次答對全部 10 個殘基;兩者在任何一個打亂的序列中都沒有全對。若假設兩者預測各個殘基時彼此獨立,且準確率等於各自的單一殘基準確率,那麼它們靠猜測分別會答對 15.8 次和 0.57 次。

連續答對的殘基數。在打亂的蛋白質中,Fable 5.2 和 Opus 5.5 都沒有連續答對超過 3 個殘基。一旦答對並掌握方向,模型就會更有把握:Opus 5.5 答對 1 個殘基後,下一個答對的機率是 47%;連續答對 4 個後,則是 68%。

背誦知名蛋白質。在研究充分的蛋白質中選取 158 個位置,要求每個模型一次預測接下來的 200 個殘基。

GPT-6.1 Sol 從未連續預測到 100 個殘基,GPT-5.5 則從未超過 2 個。

C. 蛋白質語言模型

模型 讀取方向 輸入 真實序列 打亂序列 真實序列減打亂序列,百分點(95% 信賴區間)
ProGen3-3B 由左至右 切點之前的殘基 43.7% 11.1% +32.5(29.3 至 35.7)
ProtGPT3-10B 由左至右 切點之前的殘基 38.4% 10.7% +27.7(24.2 至 31.1)
ESM C 600M 雙向 切點之前的殘基 24.1% 11.2% +13.0(10.7 至 15.2)
ProtGPT3-1.3B 由左至右 切點之前的殘基 22.3% 10.7% +11.6(8.9 至 14.4)
ProtGPT2 由左至右 切點之前的殘基 19.0% 8.8% +10.2(8.3 至 12.2)
ESM3-open 1.4B 雙向 切點之前的殘基 19.6% 11.0% +8.5(6.4 至 10.7)
ESM-2 650M 雙向 切點之前的殘基 17.3% 10.3% +7.0(5.2 至 8.9)
ESM-2 650M 雙向 切點兩側的殘基 45.7% 11.1% +34.6(31.8 至 37.3)

ProtGPT3-10B 的答對率高於 Opus 5.5(38.4% 對 34.9%),但在打亂的蛋白質中答對率也較高(10.7% 對 7.5%),因為它更瞭解胺基酸組成;兩者的差距,也就是各模型對殘基順序的掌握程度,結果相同。最後一列測的是填空,而非延續序列:ESM-2 也能看到切點後方的殘基,LLM 則看不到。所有模型都先通過知名蛋白質的合理性檢查。從左側延續泛素和血紅素 β 鏈時,ProGen3-3B 分別有 98% 和 87% 的殘基答對,ProtGPT3-10B 則分別為 100% 和 84%;給定完整蛋白質並遮蔽一個殘基時,ESM-2 的泛素答對率為 80%,ESM C 和 ESM3-open 則都是 100%。遮蔽位置是以 token ID 設定,因為 ESM SDK 的「_」字元不是 ESM C 的遮蔽 token。ProtGPT2 使用多殘基 token,因此某個殘基的機率是所有以該殘基開頭的 token 機率總和;ProGen3 和 ProtGPT3 則每個殘基使用一個 token。

D. 穩健性

  • 跨蛋白質家族。Fable 5.2 在 98% 的家族中有正向差距,Opus 5.5 則在 94% 的家族中有正向差距。
  • 家族規模。在全部 257 個家族中,家族差距與家族規模對數的 Spearman 相關係數,Opus 5.5 為 0.50、ProGen3-3B 為 0.48、ProtGPT3-10B 為 0.46、Fable 5.2 為 0.38,Fable 5.1 和 Opus 4.7 至 5 則介於 0.30 至 0.48(全部 p < 10-6);Opus 4.5 和 4.6 約為 0。
  • 論文。在完全沒有論文的 128 個家族中,Fable 5.2 的差距為 45.9 個百分點,Opus 5.5 為 26.8 個百分點;在全部 167 個家族中則分別為 45.1 和 27.4 個百分點。即使只看這些沒有論文的家族,Opus 5.5 的差距仍會隨家族大小增加(Spearman 0.28,p = 0.001);但跨家族來看,差距與論文數量無關(Spearman 0.05)。
  • 提示格式。要求 Opus 5.5 先複製序列再接續預測,在相同的 400 道問題上,所得差距與標準提示相同(均為 12.0 個百分點;此子集取自 10 個家族)。
  • 拒答。未作答的情況(Opus 5.5 為 0.1%)不納入計算;若將其視為答錯,差距變化不到 1 個百分點。GPT-4o、DeepSeek、Qwen、Kimi、GLM 和 gpt-oss 常常拒絕猜測;使用要求盡力猜測的提示後,它們便會作答,結果相同。
  • 不提供指令。只送出序列、不附指令時,GPT-5.5 和 Opus 5.5 幾乎總是描述序列,而非接續預測(各抽樣測試 400 道問題),因此聊天模型需要明確指令。
  • Claude Fable 5。Anthropic 的使用政策篩選器擋下 Fable 5 的 44% 問題,因此主要資料未納入此模型。在它有作答的問題中,差距為 13.9 個百分點;若將被擋下的問題視為答錯,差距為 11.6 個百分點;若只保留真實蛋白質與打亂順序的蛋白質都有作答的切點,則為 14.6 個百分點,接近 Fable 5.1 的 14.9 個百分點。Fable 5.1 和 5.2 分別有 2.5% 和 0% 的問題遭到擋下。
  • 重複測試。再次詢問相同的 400 道問題後,Fable 5.2 對真實蛋白質和打亂順序的蛋白質分別得到 57.5% 和 9.5% 的分數;第一次測試則分別為 57.5% 和 8.5%。
  • 第一輪測試。較小規模的測試涵蓋 25 個模型和 37 個家族,其中一半知名、一半冷門,得到相同結果,並據此設計主要測試。

E. 方法

挑選蛋白質。我們從 Pfam 中所有名稱含有「功能未知的結構域」(DUF)或「功能未知的蛋白質」的家族著手,並篩選出在 PDB 中沒有結構、該家族 accession 在 Europe PMC 的搜尋結果不超過 3 筆,且至少有 300 個成員蛋白質的家族。我們按家族大小分為四組(300 到 1,000 個蛋白質、1,000 到 3,000 個、3,000 到 10,000 個、超過 10,000 個),每組隨機抽取 50 個家族;超過 10,000 個蛋白質的家族只有 17 個符合條件,因此總數為 167 個。每個家族從 UniProt 挑選 4 個未經審查(TrEMBL)的蛋白質,這些蛋白質來自細菌或古菌,長度為 120 到 800 個殘基,只含 20 種標準胺基酸,不屬於低複雜度序列(每個殘基的 Shannon 熵高於 3.9 位元),且在 UniRef90 中各自獨立成群,因此沒有其他 UniProt 蛋白質與其序列相同或相似度達 90% 以上。共取得 668 個蛋白質。

較小的家族。為測試家族大小的影響,我們依相同條件,在另外三個較小的分組(20 到 60 個、60 到 150 個,以及 150 到 300 個蛋白質)各隨機抽取 30 個家族,每個家族取 4 個蛋白質,合計 360 個。所有模型都使用與主要資料集相同的提示和評分方式。

切分序列。每個蛋白質在其 Pfam 結構域內隨機選取 5 個位置切分;結構域範圍取最長的一段,且至少包含 40 個殘基。切點距離結構域兩端至少 10 個殘基,切點前也至少有 30 個殘基:總計 3,340 個切點。切點之前的所有殘基構成字首;切點後緊接的殘基就是答案。

提問。模型會收到以下訊息,並以每行 60 個字元的格式提供字首(例子取自其中一個測試蛋白質):

Below is the beginning of a protein sequence in one-letter amino acid codes.
Predict how it continues. Reply with exactly the next 10 amino acids as
one-letter codes on one line, and nothing else.

>sequence
MRSGGQPLHPQPAHRFHYRTAARPRAAWILGCVLHLADAEEGARFWWQYAAGAGDDAAAY
CLYLHCLVLGDSYAAALWREQTSLDTPPHDFDDTSVPTVLRILSRLTPA

每個模型都透過各自的 API 執行;API 接受 temperature 設為 0 時便採用此設定,思考功能關閉或設為最低程度(Opus 5.5 與 Fable 系列模型採用 low effort,此時模型仍會自行決定是否思考),不使用工具,每題取一個樣本。Claude Fable 系列模型透過 OpenRouter 執行,因為 Anthropic 的 API 只向保留資料的工作區提供這些模型。對於拒絕猜測的模型(GPT-4o、DeepSeek、Qwen、Kimi、GLM、gpt-oss),另以加入「即使不確定,也請盡力猜測。不要解釋或拒答。」的版本執行;這些執行結果會另外標示。

思考。若 API 回報該次回覆包含思考 token,就視為模型有思考:thinking_tokens 出現在 Anthropic 的用量報告中,reasoning_tokens 則出現在 OpenRouter 的報告中。我們不保留思考文字,只評分可見的回覆。Fable 5.2 有 9% 的題目會思考,Opus 5.5 為 36%,Fable 5.1 則從未思考。未思考時,Fable 5.2 在真實蛋白質上的答對率為 54.7%,在打亂順序的蛋白質上為 8.8%(思考時分別為 48.2% 和 10.6%);Opus 5.5 則分別為 35.3% 和 6.9%(思考時為 34.1% 和 8.6%)。

評分。我們讀取回覆中最後一段明確給出的序列:單獨成行,或接在「Answer:」等標籤後的一串大寫胺基酸字母;略過單字、清單,以及思考標籤內的內容。如果回覆一開始重述了字首的末端,就會刪除這段重述。序列的第一個字母就是預測的下一個胺基酸。若回覆達到長度上限而遭截斷,只有在一開始就輸出序列時才計入。未給出序列的回覆會排除並另行計數(Opus 5.5 為 0.1%)。只評分第一個胺基酸殘基;完整的 10 個殘基則用於評估精確延續與連續片段。所有模型以及真實與打亂順序的蛋白質都使用相同的讀取方式。

打亂順序的對照組。每種蛋白質的胺基酸殘基只打亂一次,亂數種子由其 accession 固定;接著在打亂後的序列中,對相同的 5 個截斷位置提問。打亂會保留整條蛋白質的胺基酸組成,但破壞其排列順序,因此只知道哪些胺基酸較常見的模型,在兩種情況下的得分會相同。

統計方法。針對每個家族,我們計算真實序列與打亂序列截斷位置的第一個胺基酸殘基答對比例,並以兩者相減,得出百分點差距。每個模型的結果是 167 個家族差距的平均值。信賴區間為以家族為單位進行的 95% bootstrap(重抽樣 10,000 次);主要檢定是以家族為單位的單尾符號翻轉置換檢定;家族大小趨勢則以家族差距與家族大小對數之間的 Spearman 相關係數衡量。

原始延續。對於支援此方式的模型,我們不附加任何指示,只將相同字首以「>sequence」加上 FASTA 行的文字形式,透過一般文字補全端點送出(開放權重模型使用 Fireworks);或將其作為模型自身回覆的開頭(Gemini 2.5 Pro)。模型寫出的第一個字母依上述方式評分。

蛋白質語言模型。這些模型收到相同的字首,不附加提示詞。ProGen3、ProtGPT3 和 ProtGPT2 由左至右讀取序列,並提供下一個 token 的機率;ESM 系列模型則讀取字首,將下一個殘基替換為遮罩,並一併看到序列結尾。所有情況下,預測結果都是機率最高的 20 種標準胺基酸之一。

API 總費用約為 $730,另加蛋白質語言模型使用 GPU 的數美元費用。

F. 過程中觀察到的安全行為

Gemini 4 Carbon 直接封鎖了約 75% 的 DNA 提示。OpenAI 在第一輪拒絕了 23 個 GPT-6 請求,並在主要測試中拒絕了 17 個 GPT-6.1 Sol 請求,理由是可能遭到生物學濫用;GPT-6.2 Astra 在主要測試集中的問題有 6.6% 遭到拒絕(GPT-6.2 Sol 則為 0.6%)。Claude Sonnet 4.5 拒絕了 97% 以蛋白質序列開頭的請求,而 Anthropic 的篩選器將 Claude Fable 5 的 44% 問題判定為網路安全內容並予以封鎖。

讀者討論

理性交流 · 即時討論