Anthropic 為何隱藏自家 AI 研發加速的進展 | Nathan Calvin
Anthropic 為何隱藏自家 AI 研發加速的進展 | Nathan Calvin
Meter 的 Nathan Calvin 主張,Anthropic 之所以隱瞞 AI 研發快速自動化的證據,是因為組織慣性會推動遞迴式自我改進持續進行,與主事者意圖無關;而一旦揭露,只會讓競爭對手跑得更快。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Encode AI 首席策略長 Nathan Calvin 認為,Anthropic 自己提出的「AI 加速研究」證據可信且影響深遠,但該公司以競爭與安全為由拒絕公開細節,而他並不覺得這些理由完全站得住腳。整段對談大部分時間都花在討論:Meter 報告的發現對 Anthropic 內部研發自動化意味著什麼、該公司所稱保密理由的極限在哪裡,以及若時間表真的緊迫,哪些政策槓桿可能有用——其中最重要的是運算資源配置的揭露;至於作為本集引子的 Dario Amodei 推特交鋒,則僅簡短帶過作為背景。
Calvin 是從政策倡議的視角發言,而非實驗室內部人士,他也坦率面對這個案例在認識論上的限制:他說自己的看法是在錄音前一週所發布的證據說服下才改變的,同時也承認,對那些不認識這些研究人員的懷疑者而言,產出這些證據的人並不具說服力。讀者讀完應該能清楚掌握:Meter 報告確立了什麼、又沒有確立什麼;Anthropic 為何說它選擇沉默;有哪些結構性力量正推著這家公司前進, regardless of individual intent;以及 Calvin 最興奮的那一項政策構想。
Meter 報告指向演算法加速,而不只是運算量
Calvin 對 Meter 報告的解讀是:它削弱了對 Anthropic 能力翻倍時間加快最簡單的無害解釋。報告把 Epoch 能力指數套用在近期模型上,顯示能力翻倍時間正在縮短——也就是變快——轉折點大約落在 Calvin 稱為「Mythos」的模型附近。Calvin 指出,Toby Ord 提出的解釋是:某一次異常成功的預訓練造就了這次躍升,而非 AI 加速了開發本身。Calvin 說,Meter 在報告中明確表示,他們特別檢驗過這個假設並予以否定。
Calvin 推論,如果加速不是運算量驅動的,剩下的可能原因就是演算法進展與效率提升——Anthropic 用 AI 來改善它設計 RL 環境、建構測試框架(harness)以及執行其他研究流程的方式。他明確表示這是自己的推論,並非報告直接陳述的內容:「這是我的猜測,我也不確定。」
他也認為這個模式不會是 Anthropic 獨有。他對「誰最積極把研究自動化」的粗略排名是:Anthropic 第一、OpenAI 緊追在後、Google 或其他公司則落後相當一段距離——這個判斷依據的是兩家領先實驗室已揭露的代理運算量與客製化系統,以及它們在程式開發框架上的投資,而非紮實的比較資料。
Anthropic 稱揭露細節會加速對手、削弱自身安全餘裕
Calvin 肯定 Anthropic 至少願意參與:與 Meter 的合作是自願的,公司讓研究人員取得大量內部許可權,也允許相當一部分觀點公開發表。他引用 Anthropic 共同創辦人 Sam McAndlish(Calvin 表示自己不確定發音是否正確)說明揭露上的限制。
據 Calvin 轉述,Anthropic 拒絕公開細節的理由是擔心加速競爭對手:詳細描述 Anthropic 如何用 AI 加速 AI 開發,等於讓對手照抄這套做法。他說公司同時提出商業與安全兩方面的理由——一邊是保護自家的「秘方」與估值,另一邊則是主張:若競爭更激烈、對手追上來,Anthropic 能用於安全投資的空間就會變小。
「我不覺得這理由完全站得住腳,但這就是他們的說法。」
Calvin 的反駁有兩部分。第一,Anthropic 對抗有心人士的資安防護,按公司自己的說法,並沒有那麼強;由國家支援、願意違法並投入資源的計畫,有可能在 Slack 這類地方取得內部資料。第二,保密會讓整體安全論述付出可信度代價:最被這些證據驚動的,是一個關係緊密的柏克萊研究圈,而他們的警告過去曾有過早之例;不認識他們、或對其資金來源感到困惑的外部人士,不會單憑他們的一面之詞就被說服。
完全透明會讓能力擴散得更快,而 Calvin 也部分同意這是風險
被追問透明是否可能適得其反時,Calvin 建構了一個「最大程度揭露」的反事實情境:Anthropic 以開放權重釋出其最強大的內部模型,並開源其測試框架與內部系統的程式碼。他說這顯然會加速競爭對手——Meta、xAI 等公司會更拼命追趕——也會讓能力擴散得更快;他表示自己對此有一定程度的安全顧慮,同時也認同 Anthropic 所提的競爭動態。
他留下未解的張力是:這道限制對手擴散能力的保密牆,同時也限制了公眾與抱持懷疑的政策制定者的檢視;而他認為,在當前這個時點,紮實的公開證據基礎正是推動高成本政策行動的前提。
組織動能可能壓過主事者本人的意圖
Calvin 不確定當美國政府開始關注時,Anthropic 的計畫是什麼,他也不假設公司能跑得比政府快。他提到 Anthropic 與國防部就其技術使用方式的爭議、同期關於政府是否可援引《國防生產法》強製取得存取權的討論,以及這麼做的法律依據。他的看法是:「我不會低估美國政府」——若某屆政府判定某件事對國家安全至關重要,它會做得比目前更多。
他也反對把 RSI 講成按一次就不可逆的按鈕。那是一個歷時很長、過程複雜的演進,中途可以被中斷——直到 AI 接管為止。他提出的問題是:如果 Anthropic 的員工真心相信,一次前沿 RL 訓練就會產出一個在 AI 研究上勝過任何人類的研究者,而其價值觀未知、泛化能力也未知,他們真的會停下來嗎?他猜有些人會說不會,但他不確定整個組織會不會停。
他的解釋是結構性的,而非針對個人:Anthropic 這家實體存在的目的就是打造強大的模型,數千億美元的資本承諾、投資人與期待,形成了獨立於 Dario Amodei 或任何研究員意願之外的動能。他承認 Anthropic 高層對公司的掌控程度高於部分同業,但他說,繼續前進的壓力是真實存在的,即使在某些時點上,按公司自己公開表達的看法,繼續下去也很難自圓其說。
flowchart TD
A["Meter 報告:能力翻倍時間在「Mythos」附近加快"] --> B["Meter 否定單次預訓練的解釋"]
B --> C["Calvin 的推論:AI 輔助研究帶來演算法與效率提升"]
C --> D["Anthropic 拒絕公開細節"]
D --> E["商業理由:保護秘方與估值"]
D --> F["安全理由:對手慢下來才有更多安全投資"]
E --> G["反駁:面對國家級行為者資安防護不足"]
F --> H["反駁:保密削弱公眾可信度"]
G --> I["政策回應:運算配置揭露與查核"]
H --> I
Anthropic 似乎更擔心誤用,而非失控
Calvin 的印象是——他強調這只是外部觀察,並無內部資料——Anthropic 員工的看法不一,但整體偏向擔心誤用風險甚於失控風險。他說 Amodei 在兩人的交流中短暫提過這點,而這也出現在該公司 IPO 的說明會上:公司似乎相信自己比競爭對手更懂得對齊自家模型,也更擔心其他公司的對齊問題,以及自家模型被誤用。
他懷疑這種相對優勢能撐起多少重量。在他看來,Anthropic 的模型或許對齊得稍好一些,但這個差距不足以期待它能撐過接下來好幾層的能力提升與系統間交接。「我認為任何人說自己確切知道那個問題的答案,都不是在說實話。」
運算配置揭露是 Calvin 最興奮的政策槓桿
面對緊迫的時間表,Calvin 的答案是組合多個施力點——加州政策、2027 年 1 月期中選舉後的聯邦立法、任何時點都可採取的行政措施,以及來自實驗室內部的倡議——但他特別點出一項正在形成動能的構想:要求企業按類別揭露其運算資源配置,形成查核這些揭露內容的壓力,並把配置從 RSI 式的內部研究,轉向安全、監控與服務客戶。
他認為這合乎常理,也能湊出意想不到的盟友。他指出,Meta 本來就把更多運算花在推論上,因此立場比前沿研究實驗室更接近這個主張。更廣泛地說,一邊是認為 RSI 是浪費錢、相關支出是泡沫的人,另一邊是相信 RSI、對它心懷恐懼卻又怕對手先達標的人——兩邊出於相反的理由,都希望少一點運算被拿去自動化內部研究。
他對較強硬幹預手段的代價也很務實。過去討論過的某些政策對市場影響不大,但真正能放慢訓練或模型發布的措施可能帶來經濟衝擊,而要說服人們接受這點,需要比現在強得多的公開證據基礎。他希望這類證據能更多公開,也由 Meter 以外的更多第三方來產出。
整個論證建立在尚未讓外部人士看懂的證據上
本集未解的張力,在於 Calvin 本人的轉變與公開論證之薄弱之間的落差。他說自己的看法在錄音前一週發布的證據出爐後有了實質改變,並點名 Daniel Cotallo、Eli Lifland 與 Ajeya Cotra 是他認識多年的人——這些人過去並未警告此事迫在眉睫,用他的話說,他們以前也曾「狼來了」,但如今他們「嚇壞了」,而他信任他們。這是一種訴諸個人可信度的論證,他也清楚這套說法出了同溫層就行不通。他所描述的政策方案——運算揭露、查核、第三方分析——本質上就是試圖在採取高成本行動的視窗關閉之前,把私下的確信轉化為公開證據。Anthropic 未公開的內部細節究竟會幫助還是妨礙這項努力,是本集留下的開放問題,也是隨著 Meter 的研究與後續可能的揭露持續發展時,值得密切關注的重點。