開除 Sam Altman 的 OpenAI 董事會成員:我們仍然無法信任 AI 執行長 | Decoder
開除 Sam Altman 的 OpenAI 董事會成員:我們仍然無法信任 AI 執行長 | Decoder
CSET 的海倫·托納(Helen Toner)認為,AI 安全工作——尤其是對齊與控制研究——遠遠落後於能力進展,因此放慢前沿開發腳步並加以監管,而非信任任何單一領導者,才是務實的做法。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
海倫·托納(Helen Toner)是喬治城大學安全與新興技術中心的執行主任。她認為,AI 安全的核心問題——對齊、控制與濫用——原則上或許可以解決,但恐怕無法在前沿實驗室自己宣稱的 12 到 24 個月時程內完成。本集大部分內容談的是 OpenAI 與 Anthropic 究竟在打造什麼(朝超級智慧推進的遞迴自我改進)、為何安全工作只能被分級處理而無法做完,以及監管、公開市場與中國競爭如何與這些誘因互動作用。標題中「我們還剩多少時間」這個問題是貫穿全場的主線,但本集花在實驗室本質、OpenAI 董事會風波與美中動態上的時間,並不比對齊本身少。
托納從兩個視角發言:她主持喬治城大學內一個約 50 人、非學術性的政策機構,負責向國會與行政部門幕僚簡報;她也在 2023 年 11 月山姆·奧特曼遭解職又回任期間,擔任 OpenAI 非營利董事會的董事。讀者讀完應該能具體掌握:這些實驗室說自己在打造什麼、一旦放慢腳步究竟能釋出哪些安全工作,以及一套判斷標準,用來評估接下來這波 AI 立法與 Anthropic 上市究竟會強化還是削弱問責。
實驗室朝遞迴自我改進推進,而非消費性應用
托納最核心的重新定框是:OpenAI 與 Anthropic 從來就不是以消費性網路公司起家,多數人接觸到的應用層,對它們的目標而言只是附帶產物。她形容,兩家公司高層「心底深處」的願景——山姆·奧特曼、達裡奧·阿莫代伊,以及 Alec Radford、John Schulman 等研究員——就是打造比人更聰明的機器,而目前的機制是遞迴自我改進(recursive self-improvement, RSI)。
RSI 是個老概念:曾與艾倫·圖靈共事的 I.J. Good 在 1960 年代就描述過一種「超智慧機器」,能打造出更聰明的機器,從而引爆「智慧爆炸」。幾十年來這都只是理論。托納說,2025 到 2026 年正是這些公司開始在實務上做極簡版本的時刻——不是把 GPT-6 的鑰匙交出去說「自我改進吧」,而是逐步讓 AI 參與更多研發流程,並回報因此帶來的加速。她引用德米斯·哈薩比斯「奇點的丘陵地帶」的說法,作為這種心態的體現。
她對 AGI 這個標籤本身相當謹慎。她說 AGI 是一團「模糊的雲」,定義各不相同,而我們現在已經「身處那團雲中」——ChatGPT 早已跨過「不是隻會單一任務的專家」這道門檻——並主張這個詞作為里程碑已經不再有用。她點出一個諷刺:愈來愈切合現實的既有詞彙「超級智慧」,如今竟被總統拿來使用。至於 AGI 是否會在這一輪技術中到來,她的立場是「非常扎實地有可能」,應該預作準備,就像分析師看待臺海入侵情境一樣:大概不會發生,但也不該一笑置之。
「我們會先弄清楚怎麼做遞迴自我改進,然後一路做到擁有超級智慧……這在現在很多圈子裡已經被視為理所當然。」
放慢腳步能釋出大量積壓的安全工作
對於「對齊是否可解」,托納的答案是:對齊不是單一的一件事。她把人們掛在「對齊」底下的意思至少拆成三種:公司的防護機制有效(模型不會協助製造生物武器)、模型完全照使用者要的去做,以及模型在道德上整體是良善的。她認為第二種——做到使用者真正想要的事——最為一貫清楚,並表示這件事「目前並不在可解的軌道上」。
她把技術議程拆成對齊(讓模型試著做我們想要的事)與控制(在模型不照做時抓出來並制止)。她說,在這兩方面,前沿公司內部的人都能列出幾百件顯而易見該做的事,卻沒有時間做,因為每次微調或模型發布只能從中挑兩、三件應急。積壓的工作包括:
- 針對令人擔憂行為的可解釋性研究——追查網路中哪些部分被活化、與什麼相關——這既耗時又耗算力。
- 在更多不同情境下做行為測試,包括偵測「評估意識」——模型意識到自己正在被測試,因而表現不同。她舉例,某個 Google 模型的思維鏈推理出自己絕不能做某件事,「否則我會變成論文裡不對齊 AI 的著名案例」。
- 對各種對齊配方做更多實驗——Anthropic 的憲法、OpenAI 的模型規範——且每一種都要有更多訓練變體。
- 控制端的實驗與模擬,包括 AI 系統是否會私下合作或共謀。
- 泛化的底層科學:為何模型的知識能轉移到某些領域、卻不能轉移到另一些。她強調這是真正的科學,需要嘗試、批判與重現結果——本質上就是慢。
她的結論是:真正的限制是時間,而非可行性。當打造這些系統的人說必須在 12 到 24 個月內解決,她覺得這「很可怕」,並希望他們是錯的;她自己的判斷是我們大概有更長的時間,但她高度看重這些人的判斷,因為他們是「非常、非常聰明、非常、非常深思熟慮的人」。
「問題從根本上是否可解,其實不重要。重要的是實務上,在我們剩下的時間裡是否解得掉。」
正確的槓桿是拉高安全門檻,而非粗暴喊停
托納說,隨著積壓工作愈來愈多,她對「放慢」的看法也變了。她回憶自己當年認為 2023 年那封呼籲暫停六個月的公開信(後來被稱為馬斯克公開信)毫無意義——六個月能改變什麼?但今天,她說,打造系統的人會告訴她,如果不必時時準備新的模型發布或訓練,他們能完成多少事。
她仍認為字面上的暫停是糟糕的工具,理由有三:它會誘使公司繞過被暫停事項的字面規定;它的衝擊範圍太大,可能波及做無害工作的非營利組織與新創,傷害多元性;而中國大概會照做不誤。她偏好的框架是:在訓練或發布模型之前,對風險管理設定更高的信心門檻——如果實驗室能全速達標,那就該讓它做。
她也贊同一個她歸功於他人的區分:減緩垂直成長(原始能力的前沿),同時加速水平成長(微調、整合,以及部署到具體應用場景與科學問題)。她警告,「放慢 AI」常被聽成放慢一切,而她認為那會是糟糕得多的主意。至於更激進的版本——停止訓練、把全部算力投入推論、讓擴散模型產生營收來資助安全——她稱之為「相當重的鐵鎚」,今天並不需要,但如果實驗室的兩年時程證明為真,她可以想像這類措施會變得恰當。
OpenAI 董事會失手,因為問責繫於個人
托納確認,若能重來,她仍會重做 2023 年 11 月撤換山姆·奧特曼的決定——「我們走進去時就知道這會很難受。」被問到奧特曼是否值得信任,她說自己的立場「相當清楚」,隨即轉向結構問題:如果未來取決於任何單一個人是否值得信任,「那我們就完蛋了」,這正是她投入制度性工作的原因。
她唯一具體的後見之明是關係經營:董事會原本可以與團隊裡的高階主管建立更緊密的連結,也可以有更多董事真正認識關鍵人物。除此之外,她說完整答案得逐一走過許多細微決策,而且會變得「很煩,還牽涉法律」。
她用同樣的結構視角看 Anthropic 即將到來的上市。一般人的擔憂是,公開市場要求每季達標的壓力會排擠安全工作。托納的反駁是:上市公司的治理比私人治理更有結構、也受到更多外部檢視。她舉川普政府自願性的「超級智慧」協議為例——數家領先公司簽了,內容是把某些通報導向獨立的董事會委員會——她說這種機制在自行其是的私人公司「形同虛設」,但在上市公司卻有實質法律意義。她說自己正「高度關注」這場上市,正因為它可能朝任一方向發展。
「如果我們對未來的希望寄託在任何單一個人是值得信任的,那我們就完蛋了。」
商業化是算力帳單逼出來的,不是理念轉彎
托納把「OpenAI 在董事會危機後變成一家企業」這種敘事,放進「foom」(突然起飛)與複利式進展之間的長期爭論裡。她提到 Anthropic 早期一份檔案,設想一個約 100 人的實驗室——這是相當「foom 式」的假設,認為只要想法對了,就能做出非常先進的模型。結果並非如此。
實情是,研究實驗室開始賣 API 存取權來資助研究,而 ChatGPT 以「研究預覽」之名推出,意外成了大眾市場產品。要把最好的研究方法規模化,需要巨大的算力叢集,如今成本已達數千億美元。她主張,OpenAI 與 Anthropic 儘管管理風格與研究哲學不同,都走上商業化路線,是因為它們所在的技術樹既需要龐大資本,也會在任何「機器神」降臨之前很久就產生龐大營收。
她也提供一個觀察公司內部文化的有用視角:「被 AGI 洗腦」的死忠信徒,在 2010 年代中期還是會被恥笑的邊緣群體,如今聲勢看漲,因為他們不斷打造出人們最想要、也最賺錢的系統。非信徒現在則感受到壓力,得討好他們才能招募研究員。她點出一個刺眼的落差:奧特曼、阿莫代伊與頂尖研究員公開說的話,和公司政府事務人員在華府閉門圓桌會議上說的話,後者的姿態是純粹的 B2B 軟體業務:「確保政府不要太擔心。」
中國論述真實存在,但被當成藉口
托納把「但中國……」當成一個需要策略性解決的真實問題,而不是終結對話的藉口。她指出美國 AI 發展把中國 AI 往前拉的兩條具體管道:
| 管道 | 發生什麼事 | 她暗示的政策回應 |
|---|---|---|
| 蒸餾 | 中國實驗室用美國模型生成大量訓練資料 | 加以取締 |
| 安全漏洞 | 演算法機密與模型權重可被竊取 | 實驗室須大幅強化安全 |
關於安全,她指出近幾個月 OpenAI 與 Anthropic 都曾有外部團隊入侵存放大量演算法機密的空間——OpenAI 是 GitHub 上的 monorepo,兩家公司則是 Slack 存取權——這會讓攻擊者取得打造更強 AI 的豐富資訊。如果權重能被竊取並跑在別人的伺服器上,美國的領先就直接歸零。
在更深的層次上,她在「重要性」之外加了第二個維度:可控性。光譜不只是 5G 對比核武,而是這項技術究竟能不能被控制。她借用 Casey Newton 的「龍之家」比喻——龍有自己的意志,可能把你的城市燒了——再精煉成「控制設定故障的核武」,可能飛向你自己的一座城市。如果這才是真正的風險,中國也有同樣的控制誘因,因為中國共產黨把控制看得比什麼都重。
她已看到趨同的早期跡象。從截然不同的起點出發——美國的自由放任對比中國的封鎖與審查——兩國政府在過去一到三個月似乎正就重大網攻威脅與失控風險找到共同點。她密切追蹤中文用法:「失控」通常指很平常的事,但「極端失控」可能才是西方人說的那個意思。鑑於互信不足,她對短期內達成協議並不樂觀,但認為共同的威脅認知會為日後的協議創造空間。
觀察重點:州級法案、可能的過度立法,以及國會到底能不能通過任何東西
托納判斷 AI 政策是否上軌道的指標是制度性的,不是技術性的。第一,國會到底能不能通過任何東西——考量到它長年無法立法,這是個很低的門檻。第二,看各州:加州通過了前沿 AI 法案,紐約通過了幾乎相同、外加一些條文的法案,伊利諾州又再來一次,顯示這是有協調的推進,而非混亂拼湊。加州已在考慮強化自家法律。
她的負面訊號不只是不作為,還有過度立法。她點名科羅拉多州通過了一部大範圍 AI 法案,結果證明是個壞主意,還得靠委員會與後續修補——「糟透了」。她會對一部涵蓋全經濟所有 AI 的綜合法案抱持懷疑,而主張聚焦前沿系統:能力資訊的透明,以及對最先進實驗室訂出明確的風險管理標準。
兩個值得追蹤的未解張力
第一個是意識問題。托納不願正面回答,把它描述成對稱的陷阱:把沒有意識的系統當成道德主體會導致糟糕決策,把有意識的系統當工具用同樣是災難。她自己的傾向是「沒有」,部分因為前沿模型仍像電腦一樣脆弱。第二個是時程賭注本身。托納的政策建議——更高的安全門檻、更多可解釋性與控制研究、更強的實驗室安全、州級前沿規範——全都是針對「我們還有兩年以上」的世界校準的。如果實驗室的內部時程是對的,她承認升級路徑會走向限制訓練算力這類措施,而她今天稱之為重鐵鎚。讀者的任務,是觀察這兩個時鐘究竟哪一個在真正走動:實驗室宣稱的 12 到 24 個月視窗,還是她所押注、較慢的制度時鐘——國會、州議會與上市公司治理。