Sam Altman:如何為超智慧世界做好準備 | FO583 Raj Shamani
Sam Altman:如何為超智慧世界做好準備 | FO583 Raj Shamani
OpenAI 執行長山姆·奧特曼回顧他早期押注於擴大算力規模、在留存率不佳的情況下仍推出 ChatGPT,並主張創業者應追求看似有價值的長線豪賭,同時將失控與權力集中列為他對 AI 的主要擔憂。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
OpenAI 執行長山姆·奧特曼(Sam Altman)認為,AI 最大的風險並非單一的失敗模式,而是兩個彼此相反的方向——要嘛人類失去對遠比自身強大的系統的控制權,要嘛讓某一個人、一家公司或一個國家集中過多權力——而多元、彼此競爭的 AI 發展路線才是更安全的道路。在《Figuring Out》節目中與主持人 Raj Shamani 對談約一小時,內容多半不是在談 AI 本身,而是在談奧特曼怎麼思考:那個日後成為 OpenAI 的非共識押注、他說幾乎沒有其他人真正付諸行動的規模化直覺、他頂著內部反對硬推的 ChatGPT 發表、他在 Y Combinator 多年來評估創辦人的標準,以及他形容為「行程精確到極點」的人生所付出的個人代價。標題中「超智慧與人類」的框架,主要出現在風險討論,以及結尾被問到下一步想打造什麼的時候。
奧特曼是受訪者,Shamani 是提問者。讀者讀完應該能掌握:奧特曼本人對 OpenAI 創立邏輯的說法、他自述在「信念」與「妄想」之間如何取捨的決策準則、他評估創辦人的判斷捷徑,以及他坦率描述為了經營這家公司所放棄的東西——包括像普通人一樣匿名坐在咖啡店裡的樂趣。文中關於 OpenAI 市場地位、模型表現與進展速度的說法,均出自奧特曼,以下皆標明為其主張。
核心押注是「規模本身就會帶來能力」,而奧特曼說幾乎沒有人真的照做
奧特曼最核心的智識主張是:他和 OpenAI 早期團隊看到了一個別人雖然看到、卻沒有付諸行動的模式——神經網路做得越大,能力就越強。他稱這是人一生中只會得到少數幾個「重大洞見」之一,而且會反覆套用——他曾在企業、城市、國家,甚至 Y Combinator 本身觀察到類似的超線性規模報酬。AlexNet 的成果是第一個訊號;在正式的規模化定律(scaling laws)出現的好幾年前,團隊就已大致觀察到:網路越大,能做到的事越驚人。
他說,最令他困惑的是:為什麼 2015 到 2016 年間、甚至一路到 2018 至 2021 年,看著同一批資料的其他人,卻沒有得出「必須投入遠更多資源」的結論。他回憶一個聽起來很有說服力的反對意見:模型是從訓練資料中學習預測下一個內容,因此永遠不可能產出真正的新知識。他的回答是:模型學到的是通用推理能力,而不是資料中的特定問題,而推理能力可以遷移到新事物上。
「這幾乎感覺太簡單了。幾乎感覺難以置信。你知道,你看著這些神經網路犯的錯,你會說,這麼笨的東西怎麼可能只要把規模放大,就自己把所有問題都解決了。」
他點出的關鍵決策,發生在 GPT-4 訓練完成之後——他認為大約是 2022 年 8 月,距離公開發表約七、八個月。當時手上握著一個外界還沒看過的未發表模型,團隊決定押上整家公司去大量採購算力,預先佈局隨後出現的推理模型與思維鏈(chain-of-thought)研究。另一個選項是保守得多的算力押注與更慢的規模化。他說,這份信念取決於模型的品質:如果 GPT-4 只做到「GPT-3.8 的規模」,他們就不會下這個注。
只有當你能說服一個聰明的懷疑者時,信念才值得付出代價
奧特曼把「被誤解」與「犯錯」劃出清楚界線,也坦承最難的地方在於:在結果揭曉之前,你無法完全分辨兩者。他的檢驗方式帶有社交性但有紀律:你能不能把這個押注解釋給一位樂觀、熱情、頭腦有紀律但並非專家的聰明朋友聽,並讓他更新看法、理解為什麼這可能行得通?OpenAI 創立時,預設反應是強烈懷疑,但夠多聰明的非專家說「這讓我改觀了,這值得做」,才讓他們繼續走下去。他說,如果他們說服了所有人,那就太顯而易見了;如果一個人都說服不了,他自己反而會更懷疑。
他強調,逆著聰明人的意見走應該很少發生,而且代價高昂。他遇過一些創辦人以「反其道而行」為榮,他認為這種事應該「非常不情願地」做,並把它當成昂貴、不太可能正確、高風險的一步。至於「用短期低地位換取長期高地位」這個說法,他認為 OpenAI 早期正是如此:做一件地位極低、幾乎沒有人當真的事,而且還是「一群小鬼」在推銷「AGI,也許一百年後,也許永遠不會來」。
ChatGPT 的發表,是他違背自己領導團隊意見最鮮明的例子。團隊多數人認為聊天機器人太早推出、品質還不夠好。推動他的有兩件事:一是 Y Combinator 的教訓——如果你的第一版不會讓你有一點點尷尬,代表你等太久了;二是內部原型的留存資料。留存率很糟——他提到第一版大約只有 5% 使用者會繼續使用——這種數字通常會直接扼殺一次發表。但和那 5% 的人聊過之後,發現其中有些人愛得要命,而 YC 的教訓是「少數深深愛上它的人,勝過一大群只是有點喜歡的人」,這讓決定拍板。
| 決策 | 奧特曼自述的依據 | 懷疑者的說法 | 結果定位 |
|---|---|---|---|
| 創立 OpenAI(2015) | 規模化直覺;AlexNet 及其後續成果 | AGI 還要一百年,或永遠不會來;必須走符號式方法 | 低地位、低機率、高期望值的押注 |
| 大舉押注算力(GPT-4 之後,約 2022 年 8 月) | 未發表的 GPT-4 品質;已內化的規模化特性 | 外界還沒看過 GPT-4;這個押注看起來很瘋狂 | 若只有「GPT-3.8 規模」就不會下注 |
| 發表 ChatGPT | 留存率約 5%,但那 5% 愛得極深;YC「第一版要讓你有點尷尬」法則 | 太早、還不夠好 | 領導團隊多數反對 |
護城河問題很重要,但不是第一個問題
談到新創,奧特曼反駁「這要怎麼變成壟斷」是他問創辦人的關鍵問題。他說,那只是「你的長期競爭優勢是什麼」的另一種說法,很重要,但不是最重要,甚至排不進前幾名。他先問產品、使用者為什麼需要它、你要怎麼取得更多使用者。壟斷框架是策略的一環,不是切入點。
他花更多篇幅談自己在 YC 用 30 到 40 分鐘判斷創辦人的方式,以及他作為投資人的看法(Reddit 與 Stripe 都是他投資過的公司)。他特別點出幾項他認為被討論得不夠的特質:
- 表達清楚——能不能把事情講好,而且讓人容易跟上。
- 讓人想跟他共事——離開會議時,他會不會想和這個人一起工作;畢竟早期創辦人必須向共同創辦人、客戶、員工與投資人傳教。
- 發想速度——能不能快速產出想法並加以改良。
- 新穎且論證紮實的世界觀——有沒有他沒聽過的有趣想法。
他說,忍耐力很難在短暫會議中直接判斷,只能靠對方的人生經歷故事,而且即便如此,也很難分辨是真實還是表演。至於他自己,他說願意堅持自己相信的事、持續走下去,這點是真的,但相對於其他創辦人,這並不是他最大的優勢。
他最強的反面主張是:成功沒有單一公式。他說,拿 YC 前十大公司,隨機重分配哪位創辦人經營哪家公司,「那會是一場災難」——這正好證明各種不同型別的創辦人都能成功。反過來說,失敗比較容易預測:缺乏幹勁、專注、清晰度、願景,以及無法一次又一次「帶著笑容」解決難題,幾乎必然預示失敗。
野心可以教,靠的是同儕團體與逐步升高的挑戰
奧特曼說,他在 YC 最愉快的意外之一,就是發現野心可以教——不是對每個人都有效,也不是可預測地有效,但確實會發生。他認為最有效的機制,是讓一群人一起經歷同一件事的同儕團體,加上難度逐步升高的連續挑戰,讓人發現自己能做到比想像中更多。他把驅動力主要歸因於正面情緒:身邊有人在做了不起的事所帶來的興奮,以及「他們做得到,我也做得到」的推論,而不是單純的不安全感——不過他也提到,Paul Graham 把其中一部分歸因於 demo day 的壓力,以及不想失敗的心情。
他半認同「你是最要好的五個朋友的平均值」這個說法——「不完全對,但有些道理」——理由是人天生就會向周遭的人學習。他給創辦人的後設建議很直白:少聽一點建議。YC 可以濃縮出五到十條高度自信的通用教訓,那些該聽;除此之外,大多數建議都太針對個別情況,無法轉移,而且「你不會因為聽了第 800 集建議型播客,就變成偉大的創辦人」。
至於他自己的「13 條規則」文章,他說已經不記得清單內容,現在可以寫出更好、更短的版本。他會放在第一條的規則是複利:很多人是「同一年的經驗重複 20 次」,而不是成長 20 年,因為他們在職涯早期就停止把自己推進不舒服、不顯眼的新事物裡。他說,從實證來看,大多數人並沒有留在複利曲線上。
兩種失敗模式構成 OpenAI 的風險思維,而多元並存是避險
奧特曼點出 AI 出錯的兩種「卡通式」方式。第一是失去控制:人類有意或無意地把未來交給遠比自身強大的系統,而且拿不回來。第二是權力集中:某個人、某家公司或某個國家相對於其他所有人變得過於強大,他稱這種狀態「非常不穩定」。他自述偏好是多個 AI 發展路線以略有不同的方法彼此競爭、以不同方式推出——他把這個立場連結到 OpenAI 的創立,以及他個人對權力高度集中的反感。
他確認自己特別擔心 OpenAI。他的說法是:這家公司已經做了、也會繼續做「社會中一股非凡的力量」,他相信它整體上可以帶來巨大的善,但風險與責任都非常高。至於人才出走——他點名 Mira、Ilya、Dario 都離開去打造自己的東西,主持人也提到 Elon——他的解釋偏心理層面而非策略層面:在風險極高的情況下,很多人會變得只信任自己來打造它,於是兩種擔憂融合成「他的做法不好,所以我不能讓權力集中在他手上」。
被問到在好幾家資金雄厚的實驗室並存之下,OpenAI 的不公平優勢是什麼,他舉出:使用者最多、從晶片到資料中心再到模型的最佳技術堆疊、最強品牌,以及他認為使用者感受得到的價值觀——他明確表示「我們不想成為統治所有人的那家公司」。被問到自己的個人優勢,他說自己觀察這個領域發展的時間最久,也有生態系的人脈,不過他承認 Ilya 投入的時間比他更長。
文化上的押注,是敢於命名一個不受歡迎的目標,而且不做避險
奧特曼說,他希望歷史書對 OpenAI 的記載,是它重新發現了造就一流研究實驗室的文化,而這種文化已經消失很長一段時間。配方是:對一個雄心勃勃的目標極度清晰、不做避險、敢於聽起來瘋狂。OpenAI 創立時,就明白表示自己在嘗試打造 AGI——他說這個主張連 DeepMind 當時都已經不再提了。多數人覺得他們瘋了,也不想和他們扯上關係,副作用反而是把真正相信這件事的優秀人才集中了過來。他說,近代許多偉大的科學與創新計畫都有同樣的模式。
對於大規模辭職威脅——據報導在他被解職時約有 700 名員工準備辭職——他謹慎地不把功勞大多歸給自己。他把功勞歸於選出領導團隊、設定公司運作方式,但說真正的成就是聚集了一群被同一使命驅動的非凡人才,以及一種文化:該有高度信念的地方高度信念,其他地方則開放、包容、勇於探索。
談到如何避免身邊都是應聲蟲,他說自己大概需要更多反對意見,而不是更少,而且許多和他處於類似位置的人,出錯就出在身邊圍滿了同意自己的人。他的對策是老朋友、共事十年以上的人,以及一種獎勵強力反駁的文化——但他也承認,你越常判斷正確、握有的權力越大,這件事就越難。
這份工作奪走了他的隨性,而他說自己天生能吸收其餘的一切
奧特曼描述了清楚的前後對比。OpenAI 之前,他生活輕鬆、興趣很多,某個平日晚上的臨時邀約,他都能和朋友吃頓飯。現在他的行程「精確到極點」,已經很久沒有做任何臨時起意的事。被問到最懷念什麼,他說的不是抽象的隱私或閒暇——而是週六下午帶著筆電坐在咖啡店裡,慢慢回 email、看著世界運轉,他說自己已經好幾年沒這樣做了。他指出,就算他真想這麼做,旁邊兩桌也會坐著兩名維安人員,他根本不可能匿名。
他說,並沒有哪個單一時刻讓他意識到自己再也不能無憂無慮;早期他沒有在情緒上真正面對成功意味著什麼,後來確定這件事會成,他只想著自己的人生會變得非常瘋狂,「那很糟」。他相信自己「天生就適合」這種生活,能應付身邊大量的瘋狂。他很少緊張——上一次有印象,是發表一項 Navier-Stokes 成果之前,他稱那是「貨真價實的東西」,讓他心跳加速。他以前每天冥想幾個小時,現在不做了,但只要坐下來閉上眼,還是能在幾秒內進入冥想狀態。
談到家庭,他說自己盡量就是陪小孩、不分心,也注意到週末早上在家工作與進辦公室工作的差別。他依靠一種節奏:與人密集互動的時間,接著是真正把世界隔絕在外的獨處時段。他說,對於小孩在 AI 驅動的世界中長大,他感到安心,因為他對人適應環境、茁壯成長有極大的信任,但也承認自己不知道未來會是什麼樣子。
他下一步想打造的,是一臺能做科學的機器
被問到下一步想打造什麼,奧特曼的答案不是產品,而是一種能力:推動 AI 去發現新科學。他說最近的數學成果讓他覺得「相當驚人」,也讓他認為「機器能幫助人類理解世界」這個里程碑,比他預期的更近。他想要一臺能在物理學產出最深洞見、帶來新醫療方法與新能源的機器——他說這些東西我們現在還想像不到,但更好的科學理解會把它們釋放出來。他長期相信,世界變好很大程度來自更好的科學理解,而 AI 加速這件事,對人類將是變革性的。
至於成為山姆·奧特曼的代價,他不接受「受苦」這個框架。他稱這些取捨是真的——不能在咖啡店當普通人、疲憊、壓力、別人投射到他身上的焦慮——但他說自己覺得無比幸運,而這就是他現在所知的全部人生,其他一切已是遙遠的記憶。
值得持續追蹤的未解線索
整集有兩股張力始終沒有解開。第一,奧特曼說自己時時刻刻都在質疑一切,不這麼做會是災難;但他同時說自己行事一致、有信念,直到找到改變心意的理由——讀者只能自行判斷,那些算力與產品押注背後究竟有多少真正的懷疑。第二,他自述偏好多個彼此競爭的 AI 發展路線,卻又描述 OpenAI 的種種優勢(使用者最多、最佳技術堆疊、最強品牌),而他沒有說明:如果競爭變少而不是變多,他會怎麼做。具體值得觀察的,一是他稱為當前最難問題的進展速度治理——相對於人,一個 AI 系統該被允許多聰明、進步可以多快、風險在哪裡可以接受;二是科學發現的推進,他說數學成果已讓他的時間表提前。