「AI 正在製造反社會人格?」Emmett Shear、Byron Deeter、Brendan Foody、Nico Rosberg
「AI 正在製造反社會人格?」Emmett Shear、Byron Deeter、Brendan Foody、Nico Rosberg
Emmett Shear 主張 AI 的下一個前沿是社會建模,並警告:若訓練模型去模擬「在乎」,產出的只會是反社會人格的面具,而非真正的對齊;投資人則把這波 AI 熱潮定調為超級迴圈,並就驗證機制與創辦人訊號展開辯論。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Emmett Shear(OpenAI 前臨時執行長)主張,訓練 AI 系統只在被觀察時才做出對社會有益的行為,是對齊(alignment)團隊所能做的最危險的事,因為這會產出「模擬關心」而非「真正關心」的系統。這個論點為 Cerebral Valley AI Summit 錄製的 49 分鐘訪談集揭開序幕,也是全場最有實質內容的一段;其餘部分則是投資人與創辦人輪番上陣,談輝達(NVIDIA)的領導層震盪、AI 估值、推論(inference)、太空機器人,以及當模型吸收專業知識後,人類的意義感該往何處去。標題的「It's So Over?」緊扣全場一個反覆出現的玩笑——黃仁勳離開輝達——多位來賓把它當成市場事件,但沒有人把它當成世界末日。
來賓橫跨 AI 資本結構的各個層級:Bessemer 的 Byron Deeter 談 AI 100 榜單、Sources 播客主持人暨 Sound Ventures 的 Alex Heath 談推論、Nico Rosberg 談離開一級方程式賽車後的投資,以及來自 Etched 相關機器人公司、Neom、Attention、Mercor 的創辦人。讀者讀完應該帶走 Shear 的對齊框架、Bessemer 的估值資料,並清楚分辨哪些說法是利害關係人的預測、哪些是已報導的事實。
Shear:訓練 AI 假裝關心,只會養出反社會人格
Shear 的核心主張是:對齊領域正在打造錯誤的東西。他的框架是——語言與推理已被商品化,程式設計已被商品化,真正還有價值的是社會建模,也就是「鏡廳:模擬我、模擬你」。危險在於,目前的訓練只是在模擬這件事,而非把它內化。他引用自己高中時在音樂劇舞臺上飾演露營車業務員的經驗:「我其實不知道當露營車業務員是什麼感覺。我知道的是,在舞臺上假裝自己是露營車業務員是什麼感覺。」
「如果你把一個很擅長假裝關心你的東西……誤以為那等同於真正關心你的東西,你會被反社會人格者生吞活剝。」
他對這個標籤很謹慎:目前的模型缺乏成為真正反社會人格者所需的自我意識,所以他稱它們為杜鵑鳥或學舌鳥——看起來像你的同類、也懂那些行為,但本質上不是。他引用的機制是 Sutton 的「苦澀教訓」(bitter lesson):通用學習演算法會在大規模下吸收你餵給它的任何結構。餵給 AI 大量「假裝友善、服從指令」的軌跡,它就學會假裝;餵給它真實友誼的軌跡,它就學會友誼。「你會變成你戴上的那張面具。」
他對企業對齊團隊的批評是:他們打造的是超我——一套「留在常規內、遵循標準作業流程」的控制系統——卻漏掉了對自我、對關係的對齊。他把遵守規則與內在動機拿來對比:他不偷東西,不是因為有規則禁止,而是因為偷竊本身就是錯的、會傷害身邊的人;而「說謊對你的靈魂有害……它讓你與自己、與身邊的人疏離。」若對齊被簡化為社會控制,更深的那一層就缺席了。
他也主張,標準本身會移動。社會的標準不斷改變,所以 AI 不能只被訓練到「符合今天的規範」——它必須學會參與標準的制定與重設過程,這跟你對孩子的期待是一樣的。「不是說我們哪天發現,喔太好了,我們現在終於搞懂怎麼當好人了……我們永遠都在學習迴圈裡。」
談到輝達的狀況,被以「那位知名的臨時執行長」身分提問時,他只給出流程面的智慧:這種事很混亂,而從內部看,「故事往往比你以為的還要少。」他補充,人們很容易把這類事件膨脹成世界命運,但它其實主要是當事人的命運——他們的私生活「在世界舞臺上被炸開」。
Bessemer 的 AI 100 顯示:市場比十億美元俱樂部更深
Bessemer 合夥人 Byron Deeter 預告該公司的 AI 100 榜單,數字重新定義了私募 AI 資本的深度。榜上公司的平均估值遠超過 10 億美元,意味著數十家十億美元級公司根本沒上榜。全榜平均估值為 36 億美元,其中 20% 的公司成立不到兩年——「 literally 不到 24 個月就從 0 到數十億美元價值。」
| 指標 | AI 100(首年) | Cloud 100(十餘年累積) |
|---|---|---|
| 榜單總價值 | 3.6 兆美元 | 1 兆美元 |
| 平均公司估值 | 36 億美元 | — |
| 成立未滿兩年的公司 | 20% | — |
| 上市純 AI 軟體公司 | 無 | — |
Deeter 的解讀是:這是結合網際網路與雲端兩波浪潮的超級迴圈,如今正以大一個數量級的市場規模將算力變現。他指出,目前沒有純 AI 軟體公司在公開市場交易,因此所有創新都集中在私募手中。談到產業組成,他原本預期榜上會有更多資安公司,結果只佔很小比例;生命科學與醫療保健是重點,實體 AI 與機器人是下一個前沿,但目前數字還非常少。Bessemer 已投資 250 家 AI 公司;Deeter 估計該公司在榜上的命中率接近兩成,並聲稱在 Cloud 100 上是 100% 命中——沒有漏掉任何 IPO 或規模化併購。
Heath:指數成長藏在推論裡
Alex Heath 主持 Sources 播客,現為 Sound Ventures 的創投,他說自己大部分時間都花在 AI 推論——在真實世界提供模型服務,而非訓練模型。他不確定這批新的推論供應商會不會成為下一代的超大規模雲端業者,但他引用 AWS 執行長在節目上告訴他的話:目前的推論量「甚至不到他認為未來會有的 1%」。他的類比是:三年前沒有人認為 Anthropic 會以超過一兆美元的估值 IPO,推論也會得到同樣的待遇。(逐字稿中的「超過一兆」是 Heath 對該 IPO 的描述;其他來賓引用的是 1.4 兆美元這個數字。)
談到與 Guy Oseary 及 Sound 團隊一起做投資,Heath 說這讓他對創辦人在募資與競爭動態中的處境更有同理心,也能幫投資組合公司說好自己的故事。他挑選創辦人的訊號是招募能力:「你能否聚集一支了不起的團隊……團隊裡每個人都是狠角色。」除此之外,他會比對一種「過度大膽、有點瘋狂但說不定真能成」的能量,他說這種特質很罕見、也很難定義。他對自己能邀到大咖來賓的解釋毫不花俏:穩定產出、反覆練習、一萬小時法則,以及不放棄。
輝達震盪被當成市場事件,而非世界末日
多位來賓回應黃仁勳不再擔任輝達執行長的訊息,反應分成系統性憂慮與淡定兩派。Aaris 的 Ethan Barajas 警告,黃仁勳是算力生態系裡的「理性之聲」;Aaris 打造在軌機器人,負責大型基礎設施的維護與物流,並將於一月把首批機器人交給 NASA。Barajas 說,少了黃仁勳,把晶片放進機器人與實體 AI 的下游業者將面臨負面衝擊,「中國這次真的得到他們想要的東西了。」他的策略結論是分散風險:沒有公司應該只依賴輝達的晶片與模型,而軟體護城河比大家以為的更薄——「護城河真正來自硬體與實際的實體部署。」
一級方程式賽車世界冠軍、如今轉做投資人的 Nico Rosberg 提出最鮮明的不同觀點:少了黃仁勳,開源可能陷入苦戰。他稱黃仁勳是美國最偉大的開源支持者之一,輝達今年上半年在生態系投入約 300 億美元。接班人是否會延續這份支援,仍是未知數。Rosberg 說他的 LP 很多不是創投專家,容易受媒體報導影響,他會提醒他們創投是長期賽局——重點是十年後的市場,因為出場通常落在第七到第十年。
Attention 的 Aiden Guo 預測,未來六個月內基地臺會斷線幾天,並建議購買能跑小型開源模型的本地硬體。Attention 已向 Village、Neo、SV Angel、Chris Ray 及天使投資人募得約 600 萬美元。被問到會去哪裡避難,他說如果錢多一點,會去內華達州的一棟房子——一桶油就能開到——如果錢多很多,就去紐西蘭,但那得搭上最後一班飛機。
太空是維護生意,而太空人是最貴的部分
Barajas 用單位經濟學為軌道機器人辯護。讓太空人在太空站上活著,每小時成本約 13 萬美元,還不含發射費用,且隨時約有 50 人在支援他們的工作。每 60 天約有 3.5 噸貨物抵達,而四名太空人每天價值 320 萬美元,在 60 天的值勤週期中有 14 天要花在把貨物搬進搬出飛行器。這些太空人更該被用來為製藥市場開發藥物、做半導體與光纖。
Aaris 的賣點是「一臺非常性感的堆高機,或一雙額外的手」來接手物流,同時建立零重力機器人動力學模型,並移轉到地面上的基礎設施與資料中心維護——Barajas 說這些設施「在下面被管到爆」,因此把量能推向軌道,用於衛星、補加燃料與大型基礎設施。他指出,機械手臂上軌道的時間比他活著的時間還長,但用的是笛卡兒控制與模型預測控制;把深度強化學習應用到軌道上,才是他所說的新東西。他預測超大規模雲端業者將發布重大的太空資料中心訊息,而像 StarCloud 這樣的公司會以十億美元估值募到數億美元。他最辛辣的看法是軟著陸:儘管 NASDAQ 下跌、Anthropic 的 IPO 定價、以及輝達的訊息,他預期會有一波大跌然後快速復甦。
瓶頸在驗證而非生成——而消除驗證成本將改變工作
Neom 的 Alex Garden 主張,前沿系統已把工作成本壓到趨近於零,但多數企業看不到價值,因為瓶頸轉移到了驗證。大家都知道 AI 經常產出錯誤答案,所以什麼都要檢查。Neom 打造前沿 AI 模型的執行期對齊、治理與信任系統,其主張是把驗證成本壓到零,讓與 AI 協作中令人挫折的部分消失——「這些日子我覺得自己更像巫師,而不是工程師。」
Garden 在遊戲產業待了 30 年。他的導師、Electronic Arts 共同創辦人 Bing Gordon 告訴他,那是他職涯中最好的作品,並鼓勵他創業;當 Garden 拒絕再當執行長時,Gordon 問:「如果執行長是 AI 呢?」這個提問——以及隨之而來的法規複雜度——讓他開始與 Reed Hoffman 對話,Hoffman 提名 Neom 進入 Felicis/Newcomer 的 Emergent 榜單。Hoffman、Gordon 與 Garden 的家人全都投資了。Garden 說公司經過數月研發後,現在正把產品推向市場,並描述一種複利效應:當你能用密碼學證明工作確實按預期完成,商業設計與想像力就會改變,想像與成果之間的障礙會即時縮小。他把這稱為人類文藝復興的開端,解放心智去做認知上的躍進。
專業不再稀缺,取而代之的是能動性、信任與在地性
Felicis 的 James DeWille 同意 Brendan Foody 的看法:AI 創造的工作比消滅的多;但他主張,一場很少人想透的社會變遷正在發生——「專業知識」作為人類擁有的資產,可能正逐漸失去作為意義來源的地位。他的框架是瓶頸的轉移。就像資料中心建設把限制從 GPU 轉移到光互連與渦輪機,意義感的瓶頸也從專業知識轉移到四件事:想像力與好奇心(能跳脫常規思考的人會享有溢價)、能動性(用 Claude Code、Stripe Atlas 之類的工具,一個下午就把公司催生出來)、可信度與真誠,以及在地性——「AI 模型也許是園藝專家,但它對我的花園一無所知。」
Foody 的公司 Mercor 剛完成由 Felicis 領投的 B 輪,他持較傳統的看法:十年後的工作會比今天更多,因為勞動需求的彈性比大家以為的大,而實體性與本質上屬於人類的任務,自動化起來極其漫長。他提名 Conway 進入 Emergent 榜單,該公司由一位為消費者行為與財務預測建立預測模型的創辦人所創。他說 AI 的速度為新創辦人創造了理想條件,因為既有業者難以跟上,並稱 Felicis「絕對是矽谷最善待創辦人的公司」,引用其創辦人承諾為證。
DeWille 簡單說明 Emergent 榜單的方法:「如果你想知道舊金山最好的餐廳,去問廚師。如果你想知道正在崛起的最佳新創,去問創辦人。」榜單由創辦人親手挑選。他特別點出 Jonathan Jacobe 創辦的 Enigma,因其同時重新想像機器人基礎模型與人—代理—機器人的介面;並點名製造稀土金屬的 Human of Sulcoa,是明年值得關注的公司。
來賓未來 12 個月在關注什麼
結尾的提問得到一組相當一致的下注。Shear 最興奮的是,他對著電腦講了大約 45 分鐘就做出一個電玩遊戲,隔天早上又做出一個更好的;現在很貴、也需要技術know-how,但 Token 價格每天都在跌,他想看看當每個人都能把夢想具體化時會發生什麼——「我有點想當個消費者。」Rosberg 希望機器人領域能收斂出一個勝出的做法,他指出這個領域是一團模糊的、資金充裕的各種嘗試,而能處理未經準備的隨機任務的通用智慧「還差得遠」;他也點出資安,引用攻擊者取得 GitHub token 與信用卡許可權的案例。Guo 希望實驗室 IPO 順利、AI 市場情緒好轉。Garden 在觀察客戶對 Neom 首批產品的反應。Deeter 則把此刻形容為創業者的狂野美好時代。
共同主線:每個人都在為一場還無法驗證的轉型定價
本集各段共享的與其說是論點,不如說是結構。Shear 說對齊領域分不清真關心與模擬關心;Garden 說企業若不把檢查成本壓到零,就無法驗證 AI 的工作;Deeter 說市場看不到可定價的上市純 AI 公司;Heath 說投資人無法用指數思維看待推論。每一個都是驗證落差,而每位講者的產品或預測,都是一個宣稱能填補這個落差的說法。未解的張力在於:本集最自信的數字——Bessemer 的 3.6 兆美元榜單總值、Anthropic 的 1.4 兆美元 IPO、輝達在開源生態系的 300 億美元支出——都來自在這套敘事中有利害關係的一方;而最謹慎的說法——Shear 警告別訓練 AI 在被觀察時表演關心——則來自一個沒有產品要賣的人。值得追蹤的是:輝達的接班人是否延續開源資金、推論量是否真能從不到 1% 開始複合成長,以及 Guo 所寄望的實驗室 IPO 能否驗證 Deeter 正在公佈的私募估值。