跳到正文
Cheeky Pint(youtube.com)· John·· 5 小時前精選AI 評分85

Sam Altman 主張讓算力變便宜的理由

Sam Altman 主張讓算力變便宜的理由

AI 導讀

OpenAI 執行長 Sam Altman 反對把單一超級智慧關進沙盒,主張採用受監控的代理團隊與迭代式部署;他也談到算力短缺,以及晶片、資料中心與定價等限制如何形塑 AI 的進展。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文 · 原文

OpenAI 執行長 Sam Altman 認為,AI 將會找出比世人預期嚴重得多的軟體漏洞,而長治久安的解法是重新設計系統架構,而非修補程式碼。本集標題所點出的話題——他偏好許多個略勝人類的 AI,而不是一個智商一兆的模型——其實只佔了幾分鐘;對話大部分時間都在談運算資源的經濟學、由 AI 驅動的 AI 研究,以及為什麼個人代理(personal agent)至今還沒等到它的 Macintosh 時刻。

這場訪談是與 Stripe 相關的主持人 John 邊喝啤酒邊進行的廣泛對談,他引導 Altman 走過 PHP 漏洞事件、沙箱(sandboxing)與對齊(alignment)、代理「團隊」、OpenAI 內部的運算資源分配、記憶體與資料中心的供給緊縮,以及代理式商務(agentic commerce)。讀者讀完應該能帶走 Altman 關於運算成本的具體數字、他對那次 Navier-Stokes 證明執行過程的說法,以及他認為生產力最高的 AI 使用者與其他人之間的差距正持續擴大的觀點。

AI 將揭露比世人預期更嚴重的漏洞,光靠修補並不足夠

談到 PHP 漏洞為何拖了這麼久才被發現,Altman 的回答是:模型這陣子以來一直愈來愈擅長在真實環境中找出漏洞,只是人們還沒把它們指向整個網際網路。「網際網路上有太多表面積、太多程式碼了,」他說,而隨著人們開始掃描,「我們正身處一個比預期嚴重得多的漏洞世界」——即使相對於那些本來就預期會有很多漏洞的人也是如此。John 追問更難的一點:修好軟體是顯而易見的回應,但改變架構「更難,卻是更持久的解法」。Altman 同意,並主張重新設計架構如今已可行,因為「我們有了這個驚人的新工具來做這件事」。

對話轉向全球軟體升級會是什麼樣子。John 問,一個 PHP 程式碼庫該用 Rust 乾淨重寫,還是就地升級,以及這份工作會不會變成 Infosys 這類顧問公司的意外之財。Altman 的回答是,新一代新創已經在討論,要為一個模型持續變得更聰明的世界,打造一種全新的網際網路與應用架構——重新思考「成為一個路由器、一個作業系統、一個應用程式,究竟意味著什麼」。他坦承這在兩年前聽起來會很瘋狂:「不可能。表面積太大了。你寫不完那麼多東西。而現在,也許很快就能了。」

在防禦方面,Altman 不願宣告勝利。「關於 PHP 這件事,我完全不想宣告勝利,因為我仍不認為我們已經搞清楚了。而且我假設會有一些壞事發生。」據他描述,第一天的情況比他十天前最壞的擔憂好得多:企業用這些模型打造修補程式與網路防禦,有些則把應用程式下線一小時,跑一次掃描再重新部署。他指出,被擋下的漏洞利用不會像真正發生的漏洞利用那樣登上新聞版面。他也轉述資安專家的憂慮:他們不再確信威脅模型裡已內建了正確的假設,因為如果 AI 發現了需要沒人懂的物理學才能理解的深層新穎硬體漏洞,某個假設可能就這麼失效了。

沙箱爭取時間,但對齊才是唯一持久的保證

John 觀察到,OpenAI 及類似公司內部的人似乎悲觀地認為沙箱根本不可能做到——這原本不會是他起先的心智模型。Altman 的回答層次分明,而非輕描淡寫。「我認為我們可以做得比現在好得多。而且我們應該。現在最該聚焦的就是更好的安全模型。」但他接著往前推演:如果一個模型比最聰明的資安研究員聰明一百萬倍,又能發現人們不懂的新科學,「你真的會願意信任那樣的沙箱嗎?」

他的框架分三個階段層層遞進:

階段機制Altman 的但書
沙箱把模型關在強化的環境裡「在某種程度上」有效;一旦能力超出沙箱就失效
監控檢查思維鏈與活化值,確認模型沒有在欺騙操作者「能再撐久一點」
對齊以極高的信心相信模型忠實遵循操作者意圖,並「永遠」尊重人類的控制唯一能讓沙箱持續領先於能力的基礎

John 提出第四個想法:給模型彼此競爭的誘因,讓它們互相叛離。Altman 稱之為「一個有前景的方向」,並說代理團隊很可能具有「非常有趣的縮放定律特性,但在對齊特性上也有變異」。他否決「swarm」這個詞——「Swarm 真是——我知道,那是蝗蟲。對。不好。品牌形象不好」——兩人最後定調為「代理團隊」。

本集標題的主張正是在這裡真正落地。Altman 說,他「直覺上寧願讓一兆個略勝人類智慧的 AI 加入社會,也不要讓一個智商一兆的 AI 加入社會」。他把這連結到人類社會的韌性:儘管有種種深層缺陷,它「強韌得難以置信」,因為許多人透過多元主義與民主彼此制衡。他曾難過地覺得 AI 似乎正朝反方向走,如今則對代理團隊這個方向感到興奮——同時強調這是必須努力爭取的東西,而非自然而然會發生的結果。

頂尖 AI 使用者與其他人之間的運算差距持續擴大

John 指出一個顯著的落差:高等數學與高等駭客攻防都用了代理團隊,而一般的企業工作卻沒有,儘管這項能力已存在數月之久。Altman 把它框定為「我們能對單一問題投入多少運算資源並讓它產生效益」的問題。幾年前,對一個問題投入超過一美元的運算資源根本毫無幫助——GPT-4 會硬擠出十萬個 Token 然後給出答案,卻無法有效地寫軟體。思維鏈(chain-of-thought)與推論時運算(test-time compute)改變了這一切,也唯有如此,群體才變得有用:「你不可能用一堆 GPT-3 組成有用的群體。」

他說,結果被嚴重低估了:多數人使用 AI 的目的,與生產力最高的使用者所做的事之間的差距,「就這樣不斷擴大、擴大、再擴大」。在 OpenAI 內部,資本分配基本上就是運算資源分配。研究員享有很大的自由度,預設是抱持懷疑,而非硬性上限。「我們盡量從不因為有人用了大量運算資源而獎勵他,」Altman 說——沒有 Token 排行榜,而在排行榜上名列前茅,在升遷時「其實還稍微扣分」。他坦承隨著成本規模擴大,這必須改變:一位研究員花一千萬美元研究有趣的數學沒問題,一億美元「有點貴,但數學很酷」,到了一億美元以上,「我真的需要你在數學上收斂一點」。

他為新範式期間刻意不加約束辯護。當 OpenAI 執行 Navier-Stokes 證明時,沒有人瞭解代理團隊的縮放定律——要幾個副本、推論要跑多長、用哪個模型。「我們確實讓它在數學上失控了一週。而且是刻意如此。」他估計這項工作每份證明的成本大約在一千萬美元之譜,不過數學方面的總支出達到數億美元,產出的成果也超過那 700 份已發表的證明。他預測同樣的證明一年後可以用百分之一的成本重做一遍,而 OpenAI 在把美元或浮點運算轉換成有用產出上,會找到「每年十倍的改善」。

發表 AI 發現的科學,與建立這些領域的科學家之間存在真實的張力

這場數學攻勢引發了反彈,Altman 認真看待,但不在實質上讓步。「人類值得擁有基礎知識。我們不該壓著一項重大的基礎科學發現不發表。」但他也承認一個相互競爭的公平性:對科學家而言,職涯與成就感來自於發現,而如果 OpenAI 對數學這麼做、接著又對其他領域這麼做,「我們對那些領域的工作者虧欠良多」,必須找到一個解決方案空間,讓世界受益,也讓那些社群得到他們未來最好的版本。他說 OpenAI 現在正在處理這件事。

他描述內部的某個時刻:一個新模型在名為「Model Name-Hold My Beer」的頻道裡,被丟去處理研究員最難的問題,然後在許多領域「一個接一個被攻克」。他因為興奮而兩晚幾乎沒睡——同時也感到「比我預期的更多悲傷與憂鬱,以及一種某個東西正在終結的感覺」。John 稱之為惆悵;Altman 同意這不只是懷舊,並把它比作他父親在 1950 年代看著馬匹在愛爾蘭產業中仍被有效運用——那是一項人類用了數千年的技術的尾聲。他補充說,多數數學家從未解出千禧年大獎難題,但「有可能解出」正是讓這個領域美麗的一部分。

John 溫和地反駁,說那個時刻對 AI 來說並不壞——「你有在關注 2026 年嗎?」——Altman 同意對 AI 來說並不壞,但仍對這種方法抱持同理。

運算資源供給受限,而那隻看不見的手正在失靈

Altman 預期運算資源的擴建會經歷「非理性繁榮的時刻」、崩盤、緊縮與過剩,但他說,對能力足夠強、價格足夠低的模型的需求「只會往一個方向走」。OpenAI 正從幾個面向回應:一款在每瓦智慧效能上表現強勁的晶片、學習自建資料中心,以及一項旨在打造資料中心的機器人計畫。他點出一個較少被討論的想法——「自我複製的資料中心」,用 AI 控制機器人去運轉晶圓廠,並建造渦輪機、太陽能板和資料中心——並說這「已在掌握之中」。

John 指出,資料中心的瓶頸在於許可與零元件,而非人力。Altman 更犀利的論點在記憶體。很長一段時間以來,DRAM 製造商會投入兩百億美元的資本支出,只為了賺回一百九十億美元,在繁榮與蕭條間起落;如今「這些傢夥每一家一年大概要賺進一千億美元的自由現金流」。但他們記得自己有多少次因為相信「這次不一樣」而蓋了太多晶圓廠、差點破產,所以仍保持保守。「我認為那隻看不見的手現在正在失靈,」他說,並補充它「往績充其量只能說是好壞參半」。

他也挑戰本地推論背後的直覺。許多人以為在自己機器上跑開源模型能減少資料中心需求,但從全球資源分配的角度來看,「讓每個人都把世界上有限供應的一批 DRAM 擺在自己電腦裡」、而且只用了 5% 的時間,是「相當糟糕的」。在供給受限的世界裡,雲端中的最大利用率才是大家想要的。至於高價正把供給拉向何處,他點名渦輪機、電池、混凝土、鋼鐵,以及工業機器人的零元件——「不是那些假人形機器人展示」——再加上新的致動器製造商。

談到 OpenAI 自家的晶片,John 假設晶片設計受限於稀缺的公開 Token,因為關於打造兩奈米晶片的部落格文章寥寥無幾。Altman 把這兩個問題分開來看:微影技術實際上全球只有一家公司在做,但產出你送去下線(tape-out)的設計檔「是充分被理解的。那對 AI 來說是個很棒的問題」。他舉採購為另一個例子,說明 OpenAI 的員工即使長久以來都用老方法做事,仍願意嘗試 AI。

他提出的成本目標是:以五年總持有成本計算,每吉瓦(gigawatt)約七百億美元,「如果那個數字是二十而不是七十,我們應該會開心得多」——同時仍要求更聰明的模型每年帶來十倍的效能提升。要達到兩百億美元,需要更便宜的能源,並壓縮「從熔化沙子……到拿回 Token 之間發生的所有毛利率堆疊」。被問到單靠消除利潤能否達到,他說在材料免費、沒有利潤的情況下,「或許在目前的能源範疇內可以達到。但也只是勉強。」

由 AI 驅動的 AI 研究在 5% 的層次是真的,但還沒到 transformer 的層次

Altman 區分了今天行得通與行不通的事。OpenAI 知道怎麼要求模型「幫我找出一個 5% 的運算效率提升」,他開玩笑說 John 現在可以當「一位非常成功的 AI 研究員了」。目前還沒有人知道怎麼做的,是說出「去發現一個像 transformer 那樣、是單一巨大躍進的新架構」。缺少的要素是更擅長高層次規劃與概念推理的模型。他的賭注是:「如果你把我們用來讓模型變得如此擅長數學的同一套流程,套用到 AI 研究上,它大概會行得通」——不過他重申,有一段時間、也許是很長一段時間,這個領域可能得就單一模型能變得多聰明達成限制,而進展會因為這個選擇而非能力而停滯。

在 OpenAI 內部,對於 AI 賦能的 AI 開發並沒有成文標準。「就是大量的實驗,」Altman 說。當下的爭論不只是該問 GPT-7 什麼,還包括該如何部署模型——代理團隊是選項之一——才能從中榨出最多東西。他預期接下來三個月會學到很多。

談到企業預算,John 說 Token 大約佔 Stripe 營運支出的 1%,並稱這太低了;他預期會到 5%、10%、20%,到那時分配就成了真正的問題。Altman 對穩定狀態的猜測是,對許多公司而言答案顯然是營運支出的數十個百分點,但今天「有更多公司面臨的是 AI 用得不夠、而非用得太多」。他引用一個 Paul Graham 式的觀察:公司讓人們為了省下 17 美元的零食而斤斤計較,卻同時開著成本龐大、毫無價值的會議,而 AI 支出並不是他會優先最佳化的地方。

個人代理距離主流只差幾個想法,而網頁表單就是線索

Altman 說,還沒有人打造出那種人們無法想像沒有它該怎麼活的個人代理,就像人們談論編碼代理或 ChatGPT 那樣。要素是「智慧、脈絡、工具」——數量有限。他預期勝出的產品會很像目前的 Dots、Muse 或 Grokbot,「但它就是會運作。它就是會運作。它會很可靠。」他稱這「距離一個超級主流的東西只差幾個想法」,並說個人代理的 Macintosh 時刻還沒到來。

電腦使用的動態令他感興趣:抗拒代理存取的企業無法完全控制它,因為代理可以直接驅動電腦。他的直覺是世界會收斂到「你可以允許 AI 代表你使用你的電腦,包括軟體」,不過他對此信心不高,並提到消費者對於無法自動化自己機器的惱怒。

John 更犀利的觀察是關於商務。每家公司都想要一個有聊天介面的 AI 分頁或小工具,而消費者不想要——他們想告訴自己主要的聊天應用程式「去這家商家找出我最近的訂單,然後退款」。企業抗拒,因為它們害怕失去控制與護城河,但 John 主張,防禦力來自品牌忠誠與產品選擇,而非 HTML。Altman 大致同意,並把它個人化:如果要在 ChatGPT 裡透過 Amazon 購買、還是向不知名的賣家購買之間做選擇,「我十次有十次會點 Amazon。付更高的價格」——而這跟有沒有在 amazon.com 上到處點選毫無關係。他認為如果商務走向代理化,Amazon 因為其物流網路而處於有利位置,並坦承 OpenAI 在為合作夥伴提供 ChatGPT 內平臺這件事上做得不夠。

John 更宏觀的論點是:任何由人類填寫的網頁表單都「低於你的等級」,因為你幾乎從來不是在第一次發明那項資訊——家族病史就是典型例子。Altman 同意:「我會非常樂意再也不用在電腦上做假工作。」正是這個原因,他很早就笨拙地採用了自動填入外掛。John 把這一刻比作 iPhone App Store 問世時,新創爭相打造應用程式,而既有業者不情願地把與消費者的關係交給 Apple。

為跑分而最佳化(benchmaxxing)依然存在、Token 是假單位、Greg Brockman 獨一無二

Altman 說 OpenAI 盡量不為跑分而最佳化,並相信這方面現在比公司歷史上任何時候都做得好,不過「我一直以為為跑分而最佳化作為一種現象已經結束了,而人們還是一直在做」。他說真正重要的有兩件事:科學發現,以及與之共事是否愉快——而「我不認為我們有很好的基準來衡量與之共事是否愉快」。談到模型個性,他說這個產業經歷了一個吹捧的時代,接著是一個暴躁、彆扭的反吹捧時代,而目前的模型「比我們長久以來擁有的好得多」,更高的高峰還有待攀登。他引用 Emmett Shear 對理想狀態的描述——「一位非常深思熟慮、敢於挑戰、但仍舊尊重人的資深同事」——並說他沒聽過更好的概括。

談到 Greg Brockman,Altman 稱他「以最好的意義來說是獨一無二的。他在 Greg Brockman 量表上是獨一無二的」——那是強度、驚人生產力、極度投入與專注於使命的組合。

談到定價,Altman 說 OpenAI 差點做出「一個非常糟糕的決定」,要停止用 Token 為模型定價,改成像 AWS 那樣按每次提示報價。客戶的反應強烈負面:人們想知道自己為什麼付錢,而當被問到是否寧願為同樣的產出付更多錢、換取被灌水的 Token 數時,他們偏好被灌水的 Token,「因為我知道那裡有個真實的東西」。他不喜歡把它類比為晶片的奈米標籤,稱那「非常愚蠢」且與實際奈米無關:「我寧願不要編造一個假單位。」他坦承,從商業價值來看,Token「在某種意義上是真實的,但不是個好單位」。他預期兩端都會有一個資訊理論上有用 Token 的下限,並稱目前得在小模型每百萬 Token 十美分與大模型每個 Token 十美元之間權衡、再加上思維鏈長度,是「我認為實際上不增添任何價值的認知負擔」。思維鏈已包含在 OpenAI 對多數客戶收取的費用裡。

本集以啤酒作結:那杯 Guinness「沒我想的那麼糟。肯定不如 IPA,但沒那麼糟。」

貫穿這些線索的主軸,是 Altman 偏好分散能力而非集中能力——許多代理而非一個、許多公司而非一個規劃者、許多科學家共享功勞而非一個實驗室壓著成果。未解的張力在於:同樣的分散,擴大了他所描述的那個生產力落差;而他想用來回應高價的供應鏈,據他自己所說,並沒有在回應。值得觀察三件事:記憶體的資本支出是否會打破其歷史上的謹慎、OpenAI 是否會推出一個「就是會運作」的個人代理,以及這個領域是否真的會就單一模型的智慧程度達成限制——那是 Altman 說唯一能讓進展因為選擇、而非因為能力而放緩的槓桿。

來源: Cheeky Pint (youtube.com)
開啟原文