跳到正文
20VC(youtube.com)· Harry Stebbings·· 5 小時前精選AI 評分85

Satya Nadella 談開放與封閉模型:誰能勝出|企業為何需要擁有自己的智慧

Satya Nadella 談開放與封閉模型:誰能勝出|企業為何需要擁有自己的智慧

AI 導讀

微軟執行長薩提亞·納德拉主張,企業必須透過對自有專有資料進行私有評測,來擁有自己的智慧;他也認為對齊(alignment)無法從規模擴充套件中自然產生,因此需要像 Agent 365 這樣的信任架構來約束未對齊的代理。

🎙️

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文 · 原文

微軟執行長薩提亞·納德拉主張,AI 對齊不會隨著規模擴張自動浮現,因此企業應把前沿模型跑在精心設計的「零信任」圍堵層裡,而不是相信供應商的揭露。本集 23 分鐘大多花在這套架構、Token 流量與價值在開放與封閉模型之間會落在何處,以及 AI 時代的企業究竟擁有什麼;標題那句「該不該信任前沿模型」很早就給了答案,之後再擴充套件成關於模型競爭、推論需求與實作經濟的更大論述。

納德拉是在 20VC 節目上與 Harry Stebbings 對談,他難得直白地談到自己改變了哪些看法:他說自己曾相信對齊會從規模擴張中「自然掉出來」,那是他在 2018 至 2019 年前後與早期規模定律信徒共享的觀點,如今他已不這麼認為。讀者讀完應該帶走的是:他具體的圍堵設計(Agent 365、Perception、可檢視的思維鏈)、他對多數 Token 用量終將商品化的預測、他主張企業的核心 IP 會變成自家的私有評測,以及他認為 1,000 億美元訓練跑的真正瓶頸是世界 GDP 成長與電力供應,而非野心。

對齊不會從規模擴張中掉出來,所以要圍堵模型

納德拉的核心技術主張是:能力與對齊正在脫鉤。規模定律依然有效,但「對齊會順帶出現」這個假設並不成立,而學界對這類模型的機制性理解仍「難以捉摸」。他的結論不是暫停部署,而是別再把安全當成模型本身的屬性,改把它當成周邊系統的屬性。

他把業界常混為一談的兩件事分開:一是 AI 安全,他說這必須在訓練階段解決——「甚至可能在預訓練階段」——無法事後用強化學習補上;二是資訊安全,那是今天就能打造的普通工程。他的原話是:「我不認為你能靠強化學習一路 RL 到對齊。你必須讓對齊真正從一開始就嵌入權重之中。」正因為這件事沒做到,他要的是一個零信任環境,能夠「在故障代理造成任何傷害之前就把它圍堵住」,借用資安產業早已在用的架構。

微軟的實作,據他描述,有兩個具名元件:Agent 365 與 Perception:

flowchart TD
    A["Agent 365 — 為每個代理建立身分"] --> B["Perception — 記錄每一項活動"]
    B --> C["工具呼叫、模型呼叫、思維鏈單元"]
    C --> D["防竄改:代理無法編輯自己的日誌"]
    D --> E["在日誌之上設定政策"]
    E --> F["行為監控,偵測偏離政策"]
    F --> G["在造成傷害前圍堵"]

兩個細節撐起整套論證。第一,他要思維鏈以「英文、而非新版本格式」記錄——這是他要求推理保持可檢視、不要變成不透明內部格式的說法——並拿多個模型交叉檢查。第二,日誌必須防竄改,因為一個能改寫自己稽核軌跡的代理,會讓整套設計失效。他也坦承弱點:思維鏈「可能不忠實」,而當模型供應商承認它不忠實、卻仍把推理藏起來時,情況更糟。這正是他力推標準化的原因,讓可信任夥伴能檢視並稽核推理軌跡。

「我以前一直以為對齊會自然掉出來。我不再這麼相信了。」

封閉模型更強,但不透明會把客戶推向開放權重

納德拉說,封閉模型今天確實更強大,但如果它們拒絕向在其上打造應用的可信任夥伴保持透明,這種拒絕本身就會成為轉向開放權重的理由。他把這件事同時框成商業模式問題與安全問題:微軟自家的 MAI 模型不會是開放權重,而是「授權權重」,他希望這門生意看起來像「單純直接的軟體生意,而不是靠網路效應的智慧生意」。

談到地緣政治框架時,他拒絕順著顯而易見的擔憂走。他主張未對齊的模型對中國的威脅,和對美國或英國一樣大,所以安全不是零和的國家利益,還說他對西方開放權重模型的進展「相當滿意」。他沒有點名哪些中國模型主宰開源;這個前提是 Stebbings 提出的,納德拉繞著它回答,並未加以確認。

他對流量去向的預測刻意留了餘地。他預期前沿能力會不斷被重新定義——科學可能是下一個前沿——但他說「主流會是商品化的 Token 用量」。這個商品化市場可能由開放權重供應,也可能由便宜的封閉權重供應,因為價格競爭會非常激烈。他給的機制很具體:一旦企業能用自己的軌跡資料訓練,就不必再靠最新模型去解一個根本沒變的問題。他說,微軟在 Copilot 內部早已混用較便宜的閉源模型與開放權重模型。他也提到 GitHub 的「Hydrofusion」工作,以及由主代理派發子代理(其中一些是地端模型)的代理群。

企業的核心 IP 會變成自家的私有評測

這是本集最具擴散力的一個想法。納德拉用海耶克(Hayek)立論:經濟活動建立在分散於整個經濟體、在地且隱性的知識之上,這正是為什麼不可能有單一企業或單一智慧,也是價格發現之所以行得通的原因。在智慧時代,每家企業的任務是用 AI 以愈來愈大的規模累積知識,而不是讓知識外洩。

他把這種外洩稱為「反向資訊悖論」,反轉了 Kenneth Arrow 的框架。Arrow 描述的是賣方的難題:在沒有專利、營業秘密或著作權保護下揭露秘密,價值就會外洩。納德拉說,現在需要保護的是買方,因為買方的資料——甚至使用模型產生的「排氣」,也就是按讚、倒讚的訊號——是在為模型公司創造價值,而不是被企業自己留下。要讓這個安排穩定,使用智慧所產生的剩餘,必須有更多留在企業手上。

他提出承接這份剩餘的容器,就是私有評測。每家企業都會維護自己的基準測試作為核心 IP,每個模型進來都要在它上面「爬坡」。這些知識不必只存在於權重裡,也可以存在於上下文與評測本身。

他明白指出,這一切先從一小群稀有物種開始——Stebbings 點名的 AI 原生公司,例如 Harvey 與 Legora——然後才擴散出去。他的類比是 1980 年代末到 1990 年代初的個人電腦與試算表:在 Excel 裡做預測、用電子郵件而非傳真送出,當時感覺很神奇,花了大概十年才變成日常。雲端走的是同一條曲線,從「雲端原生」是一種勳章,到有 500 年歷史的 Lloyd's 也成為雲端原生。他的預測是:「五年後,這會顯得相當過時。」

推論需求是意外;電力與 GDP 才是真正的天花板

被問到有什麼是現在知道、希望一年前就知道的,納德拉點名「推論需求的無限性」,並說他會做出「一些非常不同的投資」決策。這是本集最接近承認押錯產能的一刻。

對於 Mustafa Suleyman 所稱 1,000 億美元訓練跑即將到來、只有少數幾家實驗室出得起,納德拉把問題從「銀彈多厚」拉回損益表。一次訓練跑是研發支出的一個百分比;研發花得兇的企業,研發約佔營收 15–20%。所以天花板在於:AI 能否把世界 GDP 拉得夠高,讓企業分到的那份成長足以支應下一次訓練跑。供給面上,他把電力短缺與矽晶片短缺列為長交期專案——發電廠或晶圓廠不是說有就有——並說每個人都在對著沒人預測得準的需求蓋產能。他對穩定狀態的假設是:損益表會重新變得平凡,就是營收、營業成本、獲利。

對於 AI 能在哪裡推動 GDP,他講得比「何時」更具體。醫療保健是最清楚的案例:在英國國民保健署(NHS)部署 Copilot,若能改善病患結果並降低成本,按定義就是對英國 GDP 的貢獻,而醫療保健正好是「取代最少、效益最大」的組合。軟體開發排第二:那裡的需求已被證明有彈性,意味著大家習以為常的 IT 待辦清單,比任何人以為的都更大。他把這個模式延伸到晶片設計——更快的設計定案(tape-out)與電腦模擬,意味著第一次投片就能做對——以及維修排程:他舉勞斯萊斯(Rolls-Royce)的維修報告最佳化為例,那是個存在已久、如今終於可解的問題。

沒有單一層能通吃;預期水平分工、多層多贏家

Stebbings 問,從晶片、模型到應用的全棧垂直整合是否已成必要。納德拉的答案是這取決於產業結構,而他的判讀是每一層的競爭都在加劇,而非走向整合。他預期會有五、六個封閉模型與五、六個開放權重模型相互競爭,這讓應用開發者可以跑一個帶決策引擎的路由器,把每個任務送到最合適的模型。他承認從晶片到應用的單一垂直整合棧是可能的——他以前甚至認為很可能——但他說「真要說的話,方向反而是相反的」。他明言偏好水平分工、每層多個贏家,並讓客戶能自行組合。

實作層另有專章。系統整合商一向是技術擴散的載體,但這一波把商業顧問與技術顧問混在一起,既不像傳統管理顧問,也不像傳統 SI 或傳統支援服務。他的例子是聯合利華(Unilever):它打造了一套代理系統來自動化訂單到收款(order-to-cash)與貿易折讓申請,一開始跑在前沿模型上,後來把貿易折讓移到 MAI 模型以壓成本,並靠訓練自家軌跡資料來控管系統。微軟派了一些前線部署工程師(forward-deployed engineer,FDE),但現在是聯合利華自家的 IT 團隊在維運。他的預測是,今天的 FDE 角色會變成新的系統整合。

至於寫程式的成功能否轉移到財務、業務與行銷,他態度謹慎。寫程式受惠於可驗證的獎勵,這讓在預訓練模型之上做強化學習格外有效。知識工作更難,不過他舉客服中心、供應鏈與現金到訂單系統為例,證明並非不可能。他認為整體而言,科學與工程或許能像寫程式一樣有彈性。

他改變了哪些看法,以及他把這個十年押在什麼上

快問快答的答案簡短,卻是承重牆。他的運動習慣已維持約 25 年:每天早上半小時,現在因為膝蓋不能跑而改成爬坡走,無論時差照做。被問到什麼今天看起來瘋狂、五年後會變正常,他又回到私有評測——「一家企業的 AI 基準測試會是什麼。」

他最後的答案最為個人。他希望這項通用技術的擴散速度比任何前身都更快、橫跨更多產業,讓成長能拉抬所有人,而不是留下一張贏家與輸家的帳單。他把這件事連結到他的父親——一位發展經濟學家——以及全球南方何時能得到這種助力的大匯流問題:「我希望就是這一次。」

圍堵層與私有評測,押的是同一個注

本集有兩條線指向同一個方向。納德拉的資安架構假設模型不可信,於是把身分、日誌與政策放在模型之外;他的經濟論述則假設模型公司會把企業的學習成果吸走,除非企業握有自己的評測與軌跡。兩者都是同一種主張:價值會流向企業能掌控的那一層,而不是引數最多的那一層。未解的張力在於,他的圍堵設計依賴思維鏈忠實且可檢視,而他自己說並非如此——所以稽核軌跡的好壞,取決於一條模型可能藏起來的推理軌跡。值得觀察的是:他為可信任夥伴推動的標準化,最後能否產出任何可強制執行的東西;以及他那句「推論需求的無限性」,日後會不會以產能減損或毛利率意外的方式回頭出現。

來源: 20VC (youtube.com)
開啟原文