跳到正文
MTS(youtube.com)· Dan Klein·· 11 天前品質評分58

為何企業 AI 的幻覺率高出五倍?專訪 Dan Klein

為何企業 AI 的幻覺率高出五倍?專訪 Dan Klein

重點導讀

Scaled Cognition 的 Dan Klein 指出,企業 AI 的幻覺率約為企業自身估計的五倍,原因是 LLM 缺乏後設認知的自我認識;他主張改為對動作與 API 建模,而非對原始 Token 建模,以確保行為可靠。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Dan Klein 是 Scaled Cognition 的共同創辦人暨技術長,同時也是加州大學柏克萊分校(UC Berkeley)電腦科學教授。他指出,企業 AI 的幻覺大多隱形,因為它們看起來合理可信;而企業對自家幻覺率的估計,往往只有實際值的五分之一。在這段 16 分鐘的對談中,他說明為何「有智慧卻不可靠」終究有其極限、當今 LLM 在知識廣度與語言流暢度上已超越人類,卻在行為控制與可驗證性上明顯偏弱,以及他的公司為何要打造一套建立在不同信任基礎上的模型。那個醒目的統計數字,只是整場論證裡的一個資料點;整場論證談的是模型架構、專用模型與通用模型的取捨,以及當企業能信任代理每次都遵守政策之後,哪些事情才變得可能。

Klein 的立場與公司利益直接相關:Scaled Cognition 向企業銷售代理式模型,他表示目前已有超過 100 家企業客戶上線使用,其中包括為 BPOS 合作夥伴 Genesis 提供代理技術堆疊。讀者讀完之後,應該帶走三樣東西:他把 AI 智慧視為多面向而非單一維度的思考框架、幻覺的冰山模型,以及那項架構押注——直接對動作、API 與資訊流建模,而不只是對 Token 建模——他說,正因如此,系統才能對「會做什麼、不會做什麼」給出保證。

企業低估幻覺達五倍,因為錯得離譜的少、看起來對的多

Klein 的核心主張是:企業對幻覺的測量方式系統性地失準。Scaled Cognition 為客戶做稽核時,實際幻覺率「往往是他們自認的五倍」,因為人們抓到的幻覺只是看得見的冰山一角。那些顯而易見的錯誤——捏造的郵遞區號、明顯錯誤的事實——其實只佔少數。大多數幻覺流暢、自信、看似合理,這正是它們能通過審查的原因。

「大多數幻覺都非常合理。它們看起來像是對的。它們是更深層的東西。就像一個客服機器人遵循一套看似合理的退款政策,但那套政策實際上並不是正確的退款政策。」

退款政策的例子對企業工作流程特別貼切:輸出內容通順、語氣權威,卻與真正的政策不符。Klein 用冰山來比喻——看得見的錯誤只是水面上的小部分,那些「看似合理但其實錯誤」的輸出才是水面下的龐大主體,只有仔細稽核才會浮現。實務上的意涵是:企業自報的幻覺率,不能當作判斷 AI 系統是否已能承擔關鍵任務的指標。

智慧是多面向的,各面向的進展並不平均

Klein 反對把智慧當成單一軸線、拿人類智慧當基準來衡量的常見直覺。他主張智慧包含多個不同面向,而在 AI 裡,這些面向的進展速度並不一致——形成他所說的「參差不齊的形狀」,這正好解釋了當前系統的強項與失誤。

智慧面向當前 LLM 的表現後果
知識廣度超越人類——訓練資料涵蓋網路上幾乎所有主題百科全書式的記憶能力
可塑性(憑提示執行任意任務)超乎想像什麼都願意嘗試
流暢且權威的語言超越人類輸出看起來可信,無論準確與否
行為的精確控制落後難以約束在預期動作內
行為的可驗證性落後無法保證正確性
解釋決策原因落後可稽核性有限
後設認知(知道自己不知道什麼)架構上付之闕如模型傾向生成,而非承認不知道

其中他著墨最多的是後設認知缺口。若問人類伯克利的人口數,多數人會說「我不知道」,而不是吐出一個看似合理的數字。資料庫則是「有就有、沒有就沒有」。而 LLM 在本質上兩者皆非——「我們得打造大量基礎設施,才能確保它們不是在憑空捏造。」他也提到,人類認知中的某些能力「在這些模型的架構裡根本不存在」,這正是幻覺屬於結構性問題、而非調校問題的原因。

他用兩個例子說明失控的面向:一個是「墨西哥捲餅機器人」,能幫你點午餐,卻也會順手幫你除錯程式碼(失控的廣度);另一個是汽車銷售機器人,只要你說幾句好話,它就願意用一塊錢把車賣掉(失控的可塑性)。

企業部署的真正瓶頸是可靠性,不是智慧

Klein 的框架是「有智慧卻不可靠,終究有其極限」。他用兩組情境說明:一個聊天機器人幫你腦力激盪尾牙點子,五個建議裡有四個不錯,這是 A+ 的互動;一個系統要開五張處方箋,四張正確、一張是幻覺,這就危險了。當系統從「建議」走向「行動」,對「看似合理但其實錯誤」的容忍度就瞬間歸零。

他描述市場上的結果是:企業的反應是把 AI 的適用範圍縮小。他們加上「過度的防護欄」,強迫系統只做它該做的事——但這麼一來,也摧毀了當初讓 AI 有價值的使用體驗。他說,多數企業部署仍停留在問答模式,因為企業沒有信心:一旦給系統行動的自由,它會做出正確的事。

他借用網路工程做類比:當某個基本單位(無線傳輸)本身不可靠時,你只能一層一層堆疊機制,讓整體系統變得可靠。但他認為,在 AI 裡這是選擇題而非必然——架構決策可以讓系統本身變得可靠,從而保留 LLM 的靈活性,而不是「把你的模型切除腦葉、放上軌道」,等於重新打造一套 IVR 語音選單系統。

對動作與 API 建模、而非對 Token 建模,才可能給出保證

Scaled Cognition 的架構押注是這集節目的技術核心。標準 LLM 對 Token 序列建模,這是它們能廣泛泛化的原因——任何主題的網頁,莎士比亞也好、量子力學也罷,都能化約成 Token。但 Token 不帶語義:「單一 Token 本身沒有任何意義」,而且你幾乎無法對「提示中的 Token」與「最終輸出的行為」之間的關係做出任何斷言。

flowchart TD
    A["一端是人"] --> B["政策層居中調節"]
    B --> C["Scaled Cognition 模型"]
    C --> D["另一端是 API 與動作"]
    C --> E["直接對更高階的物件建模"]
    E --> E1["動作"]
    E --> E2["API 及其治理政策"]
    E --> E3["資訊與其流動方式"]
    E1 --> F["對系統行為給出保證"]
    E2 --> F
    E3 --> F
    F --> G["企業得以部署複雜的代理工作流程"]

Scaled Cognition 的模型同時也對更高階的物件建模——動作、API、資訊及其流動——而這些物件確實帶有語義。資訊只能來自特定來源;API 有其治理政策。Klein 說,因為模型具備更多結構,你才能對行為給出保證,包括「保證它們永遠不會做某些事」。這項區別對受監管產業格外重要:在這些產業裡,「禁止某些動作」與「必須執行某些動作」同等關鍵。

專用代理模型勝過通用模型,靠的不只是信任,還有成本與延遲

Klein 明確表示,他很樂見有人追求通用超級智慧,尤其是以嚴謹、科學的方式進行。但他主張,對許多工而言那是錯的解法,而在需要保證的場景裡,專用模型更可取。Scaled Cognition 的目標不是「什麼都能做」,而是代理式對話:一端是人,另一端是 API 與動作,中間由政策居中調節。關鍵問題不是模型能不能天南地北地聊,而是它能否每次都正確遵循這些政策,並可靠地執行複雜的動作序列,可靠到足以正式上線。

他說,專用化除了信任之外還有附帶好處:針對代理互動調校的 AP 模型系列,能以明顯更低的成本與大幅降低的延遲,達到同樣的可靠性。這是他的說法,並非經獨立驗證的基準測試;但它重新定義了專用與通用的取捨——在他的論述裡,專用模型不只更安全,在特定窄任務上也更便宜、更快。

產品藍圖:語音準確度與個人代理的身分識別

被問到接下來的規劃,Klein 提出三件事。AP 模型系列是基礎。圍繞這個基礎,Scaled Cognition 有一項語音產品,設計目的是確保最後一層——文字轉語音——不會引入不準確的內容;它與模型緊密整合,但也可單獨提供。此外,公司正在開發個人代理的身分識別技術,動機是使用個人代理處理各種任務的人數「大幅攀升」。他的論點是,個人代理「的行為特徵與人類非常不同」,這意味著現有區分人類與機器流量的機制,已不足以應付這種新的混合型態。

至於商業進展,他表示 Scaled Cognition 已有超過 100 家企業客戶上線,並為 BPOS 合作夥伴 Genesis 提供代理技術堆疊。這些數字出自公司本身,在節目中並未經獨立查證。

信任落差是架構問題,不是防護欄問題

Klein 各段回答貫穿的主軸是:整個產業正用補丁去處理一個結構性問題。防護欄、範圍限制、只做問答的部署,全都是對「不可靠的基本單位」的反應;他的主張是,只要改變模型所表徵的物件,基本單位本身就能變得可靠。若此說成立,回報不是漸進式的——而是「一個只能回答退款政策問題的 AI」與「一個能在一連串複雜動作中正確執行政策、成本更低、延遲更短、又保留 LLM 靈活性的 AI」之間的差別。

這場對談留下兩個未解的張力。第一,「五倍幻覺率」這個數字並未附上方法論——沒有樣本數、沒有稽核程式、沒有定義什麼算幻覺——因此它更像是與銷售相關的宣稱,而非基準測試。第二,「專用模型能給出保證」的主張,與業界更廣泛的押注——規模與通用性終將帶來可靠性——彼此拉扯;Klein 承認那條路線的科學價值,但主張它不是處理受政策約束之企業工作的正確工具。買方究竟會接受這套架構論述,還是乾脆等通用模型自己變好,將是未來一年企業 AI 採用情況要回答的開放問題。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論