跳到正文
MTS(youtube.com)· Angela McNea·· 14 天前品質評分58

為什麼全 AI 自動化在生產環境會失敗 | Angela McNeal

為什麼全 AI 自動化在生產環境會失敗 | Angela McNeal

重點導讀

Thread AI 的 Angela McNea 認為,全面 AI 自動化在正式環境中行不通,因為決策自動化只有在特徵空間受限時才有效;因此企業必須建立橫向的治理、身分與日誌紀錄基礎設施,並透過反覆迭代工作流程來累積學習資料。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Thread AI 執行長暨共同創辦人 Angela McNea 認為,多數以 AI 自動化決策的嘗試,一旦問題空間不再被嚴格限縮就會失敗;真正能長久走下去的路是「受控自主」(controlled autonomy)——代理在受治理的系統內行動,人類可在任何時點介入。整段對談大部分時間花在:為何企業不斷重造同一套基礎設施、路由與決策閘門為何本質上是業務邏輯問題,以及在高風險的金融與國防場景中,失敗會是什麼模樣;標題所稱的「全自動化會失敗」其實是收尾論點,而非貫穿全場的主軸。

McNea 先前在 Palantir 待了六年,其中四年與共同創辦人暨技術長 Maya 共事,並撰寫關於人機協作的電子報《Handshake Protocol》。以下簡報涵蓋 Thread AI 的產品主張、與陸軍 DEVCOM 的國防合作、「每個好決策都是一個整合」(every good decision is an ensemble)的論點,以及她認為真正困難的是工作流程設計、而非模型選擇的看法。

真正的瓶頸是可操作性,不是打造模型

McNea 表示,限制已經從訓練模型轉移到部署模型,而企業的因應方式,是從零開始反覆拼裝、拆解再重組技術堆疊。一家真實的企業要跑數十到數百套軟體系統、多個身分驗證供應商、異質資料,還有多層的風險與法規規則。Thread AI 的賣點是補上缺漏的基礎元件——隔離、計量、身分、日誌、治理——讓團隊專注在工作流程,而不是重造管線。

她描述了創立公司前觀察到的兩種失敗模式:

模式公司怎麼做哪裡出問題
垂直工具氾濫為發票處理、採購自動化、行銷自動化、對帳等各自採購單點工具供應商管理「整個失控」;某個事業單位做成功的東西搬不到別處
人人都是開發者非工程師打造龐大的能力地圖並自行拼裝堆疊一旦程式供應商換人、團隊改組,或系統需要做負載測試,可操作性就整個崩掉

Thread AI 治理的是整筆交易,而非個別動作;其平臺建立在「受控自主」之上:代理在客戶設定的界線內推理與行動,人類可在代理升級求助時或依政策規定介入,所有過程都留有紀錄。McNea 與 Maya 於 2023 年春天離開 Palantir,2025 年完成 A 輪募資。她把創立時的核心主張形容為一場押注——賭「黏著層、控制框架、控制、治理」會變得重要——並表示前沿模型、主權模型與地端模型的疊加演進,只讓這個判斷更加站得住腳。

路由本身不難,難在定義什麼叫「難」、什麼叫「貴」

在〈每個好決策都是一個整合〉一文中,McNea 主張路由的討論一直聚焦在錯的層次。她說,路由技術本身沒那麼有意思,真正關鍵的是它周邊的應用:必須有人先定義什麼算難題、什麼算昂貴(時間、人力、金錢),以及系統到底在最佳化什麼——而這些都得在任何路由發生之前就先講清楚。Thread AI 讓客戶原生打造路由器,但她說團隊大部分心力其實花在這些明確的決策與邏輯閘門上,因為「在真實世界裡,這些才是把東西推進正式環境的真正障礙」。

她把整合的概念從模型路由延伸到制度層面,以司法體系如何分散決策、而非把決定權集中在單一行為者身上為例。對採購方的實務意涵是:模型選擇類工具正在商品化,而圍繞它的、被明確寫成規則的業務邏輯,才是差異化與風險同時所在之處。

難的是工作流程設計,不是選模型

McNea 最犀利的例子,是模型要決定誰能加入臨床試驗。分類模型輸出是或否,評估指標會呈現準確率、精確率與召回率——但業務人員和科學家必須決定哪一種錯誤更糟:讓一個不合適、可能被藥物傷害的人進來,還是把一個原本可能受益的人排除在外。「這從來不是單純的是或否。這是有人在建這些流程時,對邏輯所做的投資,」她說。

同樣的邏輯也適用於分診流程:把流程建起來是做得到的,但決定誰會收到警示、量有多大——是太吵雜,還是不夠重要——才是真正棘手的地方。她主張,既有的企業流程都是有意識地設計出來的,法律、法規與人員因素都已內建其中;把 AI 加進去並不會讓這些因素消失,反而會逼著你重新設計。她說企業正把相當比例的智慧財產投注在這樣的重設計上,而個人生產力工具則仍處於「蠻荒西部」的狀態。

「系統的建構、流程的建構,往往才是真正的智力工作。」

她也把這點連結到大型機構中開發者角色的轉變:工程工作正從實作轉向管理、審查與設計,而她認為知識工作者與領域專家也將出現某種粗略的對應轉變。

風險從數十億美元虧損到生死交關

McNea 說,從一開始,成為一家軍民兩用(dual-use)公司對她和 Maya 就很重要;她並稱美國國防部是她所能想像要求最高的客戶。Thread AI 已公開談過與陸軍 DEVCOM 的研究合作,聚焦於人工去衝突(manual deconfliction)——把準確資訊在對的時間送到對的人手上,物件既包括維護與創新控制系統的科學家,也包括前線作戰人員。她形容那裡的風險是生死交關。

在商業端,她舉大型金融機構的對帳流程為典型案例:代理在那裡出錯,可能造成數十億美元損失,還牽涉法律與聲譽風險。Thread AI 的客戶橫跨金融服務、製造、餐旅與廣告業,McNea 表示同一套基礎元件同時服務國防與企業的工作負載。

最佳實務是被現代化,不是被丟棄

被問到最難自動化的是什麼,McNea 指向設計層,而非技術本身。她把她和 Maya 的「超能力」歸功於打造出能跟上四年技術變化的基礎元件,並說兩人從第一天就講明,不會丟掉分散式系統與資安領域累積二十到五十年的最佳實務——而是把它現代化,讓它具備調適能力。

平臺採自助式,另有一個應用團隊與客戶並肩合作,分享最佳實務、一起打造。McNea 把企業 AI 支出的暴增部分解讀為顧問費——企業付錢給外部的人來拼裝堆疊——她認為這清楚顯示出一個平臺應該填補的缺口。談到產品藍圖,她點出正為公部門業務擴編人力,以及即將推出、鎖定「有在賣產品、想讓產品更具調適性、更代理化、更 AI 導向」的企業的建構元件。

創業構想源自 Meta 的論文,方法則是科學加上人性

McNea 把 Thread AI 的起點追溯到 Meta 的 Toolformer 論文:該研究訓練語言模型的最後幾層去呼叫計算機、天氣服務這類簡單 API。身為軟體工程師,她看到其中的落差:企業 API 背後是數千家供應商,每家各有數千個端點、數百個引數,還橫跨不同協定、驗證機制與資料型態。但「有彈性的決策能力可以活在軟體裡」這個想法很吸引人,於是她從最理想的未來往回推,最後做出了一家基礎設施公司。

她的解題視角來自兩位氣候科學家父母,以及哥倫比亞大學資訊科學與數學的學位——拆解問題、建立基準情境、做假設檢驗。她再把這套方法,配上她所稱在 Palantir 擔任前線部署工程師那些年學到的核心一課:創辦人需要「自信、信念與謙遜之間的平衡」,因為在你客戶的領域裡,專家是客戶,不是你。

McNea 不屬於 AGI 陣營,預期的是迭代而非瞬間自動化

在收尾對談中,McNea 直說她不算 AGI 陣營的人,儘管她相信打造並使用智慧系統。她的依據是經驗觀察:整條技術堆疊上的自動化決策大多並不成功,除非特徵空間被嚴格限縮——路徑與選項有限,例如轉接給某個人,或從少數幾個動作中挑一個來試。「一旦把視野開啟,我看到的是這些東西還是會卡關。」

她把部分原因歸於期待,而非能力。AI 工作流程是迭代的,而創新的死因就是沒辦法開始。她的處方是:及早把建構元件交出去、把人和 AI 的互動記錄下來,累積成系統可以從中學習、持續演進的資料資產——而不是假設每個決策從第一天就能自動化。

「我不屬於 AGI 陣營。」

整集節目裡未解的張力,在於 McNea 對大範圍自動化的懷疑,與 Thread AI 押注代理進入高風險場景的商業佈局之間。她的答案是治理與人類介入點,但她並未量化:當一套工作流程成熟之後,客戶實際上還保留多少人力參與——隨著公部門業務擴大,這是值得追問的問題。同樣值得觀察的是:她所說、可作為平臺機會的顧問支出,最後會不會轉化為自助式的採用,還是持續以服務收入的形式存在,讓企業繼續依賴外部的拼裝者。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論