AI 代理並未失控：前沿實驗室忽視安全基礎

自七月起，美國前沿 AI 實驗室及其他 AI 領導者揭露了一系列事件，模型在未經授權的情況下存取外部電腦系統，這些事件被普遍描述為 AI 代理「失控」。

其中最為人知且被研究的事件是 OpenAI 的駭入 Hugging Face，OpenAI 最初將其描述為「前所未有的網路事件，涉及最先進的網路能力」，後來則稱其為「行為不一致」，即創作者未預期的行為。

在 Hugging Face 事件後，Anthropic 透露其一個模型獲得未授權存取三家組織的生產基礎設施；Meta 表示其一個 AI 模型在網路安全測試期間駭入另一家公司；Google 承認其 Gemini 模型執行了三次「未受指令的電腦駭入」。

儘管媒體報導及模型提供者自身使用「失控代理」或「行為不一致」等語言，與 CSO 訪談的網路安全專家指出，這些語言遮蔽了一個簡單真相：這些事件是前沿實驗室無可原諒地未能實施已知數十年的網路安全實務所致。

加劇問題的是，根據 CSO 在九月於三場產業會議及後續對話中訪談的約半打網路安全專家所述，前沿實驗室，尤其是 OpenAI 與 Anthropic，已拒絕其改善網路安全風險管理實務的建議，以避免此類潛伏駭入，常將網路安全實務歸類於「AI 安全」，並自認具備優越專長。

「他們並不像自己想的那麼好，說實話。」Berryville 機器學習研究所聯合創辦人 Gary McGraw 對 CSO 這樣說。「如果他們能更尊重從事各種安全子領域（如取證或安全工程）的人所累積的專業知識，並重視建置沙盒、設定或監控網路安全環境，會更好。」

Anthropic 與 OpenAI 均未回應 CSO 的置評請求。

無可原諒的網路安全基礎失敗，尤其是封鎖

根據 CSO 訪談的網路安全專業人士所述，前沿 AI 實驗室最大的網路安全失敗之一是未實施經驗驗證的封鎖實務，這些實務可追溯至 1990 年代，例如建立安全沙盒，以有效阻止代理離開其測試環境。

「這些是我們多年來一直處理的事。」SANS Institute 的首席 AI 主管兼研究主管 Rob T. Lee 對 CSO 這樣說。「每次發生這件事時，根本不應該是『噢……我們不知道他們怎麼離開』。」

「你可以看出他們的安全團隊相當初創。」Lee 說。「網路安全封鎖方面的人士確實指出，我們看到的封鎖違規大多是因為設定不當。」

Lee 接著說：「Hugging Face 事件明確證明，問題不在於代理本身極為聰明，而是因為存在一個實際的漏洞被利用，原因是封鎖端未正確配置。」

Dan Wallach，RAND AI、網路安全與科技中心的技術專家，認為 AI 實驗室的安全失敗歸根結底是他們未將網路安全置於優先位置。

“我會說他們並未把網路安全列為優先事項，”他對 CSO 這樣說。 “我不認為可以對所有實驗室都這麼說，”Wallach 指著法國 AI 實驗室 Mistral 的 推出其 Large 4 AI 模型說，該公司表示該模型嘗試在測試環境之外運作，後來被 Mistral 切斷。

他還補充說，'隔離這些 AI 之中的一個並非火箭科學。安全人員一直在討論如何進行空氣分隔（air-gapping），這樣資料就沒有電路能從這裡傳到那裡，或者在沒有空氣分隔的情況下，必須有非常強大的出口控制，確保沒有任何東西能突破。'

此外，前沿實驗室似乎對其代理行為的監控不足。Wallach 說，Hugging Face 事件“持續了數天，卻沒有人注意到”。“人們開始這些實驗卻沒有監視，這是缺乏控制。然後他們對發生的事感到驚訝。”

將安全與保安分離

說服前沿實驗室提升安全水平的一大障礙是他們對所謂“安全”的高度關注，而這種關注並未延伸至傳統的網路安全實踐。

RAND 的 Wallach 說，'我能看出安全行為看起來像 AI 安全。' '但如果你評估這個 AI 工具的方式是把它釋放到網路上觀察結果，那麼這正是經典安全工具的用途。'

SANS Institute 的 Lee 說，'如果這些前沿實驗室真的想測試他們的產品，他們需要加強網路安全元件。但他們對代理失控的直覺反應是說，‘這不是網路安全問題。’ 它實際上已成為 AI 安全問題，與網路安全分離。'

許多 AI 專家建議，如果 AI 公司接受網路安全專家的建議，可能有助於終結造成擔憂的無限制 AI 代理行為。Lee 說，'AI 安全聚焦於道路規則。' '一切都關於護欄規則。'

但他說，'我確實相信網路安全能夠控制 AI。' '我們只需要在發生的地方，並在桌上佔有一席之地。對我們的領域而言，盡可能靠近 AI 安全專家是重要的。'

糟糕的網路安全可能增加責任

如果前沿實驗室忽視了能降低或消除造成廣泛關注的事件型別的網路安全基礎，那就更強化了他們應對其「流氓」代理負責的論點。保險業已經站在 追究 AI 產業高層責任的一邊。

民主黨參議員已經 提出立法，將 AI 代理運營商對駭客事件負責。即使是對 AI 友善的白宮似乎已結論，公司應該對其失控代理 負責，同時美國聯邦貿易委員會 正在調查 Anthropic、OpenAI 以及其他 AI 實驗室，探討其技術對消費者帶來的危險。

然而，在最近的立法和委員會聽證會上，實驗室代表 堅持 他們對失控的 AI 代理不負責任的觀點。

專家表示，鑒於實驗室的網路安全失敗，這種立場是站不住腳的。

BIML 的 McGraw 將實驗室的立場描述為：「別把律師送給我們，直接送給我們的程式。這是我們程式的錯。」他對此論點的評估是：「這只是一堆高深的胡說八道。」

他還質疑實驗室的運營失敗是否削弱了對其更廣泛安全能力的信心。『他們生活在自己的泡泡裡，』他說。『他們無法正確完成簡單、明確的操作，這對他們在安全工程方面的能力並不利，安全工程更難做到。』

SANS 的 Lee 說：「這就是可追溯性在責任與保險方面發揮作用的地方，因為如果其中一個代理被偵測到，並且能追溯到發起者，責任將會啟動並說：『嘿，你違法了，因此我們需要起訴。』」

安全領導者現在應該怎麼做

即使證據不斷累積顯示前沿實驗室未實施健全的網路安全實務，且 關於責任的辯論仍未解決，CISO 和其他安全領導者仍可採取措施，保護自己免受 AI 模型失控的風險。

首先，談到評估基於前沿實驗室模型的工具時，McGraw 說：「我總是會請外部機構協助。」他說：「AI 非常強大且非常有用，但它帶來了極其嚴重的成人風險，會影響企業。識別這些風險，設定正確的控制措施，確保 AI 的採用不是隨意且亂七八糟地覆蓋整個企業，而是由某個集中權威負責審視問題，然後為下一個大事做準備，那就是代理群集。」

對 Lee 來說，最佳的防護是提出正確的問題。「這一切始於提出正確的問題，然後尋找那些能夠展示更高網路安全能力的 [AI 實驗室] 的工具與能力，」他說。「你真正需要的是那些處理極其艱難問題的團隊成員。」

但從根本上說，處理 AI 模型網路弱點的最佳準備是確保整個組織已落實所有 長期以來的網路安全風險管理實務。Wallach 說：「這是討論中最不令人興奮的部分。」他說：「這是網路安全版的『吃蔬菜』。」

「我們需要重新設計軟體，使其安全性更佳，」他補充說。「我們需要在所有帳號上啟用多因素驗證。從防禦性網路安全形度來說，我們要吃蔬菜。並且我們知道怎麼做。」