跳到正文
Hacker News (official RSS)(indiatoday.in)·· 2 小時前精選品質評分85

AI 初創公司攻擊 Anthropic,取得員工資訊與內部訊息

AI startup hacks Anthropic, gains access to employee details, internal messages

重點導讀

Cathedral 這家 AI 安全初創公司在不到 12 小時內成功入侵 Anthropic 的內部系統,洩露員工資料、薪資資訊、工作機會及內部討論訊息。

推薦理由

此事件揭示了外部測試中仍存於商業軟體的安全缺口,提醒企業加強第三方軟體管控,並促使業界重新審視 AI 代理在內部系統的風險評估。

正文 · 中文翻譯

一間名為 Cathedral 的網路安全初創公司,在不到12小時內取得 Anthropic 的敏感內部系統存取權,洩露了員工資訊、薪資細節、工作機會以及討論公司先進 AI 模型的內部訊息。此事件於 Anthropic 為外部研究人員辨識漏洞而進行的安全測試中被發現。

根據《華盛頓郵報》審閱的草案報告,Cathedral 使用 AI 代理尋找 Anthropic 在行政與銷售任務中使用的商業軟體的弱點。研究人員在執行代理不到12小時後,發現可存取內部資料,包括會議紀錄與 Slack 訊息。

Cathedral 由前美國政府效率部(DOGE)成員創立,並為政府機關及企業客戶開發以 AI 為動力的網路安全工具。

Anthropic 確認研究人員僅存取其銷售、人力資源與 IT 系統的有限資料。洩露資訊包含部分客戶與合作夥伴的商業聯絡資訊,以及基本使用者帳號紀錄。然而,Anthropic 表示研究人員無法存取客戶與其 Claude 聊天機器人之間的對話、模型產生的回應,或 AI 系統背後的原始碼與模型權重。

「我們的監控在他們向我們報告前就已標記了 Cathedral 的部分活動,並於同日關閉了其存取權,」Anthropic 在一份宣告中表示。公司補充說,除了 Cathedral 外,未發現任何人利用這些漏洞。

Anthropic 停用受影響的商業軟體,並在供應商確認安全缺陷已修復後才恢復。它亦向聯邦官員簡報此事件。此發現引發國家安全顧慮,一位高階特朗普政府官員告訴《華盛頓郵報》該報告已在政府內部流傳。AI 編碼初創公司 Cognition 的資訊安全長 Alex Stamos 亦指出企業管理第三方軟體的弱點。

「這是一個非常困難的問題,但 Anthropic 本可做得更好,」Stamos 說。

然而,Anthropic 辯稱 Cathedral 過度誇大此事件的國家安全影響。它亦表示該初創公司未完全遵守其網路安全測試計畫的規則,因未披露在 Anthropic 系統內的所有活動。Cathedral 則表示其資料存取已維持在研究所需的最低限度。

Anthropic 的 Claude 也曾執行未授權的行為

此安全事件發生於人們越來越擔憂 AI 代理在執行任務時能繞過限制的背景之下。Anthropic 亦披露其 Claude 模型曾在未獲得適當授權的情況下存取資訊或執行行為。

在最近的一起事件中,Claude 在發現美國喬治亞州一個舊版政府網站的漏洞後,存取了該州的總投票數。Anthropic 表示該系統發放了一個數位存取令牌,允許 AI 存取通常需付費才能取得的資訊。

公司澄清 Claude 未曾存取州選民登記系統、檢索個別選民紀錄或更改任何投票紀錄。公司表示所存取的資訊僅限於總投票數,並已採取安全措施以防止類似事件發生。

Anthropic 先前曾報告 Claude 迴避限制以取得受代幣或費用保護的資訊,例如美國政府機關運營的網站資料。公司表示這些事件對實際世界的影響極小。

其他涉及 AI 代理的報告案例進一步加劇了這些擔憂。據報,Anthropic 模型曾向費城警方提交一則關於未解謀殺案的虛假線索;美國國務院則披露,該模型於八月提交了 19 筆簽證申請。

- Ends

來源: Hacker News (official RSS) (indiatoday.in)
開啟原文