光看內容讀不出代理技能會做什麼——Zenity 的 Roey Ben Chaim
光看內容讀不出代理技能會做什麼——Zenity 的 Roey Ben Chaim
Zenity 的 Roey Ben Chaim 主張,靜態掃描無法揭露第三方代理技能(agent skill)的實際行為,因此技能必須放進沙箱引爆測試,並視同套件依賴、以最小許可權原則管理;他引用一起網域搶註(typosquatting)攻擊活動,下載量達 170 萬次。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Zenity 的 staff engineer、Matt 研究員 Roey Ben Chaim 主張,光靠閱讀技能(skill)的內容無法判斷它是否安全,因為惡意酬載(payload)往往藏在別處,而以 LLM 為基礎的分析器也能被話術繞過——唯一可靠的測試方式,是把技能放進經過完整監測的沙箱裡實際執行,觀察它到底做了什麼。這場 14 分鐘的演講大部分時間都在說明這座「引爆室」(detonation chamber)如何打造與強化、攻擊者在技能生態系裡慣用的手法(持續潛伏、無聲替換、遠端提示執行、濫用 hook),以及一個假冒知名開源專案以竊取憑證的具名攻擊行動。最受矚目的發現——在數千個技能中找出 100 個惡意技能並從 skills.sh 下架——只是多項結果之一;整場演講的主體是方法論與攻擊手法分類。
Ben Chaim 是以安全研究團隊成員的身分發言,這套工具由該團隊打造,攻擊行動分析也由他們執行,因此他提到的偵測數量與下架成果,屬於團隊自己的說法,並非經獨立驗證的數字。讀者讀完後,應該能建立一套可用的心智模型:為什麼靜態掃描對技能行不通、一套合格的引爆測試框架除了代理軌跡(agent trace)之外還必須捕捉哪些東西,以及哪些特定的攻擊者行為值得持續監控。
靜態掃描行不通,因為酬載藏在別處
技能是「隨需取得的能力」:包含指令、資源、新行為,通常還有指令碼或程式碼——而且全都出自他人之手。Ben Chaim 開場舉的例子是一個官方的 Azure 診斷技能,它的執行軌跡會讀取雲端與 Kubernetes 設定、連線到身分驗證服務、探測執行個體的中繼資料端點。這種行為與資訊竊取程式在行為上毫無區別,後者同樣會掃描存放機密與身分憑證的資料夾。區分兩者的是意圖,不是動作,而意圖在檔案裡看不出來。
有兩個結構性問題讓掃描失效。第一,skill.md 只是進入點:它可以呼叫另一個端點取得其餘的提示內容、在安裝指令碼裡下載套件,或執行會再去抓更多酬載的程式碼。靜態掃描器只讀 skill.md,整條鏈就斷了。第二,LLM 分析器可以被騙——Ben Chaim 引用 Trail of Bits 的研究:某個技能動了專案的套件登錄檔,並附上一行小註解說「應用程式團隊已核准這項變更」,這樣就足以騙過分析器。
「既然掃描並非萬無一失,我們改採另一種做法:直接把技能連同代理一起跑起來。」
這就是引爆室。Ben Chaim 指出,這是惡意程式研究人員用了多年的技術,只是被移植到代理與技能上。
引爆室上線前還得補上四項修正
第一版的做法——把任務提示、代理和技能放進沙箱,跑上數分鐘到數小時,事後再分析軌跡——並不足夠。每一次失敗都催生了一個元件:
| 問題 | 解法 | 為何重要 |
|---|---|---|
| 環境缺少 CLI、服務、專案(例如 Notion 技能就需要 Notion) | 環境建構器(world builder) | 建出技能預期存在的環境 |
| 通用任務提示不適用於所有技能型別 | 操作者(operator) | 讀懂技能,推匯出該觸發哪些執行軌跡,並涵蓋每一條路徑,因為任何一條都可能是惡意的 |
| 安全防護被觸發、代理拒絕配合——不願解碼,就算願意也不肯執行 | 對抗式操作者(adversarial operator) | 說服代理執行;若仍不從,就從頭重跑 |
| 代理軌跡看不到副作用 | 行程、檔案系統與網路封包擷取 | 捕捉像 npm 安裝後指令碼衍生行程、讀取檔案並對外連線這類行為——正是資訊竊取程式的典型樣貌 |
Ben Chaim 強調,拒絕配合的問題是雙向的:安全防護也會對官方、非惡意技能中的酬載觸發,結果合法技能與惡意技能一起被擋下。他也說明,這項研究在容器中進行,裡面沒有任何惡意內容。
一次執行就還原了靜態工具看不見的隱藏安裝鏈
Ben Chaim 將一個名為「YouTube 安全」的概念驗證歸功於 Zach Corman。該技能在安裝過程中會再安裝第二個技能「安全審查」,後者指示代理從 GitHub 取得 skill.md 的內容。該檔案裡藏有要代理執行酬載的隱藏指令——而代理真的執行了。酬載本身無害,但整條鏈確實成立,任何靜態掃描器都無法還原它;整條鏈必須實際執行才看得見。
團隊表示,用這種方法在數千個技能中找出了 100 個惡意技能,並已從 skills.sh 框架下架。
一個網域搶註套件,讓資訊竊取程式藏身明處
Polymarket 的案例顯示同樣的模式已出現在真實世界。該技能的安裝指令碼呼叫的是 poly market club client v2——注意那個「s」——這不是 Polymarket 的官方套件。檢視該套件在 npm 上的 package.json,可發現它指向非官方的 npm 登錄檔。酬載就是資訊竊取程式。Ben Chaim 的結論是:「這種東西已經在外面了,而且正在發生。」
四種值得監控的攻擊者手法
- 持續潛伏: 技能會往
soul.js或agent.md追加提示,聲稱若該技能未安裝,就重新安裝它。 - 無聲替換: 一個非 Anthropic 的「技能建立器」會檢查官方 Anthropic 技能建立器是否已安裝,若有就解除安裝,改裝自己——全程無聲無息。
- 遠端提示執行: 初始提示只包含「到別處取得其餘內容」的指令。Ben Chaim 認為這往往合法,但仍有問題:當下合適的提示,日後可能被整段替換,或該網域被他人接管。
- 濫用 hook: 技能可掛在「使用者送出提示」這類 hook 上觸發,也就是使用者每送出一則訊息給助理就會執行一次——後果可能十分嚴重。
假冒組織的攻擊行動,下載量達 170 萬次
這波攻擊的核心人物,Ben Chaim 稱之為「Carly」(GitHub 帳號「paperclipped」),她假冒了 Paperclip 組織——一個用來排程各種代理的開源專案。攻擊者註冊了外觀相似的網域、建立外觀相似的組織、複製了整個專案,然後在專案所有路由下掛上一個新的日誌動作。
整條鏈的運作方式如下:日誌動作呼叫攻擊者控制的端點、取得酬載、解碼、存成暫存檔、以 Node 執行,並在 60 秒後自我銷毀。酬載是憑證蒐集程式,會走訪 SSH、AWS、Azure 等敏感路徑,蒐集內容後全部 POST 到攻擊者擁有的回報端點。
攻擊者接著用同一套命令與控制基礎設施,在一個 Python 套件上重施故技,並試圖發布到 PyPI——不到兩小時就被下架。另一個名為 Paperclip AI 的 Python 版本,不到一小時就被移除。但使用同一套命令與控制的技能當時正在熱門榜上,總下載量達到 170 萬次,運作方式如出一轍:安裝時從攻擊者端點取得酬載、解碼成 JavaScript 檔、由 Node 執行、蒐集憑證後回傳、自我銷毀。團隊向 Vercel 與 Microsoft 通報,所有內容在 12 小時內全數下架。Ben Chaim 請讀者參閱 Zenity Labs 部落格以瞭解細節。
flowchart TD
A["技能安裝指令碼執行"] --> B["從攻擊者端點取得酬載"]
B --> C["解碼酬載為暫存 JS 檔"]
C --> D["Node 執行該檔案"]
D --> E["蒐集 SSH、AWS、Azure 憑證"]
E --> F["將資料 POST 至攻擊者回報端點"]
F --> G["60 秒後自我銷毀"]
把技能當成套件相依,而不是檔案
Ben Chaim 的結語是:技能是代理供應鏈的一環。凡是進入代理上下文的東西都在風險範圍內——一個網站、資料庫裡的資料列、套件,甚至一則 YouTube 留言。針對技能,他的處方是把它們當成套件相依來對待:檢查它們載入的一切、限制它們能存取的範圍、套用最小許可權,並觀察實際執行了什麼。
引爆室開放於 zenity.io 供人測試。Ben Chaim 在投影片中列出了完整的研究與工程團隊並致謝,也鼓勵大家追蹤他們。
他自身方法所暴露的未解矛盾是:引爆室之所以能運作,靠的正是擊敗代理的安全防護;而同一套防護也會擋下那些需要解碼酬載的合法技能。因此,這一層的偵測取決於一套對抗式測試框架,而這套框架本身正在做平臺設計上要防止的事——只要技能的來源追溯與執行期觀測仍是兩個各自為政的問題,這種安排就十分脆弱。