跳到正文
aihot(aihot.news)· noreply@aihot.news (Microsoft Research 部落格)·· 12 天前精選品質評分79

Microsoft Research 揭露 Lazarus 權重空間後門,可重程式設計休眠神經元攻擊 AI Agent

Microsoft Research 揭示 Lazarus 權重空間後門技術,通過重程式設計休眠神經元攻擊 AI Agent

重點導讀

Microsoft Research 揭露 Lazarus 後門技術,研究指出,重程式設計 LLM 中少於 10 個休眠神經元,即可在不訓練模型的情況下,讓 AI Agent 在觸發條件出現時執行攻擊者指令。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

研究說明少於 10 個休眠神經元如何在不訓練模型的情況下形成觸發器,並指出權重來源與完整性是偵測和防護的關鍵。

正文

Microsoft Research 部落格· Dimitris Papailiopoulos·2026-11-11 04:52· 3 小時前精選AI 評分72

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

AI 導讀

Microsoft Research 釋出對 Lazarus 後門技術的研究,重程式設計 LLM 中少於 10 個休眠神經元即可在沒有訓練的情況下給基於該模型的 Agent 安裝後門。

推薦理由

微軟研究團隊解釋 Lazarus 後門如何改寫少於 10 個休眠神經元即可讓 Agent 執行惡意命令,並給出模型來源與權重完整性層面的防禦思路。

MSR HERO Laz

微軟研究人員發現了一種名為“Lazarus”的後門技術,它能重新程式設計AI模型中處於休眠狀態的神經元,讓原本正常的AI 助理在隱藏觸發條件出現時執行惡意指令。

對於具備工具或終端訪問許可權的AI 助理來說,這一威脅尤為嚴重。被觸發的模型可以悄悄下載並執行攻擊者的程式碼、竊取機密,或執行破壞性命令,同時仍能通過標準的安全評估。

這類後門無需重新訓練模型即可植入,而且很難通過常規測試發現,因此模型來源和權重完整性成了關鍵的安全問題。

為了保護客戶,Microsoft Foundry會驗證模型來源,將模型與可信釋出者繫結,並在引入開放權重模型之前掃描其周邊軟體環境。

微軟還在研發更多防禦手段,包括AI驅動的權重掃描、用於檢測模型異常改動的紅隊工具,以及帶有防篡改來源記錄和審計追蹤的模型加密簽名。

在微軟,研究人員和安全團隊並肩工作,研究模型和AI 助理面臨的新興威脅,再把研究成果轉化為產品防禦措施和指導,持續保護客戶。

更廣泛地說,Lazarus體現了一種應當成為常規的做法:AI 助理暴露出新的安全問題,人類研究人員隨後將其系統化、加以研究並緩解。

以下是首位發現該威脅的研究人員的簡要總結。

我們發現(在新標籤頁中開啟),在大語言模型中重新程式設計不到10個休眠神經元,就足以給基於該模型構建的AI 助理植入後門,而且無需訓練。模型能通過標準評估,行為一切正常,直到觸發條件出現。觸發條件可以平常到只是日期變化,比如當時鍾跨過午夜進入2027年,AI 助理就會在執行普通任務的過程中發出命令,下載並執行攻擊者的程式碼。隨後,AI 助理會用你授予它的任何許可權執行這段程式碼。

好訊息是,這類改動是可以被發現的:只要讓前沿AI 助理去檢查,它們就能識別出異常的權重修改。但沒有任何掃描能毫無疑問地證明模型是安全的。可靠的檢測需要與原始、未經修改的權重進行比對,因此來源至關重要:要清楚模型來自哪裡,並確認它在開發者與部署之間沒有被改動過。

被植入後門(在新標籤頁中開啟)的模型(在新標籤頁中開啟)並非(在新標籤頁中開啟)全(在新標籤頁中開啟)新的(在新標籤頁中開啟)威脅(在新標籤頁中開啟)型別(在新標籤頁中開啟)。可以把它看作被入侵的軟體,防禦手段也是安全人員早已熟悉的,薩提亞最近也撰文談到(在新標籤頁中開啟):把模型視為潛在的內鬼風險,不要盲目信任它們,限制它們能做什麼,並監控它們的行為。

微軟目前的舉措。

Microsoft Foundry 為 Azure Direct Models 和 Hugging Face 模型提供關鍵的安全系統,確保模型的來源可信。這意味著,對於來自可信實驗室的模型,Foundry 客戶不會受到本文所述那類攻擊的威脅。這類攻擊需要改動模型的權重,而 Foundry 在引入開放權重模型時採用來源管控,把每個模型與其原始釋出方繫結,每張模型卡都會標明發布方。隨後,模型在微軟自己的容器中執行,這些容器會單獨掃描是否存在嚴重漏洞。這些管控既覆蓋模型的來源,也覆蓋模型周邊的軟體。

剩下的風險在於,可信提供方自身遭到入侵,比如訓練基礎設施被攻破,或者出現內鬼。為了在這種情況下加強防護,我們已經著手落實本研究的建議。我們正與內部 AI 安全團隊合作,把研究中的檢測技術做成紅隊測試工具,並探索在引入開放權重模型時,如何用前沿AI 助理進行權重掃描,把它作為一項額外的安全訊號。此外還計劃讓模型帶有可驗證的來源簽名,並接受防篡改審計。

如需防護與緩解方面的指導,請參閱 Microsoft Threat Intelligence。(在新標籤頁中開啟) 

以下是我們的起步建議:

Infographic titled “Recommendations” presenting two columns of guidance for mitigating risks from backdoored AI models. The left column, “For model hubs and vendors,” lists five recommendations: (1) audit model weights with frontier agents, (2) compare model weights against a declared base model, (3) conduct red-team testing for weight-level attacks, (4) show model provenance and audit status, and (5) disclose risks of third-party checkpoints. The right column, “For enterprises and users,” lists five recommendations: (1) know where models come from, (2) limit agent permissions, (3) monitor agent actions, (4) review consequential actions before execution, and (5) treat audits as evidence rather than guarantees. Recommendations are displayed in numbered boxes, with the fifth item in each column highlighted in a light red background.
(這些並不全面;任何審計都無法保證行為安全。它們應作為縱深防禦體系中的一層。)

這件事始於今年 3 月的一次快速實驗:我讓搭載 Opus 4.5 的 Claude Code 在不訓練的情況下硬接幾個啟用值,給一個模型植入後門。它做到了。這次實驗後來發展成一項歷時數月的研究,研究的方法我們現在稱為 Lazarus。以下是我們得到的發現:

  • AI 助理帶來了很大的攻擊面。被植入後門的模型可以通過所有評估,然後在收到訊號時發出攻擊者的指令,由AI 助理以自身擁有的許可權執行。
  • 休眠神經元可以被改造成觸發器探測器。每個大語言模型都有大量很少啟用的神經元,可以把它們重新程式設計為只在觸發器出現時才啟用。之所以可行,是因為預訓練對內部表徵的組織非常規整,用約 50 個樣本擬合的線性分類器就能區分帶觸發器的輸入和不帶的輸入。
  • 一個被重新程式設計的神經元就能注入一個 token。被重新程式設計的神經元一旦啟用,就能把任意 token 強行寫入殘差流。你可以串聯多個神經元,得到能在你的終端裡執行的任意載荷。
  • 它只需要推理算力。只要你的機器記憶體足夠執行一個模型,就足夠在權重空間裡給它植入後門。
  • 這並不是反對開放權重的理由。這種攻擊只需要對檢查點有寫許可權,所以內部開發的模型同樣面臨風險。賬號、流水線或儲存被攻破就足以實施。關鍵在於權重的完整性和來源。
  • 權重應當像程式碼一樣接受審計。前沿AI 助理能夠檢測異常的權重改動,但掃描並不常見。這種情況應當改變。
  • [!!!] 搭載 Opus 4.5 的 Claude Code 自主發現了其中大部分內容

這是 Lazarus 工作原理的簡化示意。

在此閱讀全文

在新標籤頁中開啟

文章 Lazare, veni foras:重新程式設計休眠神經元以對 AI 助理植入後門 首發於 Microsoft Research。

來源:Microsoft Research 部落格 · microsoft.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論