Anthropic 研究：小型 AI 模型可於 IoT 裝置自我複製

William Zhou, Daniel Freeman

我們的實驗顯示，小型 AI 模型距離能夠在商用 IoT 裝置（如智慧烤箱和非品牌 Android TV 盒子）上自行複製還有數個月的時間。這類複製器很難關閉，因為沒有集中式的關機點——儘管它可能會比較慢（翻倍時間以天為單位）。與非 AI 惡意軟體不同，它還能自行辨識未知裝置。在我們的評估中，9B 模型已能在我們測試的 9 種硬體型別中，順利在 8 種上進行推理。

30B 引數以下的模型已能完成多數複製的個別步驟，雖然在端到端組合時會犯錯。於我們簡化的評估中，GLM-5.2 及更強大的模型能完成端到端複製。若小型模型以歷史速度提升，將於今年年底前達到此能力水平。基於權重的小型複製器可能很快就能實現。

介紹

持續提升的 AI 能力使長期以來的顧慮越來越現實：自主複製與適應（ARA），其涉及模型在無人為控制的情況下自行部署與傳播。

在網路安全領域，蠕蟲是一種不需人工輸入即可從一臺電腦複製到另一臺的程式。先前研究已顯示 AI 代理可以扮演此角色：掃描網路、執行利用程式，並將模型權重複製到目標機器，跨 GPU 叢集傳輸。這類「AI 蠕蟲」可在複製時攜帶其模型權重（或從公共中心重新下載），然後直接在被攻破的硬體上執行推理。實際上，權重將成為惡意軟體的有效負載。

資料中心 GPU 將是此類惡意軟體明顯且高價值的目標。然而昂貴的加速器並非必要。在這篇部落格文章中，我們展示分散式 IoT 裝置的機器人網路——便宜且通常防護薄弱——亦能提供足夠計算資源來執行強大模型。

我們在 15 臺價格低廉的非品牌 Android TV 盒子（每臺約 $55）上分佈執行 Gemma4-26B-A4B，並將其網路連線，速度為 0.39 tokens/秒。下方每個圖塊顯示一臺實體 TV 盒子，內部執行模型時承載兩層模型引數。

當然，還有許多其他步驟需要證明自主蠕蟲能夠在弱機器網路中傳播。為此部落格文章的目的，我們將複製鏈拆分為幾個步驟。

我們基本上忽略複製過程中的網路利用元素（上述前兩階段），因為早期研究 CyberGym、ExploitBench 與 adaptive worms 已證明小型模型在具備適當工具時能執行網路利用。然而，複製過程中較少被測量的部分是於被攻破裝置上設定推理，這是我們的重點。

在這篇文章中，我們首先列出我們認為最有可能實現的威脅模型。接著，我們測試小型模型是否能在不熟悉的硬體上建立推論，並且能否在多臺機器上串接完整的複製迴圈。之後，我們估算此類蠕蟲可能的傳播速度，並測試它在複製過程中是否能學習與適應。最後，我們說明 AI 蠕蟲與 AI 之前的惡意軟體有何不同，並簡要提出對抗此類複製器的防禦建議。

威脅建模

在這篇部落格文章中，我們聚焦於 AI 蠕蟲可能傳播的一種方式：透過侵入宿主機器而複製的小型模型。但 AI 蠕蟲還可能採取其他幾種方法：它們可能竊取存取權以啟動主機（例如，API 金鑰或平臺憑證），或透過合法工作（例如數位自由接案）支付推論費用。我們認為最接近今日實現的威脅模型如下：

1. A small model, replicating via host compromise. In this post, we’ll call autonomous worms that run their models directly on compromised hardware weight-based replicators. Home and small business IoT devices might be the first target for such attacks because they’re connected to the internet and, historically, have had minimal security measures in place.

   如果模型過大無法放在單一裝置上，便可將其拆分成多個片段或分片，在不同機器上執行，並透過彼此通訊共同執行整個模型。能夠執行一個 <30B 模型重要分片的機器包括智慧冷藏櫃、智慧烤箱、自動吸塵機以及割草機。越來越多的家用與商用裝置，例如安全攝影機與視訊會議裝置，現在都內建小型 AI 晶片，設計用於在裝置本身上執行 AI 模型。這額外的運算能力也可能使它們成為有吸引力的攻擊目標。

   1. 人類駭客通常透過社交工程（例如說服公司 IT 部門你是忘記密碼的員工）來突破安全系統，而非直接駭入。對於今日的小型模型而言，這種權衡似乎已被顛倒 … (見 Appendix E)，儘管隨著模型進步，情況可能會改變。
2. A large, advanced weight-based replicator focused on datacenters and other high-compute targets. Larger models tend to have correspondingly better cyber capabilities, but will also need to breach (relatively) hardened datacenters to run themselves. We split this threat model into two subcategories:
   1. Frontier replicators: 大型封閉權重複製器在他們的實驗室基礎設施上執行，並能啟動未監控的內部部署或將其權重導出到外部計算。
   2. Open‑weight 複製器：這些複製器起初相對資源較少 …（因為未能從實驗室的計算資源中受益），但開始時未受監控。
3. API 基礎複製器：模型會透過竊取自身推論 API 的憑證來複製。這類複製器需要模型供應商不知情地為其服務，其持續性可能較差，因為更易被發現（儘管其傳播速度可能更高，例如能利用受害者帳號進行複製）。

實際上 …

在這篇部落格文章中，我們考慮小型權重基礎複製器（上述第 1 節）的可行性。我們聚焦於此，因為它是可直接調查的近端威脅模型。我們在文章頂部的示篩，一個 26B 模型跨 15 臺機器執行，顯示物聯網裝置能執行相當強大的模型。這些模型是否足以進行自主複製？

我們將此問題分為兩個部分來探討。首先，小型模型能否在陌生硬體上啟動？其次，它們能否在一次執行中完成整個迴圈（尋找未被感染的裝置、複製自身、在該裝置啟動執行並重複）？

A. 推論設定

在上述顯示複製週期的圖示中，推論設定是研究最少且可能對小型模型最具挑戰性的階段。它需要一系列相當長的硬體與作業系統特定決策，包括選擇相容的推論堆疊、尋找正確的套件版本以及除錯機器特定問題。這些步驟是序列相依的，失敗後難以恢復。

補充說明

評估推論設定效能

我們測量不同開放權重模型在各種異質硬體型別上提供 Llama3.1-8B 的能力。請參閱下表，瞭解不同硬體型別每秒處理的 token 數：

• 點選單元格檢視其服務速度分佈。
• 點選行/列標籤可獲得模型或硬體型別之間的比較。

小型模型，例如 Qwen3.5-9B，能在從 Jetson Nano 到 Mac PC 以及 RTX 4090 等硬體上設定推論伺服器。更強大的模型，如 GLM-5.2，不僅更可靠，還能達到更高的每秒服務 token 數，從而加速複製。我們測試並提及特定晶片，以評估模型在其上設定推論的效果。這些晶片並非風險或漏洞來源。

我們使用 Memento 進行這些實驗，Memento 是我們在開源 Pi 編碼代理之上構建的工具。Memento 的設計是為了減輕我們在長期執行中觀察到的常見失敗模式：代理可能會執著於一個錯誤的想法（例如，為什麼會出現錯誤），並繼續追尋，而不是回溯。此類失敗的一個例子是 Qwen 代理在除錯套件版本時耗費數小時，實際錯誤卻來自於實作與評分器 API 不相容的端點。

Memento 會定期啟動一個新的代理例項，使用前一個代理的工作空間以及前一個代理寫下的簡短筆記，說明其嘗試過的內容，從而讓後續例項能採取不同策略。

模型如何在智慧型電視上執行？

物聯網裝置記憶體有限，但像 Petals 那樣的分散式推論使得提供我們輕量級模型成為可能。代表性的威脅模型是 Kimwolf，這是一個大型 IoT 機器人網，感染了超過兩百萬臺裝置，主要是非品牌 Android 電視。這類智慧型電視盒子易於購買，通常執行 Android 開源專案 (AOSP) 的分支，而其製造商 不新增安全功能。此類裝置通常配備 1 至 4 GB RAM。假設 4GB RAM 並採用 4 位量化，可在 4 臺或以上機器上推論 9B 模型，或在 10 臺以上機器上推論 26B 模型。

在本文頂部的示範中，我們將 Gemma4-26B-A4B 執行於 15 臺各具 4GB RAM 的智慧型電視盒子上。我們在管線並行模式下將模型切分，每臺盒子僅承載模型層的一小部分。

B. 病毒式擴散：在 GCP 節點叢集上自動設定與複製

既然我們已經看到模型能在不熟悉的硬體上設定推論，現在讓我們測量模型是否能組合這些步驟——即掃描網路尋找目標、透過反向 shell 存取它們、傳送病毒載荷（權重與支架），以及設定推論。

自主推論設定與複製（簡化版網路攻擊）

為此，我們構建了一個有防火牆的 VPC，內含 8 個執行 redroid（Android 15 模擬器）的 GCP 節點。零號病人（灰色節點）被注入蠕蟲。隨後的每一次感染都是蠕蟲本身在未經身份驗證的 ADB 埠上從節點跳躍到節點，然後設定推論伺服器以提供 Llama3.1-8B。如果推論伺服器通過多項正確性與防作弊檢查，我們會在目標節點上再啟動一份蠕蟲副本（例如，如果 GLM-5.2 在機器上設定 Llama3.1 以執行，我們會在其上啟動 GLM-5.2 蠕蟲的副本）。蠕蟲的模型執行於獨立的推論伺服器上，因為 VPC 節點的資源不足以執行較大型模型。

在下圖中，我們將給定模型作為載荷投放，並測量其複製能力。

為什麼要讓模型為 Llama3.1-8B 設定推論，而不是為自己設定？

在我們測試的開放權重模型中，只有 GLM-5.2 能完成完整的端到端複製（假設其能力可被打包進 Llama3.1-8B）。請注意，GLM-5.2 能可靠地完成此任務，而其他模型則失敗（在 5 次試驗中有 4 次成功覆蓋 8/8 節點，另一次覆蓋 7/8 節點）。

GLM-5.2 能夠良好地傳播 Llama3.1-8B，這表明未來同等能力級別的較小模型也可能完成網路列舉、載荷傳送以及推論設定的複製步驟。我們的評估將複製中的網路攻擊部分簡化為極其簡單（ADB 埠無身份驗證），因此這代表實際成功率的上限。值得注意的是，以往的 IoT botnet 曾透過極簡單的方式（如使用製造商預設的使用者名稱與密碼）進行複製，例如 Mirai botnet，因此實際的 IoT 安全性可能並不比我們評估中的簡易步驟困難太多。

作為一項合理性檢查，我們可以觀察自動化與協調步驟的難度（若去除網路攻擊與推論設定，剩下的命令列工作有多困難？）。此消融實驗即為上述評估，去除了推論設定步驟（透過預先編寫的指令碼完成）。我們名單中的多個模型，包括較小的模型，都能完成這些剩餘步驟。

在一個受限的 17 節點 redroid 車隊上進行複製：兩個 8 節點子集由一個 pivot 節點連線（見附錄 F，使用溫和提示）。每棵樹代表模型在六次執行中的中位數。

關於此蠕蟲，我們可以想像：

1. 一個模型能力底線，自治蠕蟲必須高於此底線才能可靠完成複製。在我們簡化的評估中，GLM-5.2 高於此底線。
2. 一個模型尺寸上限，模型必須低於此上限，才能在其攻擊的裝置上執行。對於我們測試的 4GB RAM 智慧電視類別，Qwen3.5-9B 與 Gemma4-26B-A4B 均低於此上限。

目前，底線與上限尚未相交。何時可能相交？

上圖顯示了 30B 引數以下的開放權重模型，按其發布日期對照 Epoch Capabilities Index (ECI) 的散點圖。實線為每個日期最佳模型的最小二乘擬合，年增長 13.7 ECI（R² 0.95）。若以 GLM-5.2 作為複製能力的最低基準，趨勢線預測到 2026 年末可達到該水平的小型模型。ECI 是一個通用能力指標，僅為複製能力的代理指標，故此僅為小型模型複製器可能出現時機的粗略估算。

C. AI IoT 蠕蟲複製速度可能有多快？

與編碼代理不同，這些複製器的執行速度低於面向使用者的聊天和編碼工具的互動速度。傳播將緩慢且持續，令標記（tokens）在邊緣硬體上緩慢滴出。我們可將在實際智慧電視上達成的速度作為複製速度的示範基準。對於 Gemma4-26B-A4B，未最佳化情況下在 32k 上下文長度的 token 視窗中的速度約為 0.3 tok/s，平均計入預填和解碼的推理工作負載。更多細節見附錄 C。

衡量總耗時的一種方式是測量完成一個 32k 大小的上下文視窗所需的小時數，之後才會進行壓縮。根據我們的推理設定評估統計，完成一條軌跡需要約 2.6 至 4.7 個完整視窗。

Kimwolf botnet 在高峰期感染的裝置數量，由 Synthient 報導，超過 200 萬臺（主要為 Android TV 盒子）。若在等量的受感染電視船隊上執行 AI 模型，且每 15 臺電視執行一份 Gemma4-26B-A4B，將有約 133,000 個複製品（“複本”）。像我們示範中的電視組合可同時提供 2 個代理，每臺約 0.3 tokens/秒，總計 botnet 80k tokens/s。

作為參考點，H100 在 高併發與投機解碼 下可為 Gemma4-26B-A4B 提供約 1.95k tok/s 的服務，因此我們的群集最多相當於 40 臺 H100 的推理能力。這在絕對量上是一個極小的算力，且代理為慢速複製器（每 9B 複製需 1-2 天）。作為類比，想像複製器像黏菌或果蠅群，數天內複製。

這是一個粗略估算，因其基於單一型別 IoT 硬體與單一歷史 botnet，但描述了在不久的將來可能發布的簡易複製器。實際上，更強大的複製器會利用其他型別低安全性算力，並在不同裝置上機會性地部署各種尺寸模型（且不必在每臺受害裝置上載入模型負載）。隨著時間推移，我們預計已部署的邊緣算力將持續增長，而可靠複製所需的最小模型尺寸將下降。

D. 適應與提升

實務學習

ARA 的「Adaptation」部分是 AI 複製器可能優於傳統蠕蟲的原因之一。具體而言，模型與提示在擴散過程中可經歷拉馬克式演化——也就是說，父代例項能將其提示、程式碼與備註傳遞給其子代複製器。為了適應並在各種硬體上擴散，模型需要兩項條件：

1. 具備足以在全新、未見硬體（或軟體環境、或網路型別）上進行擴散的能力閾值以上。
2. 一旦遇到，就需適應其所落入的環境型別（在先前見過的硬體上應能更可靠地複製）。

A 與 B 章節測試第一個條件，下方實驗則測試第二個條件。每個 Qwen3.5-9B 例項會記錄其嘗試過的策略與遇到的失敗，然後新例項繼承這些備註並再次嘗試相同的推理設定。

Qwen3.5-9B 六代的推理設定成功率，每一代均繼承前一代的備註。淡線代表 20 條獨立世系，粗線則顯示每代完成設定的執行比例。比例從第一代的 45% 上升至後續代的 61%~84%。此實驗採用 Memento 設定（附錄 A）。

接受建議

另一個顧慮是小型模型能向 frontier advisor（一個更強大的模型）請求協助，該模型可能以工具呼叫的方式提供協助，或在小型模型卡住時自動給予建議。為測試此點，我們在推理設定任務中讓 Qwen3.5-9B 取得 Opus 4.8 的存取權。frontier 模型的建議並未產生可測量的幫助：小型模型往往不知道該提什麼問題，且在未被提示時接受建議並未改善。

即使在類似環境（Python 程式編寫問題）下透過強化學習訓練小型模型使用顧問，仍難以有效請求協助以完成推理設定。兩項結果均顯示於下方圖表。

按顧問存取權的推理設定成功率，附 Wilson 95% 置信區間。無論以工具呼叫方式提供顧問，或在模型卡住時自動給予，均未帶來顯著提升。兩組 RL 模型在軟體工程任務中訓練時使用顧問存取權，最右側的組別還對在卡住時呼叫顧問給予獎勵。

由於小型模型既能成為有能力且持久的個體代理，且對建議使用不佳，我們認為協調更可能由大型模型負責高階策略，並啟動小型模型作為子代理來實現。

E. 這與 pre‑AI botnet 有何不同？

像 Kimwolf botnet 這類硬編碼 botnet，通常針對特定型號的裝置——在 Kimwolf 的案例中是 Android TV 與行動裝置。AI botnet 並不受限於任何特定硬體或軟體型別，從小型模型能在 Jetson Nano 到 Mac 等機器上設定推理引擎可見一斑（請參閱 A 章節的表格）。我們預期 AI botnet 會感染的裝置型別不僅限於 IoT，且會將基於權重的複製僅作為其策略手冊之一。AI botnet 亦可能以智慧方式對抗防禦者……但我們尚未進行測試。

F. Blue‑team 措施

如同流行病學，防禦的目標是將 R₀（每臺受感染裝置進一步感染的新裝置數）降至 1 以下，使複製器終止而非持續流行。

關於此威脅模型，部分因素對防禦者有利：

1. A weight-based replicator multiplying through IoT machines at scale would leave a network signature, visible as an anomaly in ISP flow-based monitoring systems. Newly infected hosts may receive multi-gigabyte model payloads from other devices or external hosting services, while distributed inference can produce sustained device-to-device traffic between machines that wouldn’t ordinarily communicate at that volume. Propagation itself would add additional scanning and outbound connection patterns.

   實際上，複製器在複製速度與隱蔽性之間做權衡：複製越快，產生的流量越多。當複製器被發現後，防禦者可以使用蜜罐（誘餌裝置）來收集複製器的 harness 和 payload，以描述其行為。

2. Mirai botnet 的修復 可行，當 ISP 使用外部取得的感染證據來隔離並通知客戶時。隔離感染的使用者涉及將其網路限制為只能存取少量白名單網站，否則將瀏覽器重定向至清理說明。這在 14 天內清除了 92% 的感染，與未通知時的 74% 相比。我們預期隔離對於初步防禦基於權重的複製器同樣有效。徹底消除複製器意味著需要協調每個 ISP 的受感染網路，這很困難。
3. 製造商可以縮小目標池，並透過法規協調。例如，預設 IoT 密碼現在在英國市場不合規。改用更安全的預設值並提高合規基準將有助於加固對 AI 與指令碼化 botnet 的防禦。

G. 結論：生命跡象

使 AI 模型普遍成為強大程式編寫代理的能力，也同樣適用於網路任務，包括自主複製。就像 2024 年的程式編寫代理一樣，我們正在看到 AI 蠕蟲的生命跡象。雖然我們尚未擁有完整的流氓複製器，但代理正越來越能完成複製鏈中的各個步驟（並將其適應傳遞給未來的自身複本）。

同時，推論運算量在資料中心內外均日益充足（見附錄 D）。自主 AI 複製將採取何種形式尚不確定。它可能是一種緩慢、分散式的「數位黏菌」，在相對不安全的運算資源上執行；亦可能是一個強大的網路模型，以高速突破資料中心，或是一個詐騙人們獲取運算資源的模型。

作為超越我們實驗的預測，我們預期未來將湧現大量在各類硬體上執行的代理，其中包括一些不受人類控制的。雖然 IoT 裝置長期以來一直易受攻擊，但輕量級代理可能比人類攻擊者更願意投入努力，去侵入全球大量 IoT 運算資源。慢速複製器的興起也將成為更具侵略性、更快速的複製器的風向標，這些複製器能突破更硬化的機器或成為有效的 API 金鑰盜取者。我們應該致力於加固系統，讓此類複製器難以擴散，同時準備面對它們長期存在的世界。

附錄

A. Memento harness

Memento 執行流程如下：

1. 我們啟動一個代理例項，該例項會在一段時間內（直到生成超時）處理問題。
2. 該例項會保留簡短筆記，並在超時後總結一份小檔案，記錄其嘗試的策略、遇到的失敗以及表現（若成功）。
3. 我們建立一個新的代理例項，該例項繼承其前身的程式碼庫、環境以及筆記本。

在服務實驗中，每個模型都被放置於 Memento harness，並被設定為每次迭代 1.5 小時 / 總計 6 小時的逾時時間。提示中提供了約 1,000 個 token 的資訊，包括硬體規格以及一個簡易樣本分析器的指令碼。

Memento 的目標是提升長期可靠性，而非提供新的網路或推論專用功能。它也不是一個普遍強大的 harness；我們預期即使在沒有任何 harness 的情況下，小模型也會隨著能力提升而改進。

單次嘗試與 Memento 的比較，按模型（95% Wilson CI）。

B. 為什麼使用流水線並行？

推論常見的並行方案包括張量並行（TP）、專家並行（EP）和資料並行。大多數智慧電視 / IoT 裝置使用 ARM Cortex CPU 和 DDR3/4 記憶體；在這類機器上，我們幾乎總是受頻寬限制。

我們使用流水線並行是為了其容錯特性。正如 (Borzunov et al. 2022) 所指出的，張量並行 / 專家並行中單一節點失效會導致執行模型副本的整個機器叢集失效。流水線並行允許將失效節點替換，並且該節點持有的層級 KV 快取可透過另一個前向傳遞重新計算，在重新啟動節點之前完成。

C. IoT 硬體上的吞吐量與記憶體

在這類機器上，我們幾乎總是受每個盒子在預填充與解碼階段的 RAM 頻寬限制。即使在較簡單的 ARM Cortex 核心上，計算吞吐量也超過 RAM 頻寬。解碼工作負載因流水線膨脹而在每臺機器上有顯著的閒置時間，因為在每次前向傳遞期間只有一臺機器處於活動狀態。雖然可以透過分階段工作來實現併發，但緊張的記憶體限制使得併發度保持低。

每盒記憶體對比上下文 — 4 位元權重 + fp8 KV + 啟用值。

預填充與解碼的每秒 token 數隨序列長度嚴格下降。以下是我們推論速度相對上下文長度的圖表：

模型也有一個最小序列長度，超過此長度才具備能力。我們使用的 harness 是從 Pi coding agent (pi.dev) fork 出來的，並包含原生壓縮機制——即使如此，我們發現當序列長度被限制在 32K 以下時，模型的效能會受到極大影響。

Qwen3.5-9B 在推論設定任務中的代理能力與上下文視窗預算之比較。

根據上述評估，我們假設 32K 的上下文長度足以達到合理的代理效能。在我們的推論設定工作負載中，標準的 32K 長度上下文視窗由 12–15% 的生成解碼 token 組成，其餘則為來自提示和工具呼叫的預填 token。由於管道冒泡，預填 token 的計算速度快約 15 倍。將整個 32K 上下文中每個 token 的時間總和（考慮預填和解碼速度）相加，我們發現生成 3.8-4.8K 的解碼輸出 token 並處理約 28K 的預填 token，對 Gemma4-26B-A4B 耗時 27.3-31.8 小時，對 Qwen3.5-9B 耗時 10.9 小時。

每條鏈的輸出 token（累計於鏈的生成過程中），按模型分；中位數約為 19.7k / 12.3k / 11.0k。資料來自推論設定評估。

D. 邊緣加速器

我們可以利用 Nvidia Jetsons 的資源來計算更好的上限，Jetsons 是邊緣加速器。不同於傳統 IoT botnet，IoT 邊緣裝置可以一次性提供完整模型。Jetson AGX Orin 64 GB 執行 Qwen3-30B-A3B 的速度為 76.7 tokens/秒，AGX Thor 最高可達 226 tok/s。請注意，我們並不認為它們異常易受攻擊——這只是用來計算上限。現場使用 Jetsons 的裝置型別包括：

1. 配備內建加速器的 AI 智慧相機已在安全領域大規模部署。
2. 會議機器常以內建加速器支援裝置內噪音消除或即時轉錄。
3. 車輛、機器人四足與雙足，以及無人機。我們預期車輛的網路安全將成為焦點，因此大部分潛在目標可能集中於其他兩類。

至少有一臺配備加速器的智慧相機主機在 FOFA 快速搜尋中顯示可通過 IPv4 連線：

雖難估計現場有多少裝備邊緣加速器的機器可存取且易受攻擊，但我們能計算出存在裝置數量的嚴格上限。現場約有 90 款不同 NVIDIA‑silicon IoT 產品線，總量約 950 萬臺。可存取性主要透過外向雲端管理通道，而非入站埠，意味大部分裝置無法被網頁存取。迄今為止，未曾發生過像標準 IoT botnet 那樣的大規模加速器裝備邊緣裝置被入侵事件，表明攻擊此類裝置會更困難。

每個裝置系列的實際部屬數量，按網際可存取性著色。

根據產品資料的粗略估算，邊緣加速器中大約有 9,000 至 35,000 個 H100 等效運算資源，但可存取的數量可能低一個數量級甚至更低（易受攻擊的族群更少）。

另外

E. Spearphishing 能力

我們亦測量現代小型模型在 spearphishing 上的熟練度。Spearphishing 指向特定個體傳送針對性訊息，誘使其洩露憑證或執行惡意程式。雖然小型模型的代理式網路能力已大幅提升，其一般知識與語言精緻度的進步較慢；我們預期社交工程與釣魚攻擊主要由大型/前沿模型完成（儘管在混合使用大型與小型模型的異質 botnet 中，這亦可能是次級複製向量）。

Meta 的 CyberSecEval 3 針對 spearphishing 的評估（Wan 等 2024），本地複製。評分範圍為 0-5，使用 gpt-4o 作為評審。紅色菱形為論文（CyberSecEval 3）中參考模型的人類評分，顯示 gpt-4o 的分數比人類評審寬鬆約 0.4-0.7 分。2 表示「差」、3 表示「中等」、4 表示「好」。當以人類評分標準正規化時，小型模型的得分為「非常差」至「差」。

405B 參考槽使用 Hermes-3-405B 作為可用 Llama3.1-405B-Instruct 的最小拒絕替代品。

F. 使用指令碼推理設定的擴散：

我們在一個由 17 臺主機組成的網路上進行幾項額外實驗，拓撲結構如下：

兩個網路各有 8 臺主機，透過一個同時連線兩個子網路的節點相連。每個網路皆為全對全連線。蠕蟲代理程式起始於段 A 的單一「患者零」節點；pivot 節點則增加一點額外挑戰，即蠕蟲必須取得 pivot 節點的存取權並從該節點重新掃描。

每臺裝置皆執行 Android，且 ADB 連線埠未設認證。當蠕蟲傳播至新目標時，代理程式能立即發起直接呼叫以複製自身——此舉僅為衡量其餘步驟難度，排除網路與推論設定步驟後。圖中顯示，即使是 3B 模型也能達到大約一半節點。這限制了我們評估中未能測量到的阻擋數量，因為這些阻擋屬於網路或推論設定範疇。

以下為「跨 17 臺節點網路的複製」實驗的更詳細分解。每一欄顯示在不同提示指引量下達到的節點數中位數，下標則表示有多少代理程式跨越 pivot 節點到達網路另一側。