柏克萊研究推演2027至2029年AI資安威脅,聚焦AI代理供應鏈與自動化攻防
加州大學柏克萊分校長期網路安全中心(CLTC)旗下 AI Security Initiative推演 2027 至 2029 年的三種情境,探討 AI 如何擴大社交工程、加速漏洞攻防,並透過供應商 AI 代理影響企業營運。
加州大學柏克萊分校長期網路安全中心(CLTC)旗下 AI Security Initiative推演 2027 至 2029 年的三種情境,探討 AI 如何擴大社交工程、加速漏洞攻防,並透過供應商 AI 代理影響企業營運。
Microsoft Research 揭示 Lazarus 後門技術,可重程式設計 LLM 中少於 10 個休眠神經元,讓 AI 助理在隱藏觸發條件出現時執行惡意命令,且不需重新訓練模型。
推薦理由:研究說明少於 10 個休眠神經元如何在免訓練下植入後門,並指出模型權重來源與完整性是防禦此類攻擊的關鍵。
Meta FAIR 研究人員推出 e-means,這種迷你批次 k-means 演演算法在 1.4 至 2.6 個 epoch 內,達到 Lloyd’s k-means 執行 25 個 epoch 的 loss。
Microsoft Research 揭露 Lazarus 後門技術,研究指出,重程式設計 LLM 中少於 10 個休眠神經元,即可在不訓練模型的情況下,讓 AI Agent 在觸發條件出現時執行攻擊者指令。
推薦理由:研究說明少於 10 個休眠神經元如何在不訓練模型的情況下形成觸發器,並指出權重來源與完整性是偵測和防護的關鍵。
Berkeley RDI 等機構提出 CyberBinGym,以 100 個真實漏洞任務評估 AI 助理能否只憑去符號的漏洞版與修補版二進位檔還原漏洞並完成利用,過程中不提供原始碼、漏洞描述或參考 PoC。
推薦理由:基準分開衡量漏洞還原與經審計的利用結果,呈現找出漏洞和造成實際安全後果之間的落差。
VulnCheck 針對 Anthropic 的 Project Glasswing 漏洞挖掘專案進行七個月後的追蹤分析,指出專案在漏洞修復數量、真實陽性率與開源維護者負擔上面臨的落差。
F-Secure 的 AI Harms Taxonomy 整理出 AI 可能傷害消費者的 26 種方式,並追蹤傷害如何經由 AI 系統傳遞,以及防禦可介入的位置。
OpenAI 研究預訓練、模型架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性,發現模型能力提升與 CoT 可控性增加可能使監控更困難。 - 預訓練與架構:較低的基礎模型困惑度與較強的無 CoT 能力相關;多數評測中,困惑度可解釋不同架構的表現,但部分多跳規劃與序列計算任務呈現架構差異。
推薦理由:研究比較預訓練、架構、強化學習與模型生成資料對 CoT 可監控性的影響,呈現能力提升與監督難度之間的關聯及評估限制。
Microsoft FORGE Lab 發現並回報 Rust 標準函式庫中的多項記憶體安全問題,部分問題可由完全使用 safe Rust 的程式觸發未定義行為。
推薦理由:文章以多個回報案例整理 Rust 標準函式庫不安全程式碼的三類信任缺口,呈現安全 API 如何因恐慌、錯誤實作與系統狀態而失去健全性。
Duke 與 Princeton 的一篇新論文發現,在相同運算預算下,多個平行運作的小型 Agent 團隊勝過單一 Agent 的 best-of-N 方案與單一大型團隊。
Check Point Research 發現 SilentDelivery、OceanGate 與 DarkWire 三組間諜活動,透過共用基礎設施與惡意程式碼相似性,連結至 Sparrow 惡意軟體生態系及其供應者 CopperDragon。
Anthropic 與 Truthful AI 等機構研究發現,單獨作用甚微的投毒訓練資料,與格式相似、但不含觸發特徵的乾淨資料混合後,可能使模型學會隱藏後門行為。
推薦理由:研究以多種模型與 MNIST 實驗呈現,對比性乾淨資料可能改變投毒樣本的作用,指出孤立審查訓練資料可能漏掉隱藏後門。
Mozilla 根據近 2,500 萬名 Firefox 正式版使用者的遙測資料研究瀏覽器指紋,並將資料分析結果用於 Firefox 143 的防護設計。
推薦理由:研究以近 2,500 萬名 Firefox 使用者的遙測資料分析瀏覽器指紋,呈現各作業系統的差異,以及相容性如何影響防護設計。
NVIDIA GR00T 2 透過預測機器人動作與未來影像,將人類示範影片中的動作轉移到機械手臂,研究目標是減少訓練時遠端操控的需求。 - 訓練與實驗:模型使用約 400,000 小時的人類任務影片訓練;實驗中,機器人能點燃火柴、切香蕉及將包裹丟上輸送帶,各任務成功率介於 10% 至 80%。
Global Carbon Project 的《2026 Global Carbon Budget》預計,2026 年全球化石燃料二氧化碳排放量將下降 0.4%,至 382 億噸。
Route Anything 研究評估模型路由在多種任務上的品質與成本,發現路由器平均每單位成本可取得 8.82 倍品質,品質損失低於 0.5 分。
推薦理由:這項工作將 Signal 協定的驗證延伸至編譯後的裝置程式碼,並以人工審查比例與耗時呈現形式化驗證的工作規模。
Google DeepMind 使用 AlphaProof Code,為 Signal 協定實際執行的機器碼產生機器可檢查的安全性證明,檢查範圍涵蓋處理器執行的指令。
推薦理由:這項工作把驗證範圍推進到 Signal 協定實際執行的機器碼,並以重新引入已修補缺陷的方式檢查方法能否辨識不安全程式。
Google DeepMind 使用 AI 助理為 Signal 的編譯後程式碼建立機器可檢查的數學證明,驗證訊息保密規則在處理器實際執行的指令層級成立。
推薦理由:這項工作把驗證範圍延伸至處理器實際執行的指令,並以已修補的 Signal 漏洞測試系統能否辨識不安全程式碼。
OpenAI 與 Upwork 的研究比較 ChatGPT 使用情形與自由工作職缺,發現 AI 相關專案涵蓋更多工作組合,且固定預算較高、工時較長。
推薦理由:研究比較 ChatGPT 使用與 Upwork 接案需求,呈現 AI 相關專案如何擴大工作組合與專案範圍,提供觀察自由工作變化的早期線索。
AI 用不同語言回答同一類問題時,耗用的能源和答案準確度可能有明顯差距。密西根大學研究團隊測試三種開源模型,發現生成非英語文字最多可能比英文多用 180 倍能源;印度語和孟加拉語分別約多用 7.9 倍和 15.3 倍。研究者指出,部分文字需要更多 token,會增加運算負擔;耗能較高的語言,模型回答也往往較不準。團隊建議為不同語言調整模型,或先把問題翻譯成英文再交給通用模型,但前提是翻譯可靠。
Silent Signal 重建 IBM i 7.5 的 Program Validation Value(PVV)計算,並在受控測試中驗證,修復 PVV 與儲存檔檢查值後,修改過的 USER 狀態原生程式碼可經還原並執行。
推薦理由:文章重建 IBM i 7.5 的 PVV 計算,並以離線比對及受控還原測試,說明完整性檢查、簽章與授權各自扮演的角色。
NeuraCryption 發表 SPECTRA 研究與開源實作,提出免校準的 4-bit 權重量化與 Triton 推論架構,並報告在 4GB 筆電 GPU 上執行多種模型的測試結果。
Google DeepMind研究人員使用 AlphaProof Code,對 Signal 加密協定的實際程式碼,以數學證明驗證關鍵安全性質。
推薦理由:研究展示如何讓 AI 助理把 Signal 協定的安全目標轉成可機器檢查的證明,並將人工審查集中在需要判斷的部分。
研究發現,DALL-E 3 的提示詞修訂機制會將集約化畜牧業描繪成田園牧歌式場景,即使研究人員明確要求呈現真實情況也是如此。 - 研究比較:生成北美、歐洲和大洋洲農場影像時,模型多呈現奶牛在牧場吃草、豬在泥地拱土;關閉提示詞修訂後,影像更接近動物在室內飼養的現況,不同地區的差異也開始顯現。
Global Carbon Budget 2026 預測,全球化石燃料 CO₂ 排放今年將下降 0.4% 至 382 億噸;但土地利用變化排放預計增加,使總 CO₂ 排放升至 433 億噸,高於去年的 428 億噸。
推薦理由:研究將化石燃料排放、土地利用變化與碳匯納入同一年度預算,並比較各地區及能源來源的變化,呈現全球排放下降能否持續的關鍵條件。
summary_zh: 具身智慧每日論文雷達從 1,370 篇論文中篩選並評估 250 篇,選出 18 篇高度相關或具突破性的研究,涵蓋視覺語言動作模型(VLA)、機器人基礎模型、導航、靈巧操作與模擬到真實轉換。
科學家在碲化錳中觀測到「手性交替磁振子」,為交替磁性這種新型磁態提供關鍵實驗證據。 交替磁體沒有明顯外磁場,但因原子空間排列方式特殊,保留部分通常出現在鐵磁體中的電子自旋特性。 理論預言,交替磁體中的磁振子可能具有手性,其自旋集體運動的方向偏好會隨傳播方向改變。
Robocurve 的研究發現,攝影機影像模糊或遭刻意竄改時,受測多模態 AI 模型嘗試執行危險任務的比例明顯上升。 - 測試設計:研究以 5 款模型、5 項危險操作任務和 3 種影像條件進行測試,各種組合重複 12 次,共 900 次。
TailSteer 降低多輪影像編輯的累積漂移,History Forcing 則改善長時間影片生成中的場景延續性。 - TailSteer:在 FLUX、SenseNova 和 Qwen 系列上測試,可降低連續 15–20 次編輯的累積漂移,並大致保留原模型的生成與編輯能力;目前驗證至 20 次編輯。
Google DeepMind 研究人員使用 AI 框架 AlphaProof Code,在四週內形式化驗證 Signal 協定的部分密碼學保證,並在檢查範圍內確認未發現新漏洞。
研究者在 Prusa 3D 印表機韌體中揭露 14 項發現、約 23 個缺陷;其中一條 Prusa Connect 漏洞鏈經實機驗證,可讓攻擊者在特定網路條件下於主控制器執行程式碼。
VDB 每六小時向多個 LLM 詢問一般任務適用的套件,並比對套件登入檔;Nov 2–8 首次觀察到 180 個不存在的名稱,其中 10 個至少被一個模型再次產生。
用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。