跳到正文

全部動態

RSS
今日 10 則
11月12日週四
  1. Perplexity52

    Perplexity 發表對 SPACE VM 沙箱中的電腦AI 助理進行紅隊測試的研究,測試 12 個模型 的安全邊界行為。 測試任務:嘗試逃出 VM 取得主機憑證,以及繞過 SPACE 的網路政策存取遭封鎖的 URL。 研究發現:標準 CTF 紅隊測試設計可能使AI 助理偏離受測安全邊界;專精安全的模型不保證測試結果更好。 研究連結:https://t.co/Egh3x3uX4c

  2. aihot76

    Anthropic 發布 MAMUBench,研究多使用者多AI 助理團隊的協調失效

    Anthropic Fellows Program 團隊建立四種多使用者、多AI 助理模擬環境,發現由單一AI 助理服務所有使用者,在四種環境中的整體表現都優於每位使用者各自配置AI 助理的點對點團隊。

    推薦理由:研究比較單一協調者與多使用者AI 助理團隊,呈現共享資源時的協調落差,並指出負責人與未讀訊息防護在不同環境中的效果。

  3. Epoch AI Gradient Updates80

    Epoch AI 11 月 11 日簡報整理模型能力、資安研究與全球 AI 算力

    Epoch AI 的 11 月 11 日簡報彙整模型能力、資安、全球算力與生物學研究等多項新分析。 - 資安測試:研究者在離線沙盒中測試 GLM 5.3,模型無需人工輸入,便為 Firefox 最近的六個版本建立可讀取訪客電腦檔案並傳送給攻擊者的網頁;每個版本約花費 $1,000。

    推薦理由:受控沙盒測試呈現開放權重模型利用修補時差攻擊 Firefox 的方式與成本,並指出此類風險可能擴及其他軟體。

  4. Dev.to Top Tech82

    AlphaProof Code 驗證 Signal 的 libsignal 加密實作,並以舊漏洞測試辨識能力

    Google DeepMind 使用 AlphaProof Code,為 Signal 參考實作 libsignal 的編譯程式碼產生機器檢查的形式化證明,涵蓋一對一訊息的握手與金鑰輪替。

    推薦理由:這項驗證涵蓋 libsignal 編譯後的程式碼,並以兩個已修補漏洞測試工具能否辨識不安全版本,呈現形式化驗證的實際範圍與檢查方式。

  5. solidot62

    華盛頓大學團隊模擬無生命地球的數十億年演化

    華盛頓大學團隊以電腦模擬無生命地球從約 45 億年前至今及未來 5 億年的演化,發現其地表溫度與液態水量仍可接近現今地球。 模擬保留地核、地函、大氣、海洋與太陽輻射等 19 項物理變數;由於沒有光合作用,這顆地球的氧氣極度缺乏。 模擬指出,岩石風化、火山噴氣與海洋化學反應形成的碳酸鹽-矽酸鹽迴圈,可調節大氣中的二氧化碳,維持地表溫度在宜居範圍。

11月11日週三
  1. elvis75

    Google DeepMind 使用 AI 助理,為 Signal 的程式碼證明關鍵安全性質,驗證範圍涵蓋編譯後的機器碼。 - 方法與規模:由 5 人團隊在 4 週內完成;由 Gemini 4 Carbon 驅動的AI 助理,針對未修改的 libsignal 程式碼撰寫約 650 萬行 Lean 證明。

    推薦理由:這項工作呈現 AI 助理如何與人工撰寫規格、Lean 證明檢查器協作,將 Signal 程式碼的安全性驗證延伸至編譯後機器碼。

  2. The Hacker News77

    Microsoft 研究人員展示:編輯不到 10 個神經元即可在 AI 助理模型植入後門

    Microsoft 研究人員展示,修改模型中不到 10 個較少啟用的神經元,就能在觸發字串出現時讓 AI 助理模型輸出攻擊者指定的命令,無須重新訓練模型。

    推薦理由:研究將代理程式模型的風險連結到部署前的權重來源與檢查流程,並提供偵測率及誤報率,呈現現有防護的能力與限制。

  3. Dev.to Top Tech83

    Google DeepMind 的 AlphaProof Code 形式驗證 Signal 密碼協定

    Google DeepMind 的 AlphaProof Code 為 Signal 已部署的密碼協定實作產生涵蓋關鍵安全性質的機器可檢查證明。 方法與規模:Gemini 驅動的多AI 助理框架以 Lean 產生並檢查證明,耗時 4 週,約產生 600 萬行 Lean 證明。 公開資料:DeepMind 公佈了證明產物與技術論文,供其他人檢視。

    推薦理由:這項工作將形式驗證直接套用於 Signal 已部署的密碼協定實作,呈現 AI 助理處理大型證明工作的具體案例。

  4. Dev.to Top Tech91

    作者盤點 DeepMind 的 Signal 證明專案:Lean 程式碼共 7,528,293 行

    作者盤點 DeepMind 的 Signal 證明專案,統計 11,323 個 Lean 檔案共 7,528,293 行,並檢查證明中的逃生機制;這是對公開專案的稽核,並未重新執行 Lean 核心驗證。

    推薦理由:作者逐檔盤點 Lean 專案並比對論文數字,呈現規格與證明程式碼的規模差異,也清楚界定這次檢查未重新執行核心驗證。

  5. aihot79

    Microsoft Research 揭露 Lazarus 權重空間後門,可重程式設計休眠神經元攻擊 AI Agent

    Microsoft Research 揭露 Lazarus 後門技術,研究指出,重程式設計 LLM 中少於 10 個休眠神經元,即可在不訓練模型的情況下,讓 AI Agent 在觸發條件出現時執行攻擊者指令。

    推薦理由:研究說明少於 10 個休眠神經元如何在不訓練模型的情況下形成觸發器,並指出權重來源與完整性是偵測和防護的關鍵。

  6. aihot76

    Berkeley RDI 發布 CyberBinGym 基準,測試 AI 助理能否僅憑二進位補丁撰寫真實漏洞利用

    Berkeley RDI 等機構提出 CyberBinGym,以 100 個真實漏洞任務評估 AI 助理能否只憑去符號的漏洞版與修補版二進位檔還原漏洞並完成利用,過程中不提供原始碼、漏洞描述或參考 PoC。

    推薦理由:基準分開衡量漏洞還原與經審計的利用結果,呈現找出漏洞和造成實際安全後果之間的落差。

  7. OpenAI Alignment Research Blog84

    OpenAI 研究模型生命週期中哪些因素影響 CoT 可監控性

    OpenAI 研究預訓練、模型架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性,發現模型能力提升與 CoT 可控性增加可能使監控更困難。 - 預訓練與架構:較低的基礎模型困惑度與較強的無 CoT 能力相關;多數評測中,困惑度可解釋不同架構的表現,但部分多跳規劃與序列計算任務呈現架構差異。

    推薦理由:研究比較預訓練、架構、強化學習與模型生成資料對 CoT 可監控性的影響,呈現能力提升與監督難度之間的關聯及評估限制。

  8. aihot77

    Anthropic 研究:混入乾淨微調資料可能強化投毒樣本的後門效應

    Anthropic 與 Truthful AI 等機構研究發現,單獨作用甚微的投毒訓練資料,與格式相似、但不含觸發特徵的乾淨資料混合後,可能使模型學會隱藏後門行為。

    推薦理由:研究以多種模型與 MNIST 實驗呈現,對比性乾淨資料可能改變投毒樣本的作用,指出孤立審查訓練資料可能漏掉隱藏後門。

  9. Lobste.rs (Engineering Discussion)83

    Mozilla 研究近 2,500 萬名 Firefox 使用者的瀏覽器指紋與防護成效

    Mozilla 根據近 2,500 萬名 Firefox 正式版使用者的遙測資料研究瀏覽器指紋,並將資料分析結果用於 Firefox 143 的防護設計。

    推薦理由:研究以近 2,500 萬名 Firefox 使用者的遙測資料分析瀏覽器指紋,呈現各作業系統的差異,以及相容性如何影響防護設計。

  10. Hacker News (official RSS)41

    Show HN:研究者用自己的血糖資料訓練 15 種預測模型

    血糖會隨時間變化,研究者想知道能不能用自己的資料預測接下來的血糖。他用自己的資料和公開資料測試 15 種模型,其中自己做的 T1DMAI 是小型 Transformer,會預測未來 2 小時的血糖;再用少量真實資料微調後,在自己的資料測試中,60 分鐘預測的分數接近表現最好的 XGBoost。可是換到公開資料時,結果就不一樣,也有模型很難抓到低血糖。這些測試目前只適合研究和教學,模型沒有經過臨床驗證,不能拿來決定用藥或治療。