跳到正文

#論文/研究

RSS
今日 8 則
11月11日週三
  1. Microsoft Research73

    Microsoft Research 揭示 Lazarus:重程式設計休眠神經元以在 AI 助理植入後門

    Microsoft Research 揭示 Lazarus 後門技術,可重程式設計 LLM 中少於 10 個休眠神經元,讓 AI 助理在隱藏觸發條件出現時執行惡意命令,且不需重新訓練模型。

    推薦理由:研究說明少於 10 個休眠神經元如何在免訓練下植入後門,並指出模型權重來源與完整性是防禦此類攻擊的關鍵。

  2. aihot79

    Microsoft Research 揭露 Lazarus 權重空間後門,可重程式設計休眠神經元攻擊 AI Agent

    Microsoft Research 揭露 Lazarus 後門技術,研究指出,重程式設計 LLM 中少於 10 個休眠神經元,即可在不訓練模型的情況下,讓 AI Agent 在觸發條件出現時執行攻擊者指令。

    推薦理由:研究說明少於 10 個休眠神經元如何在不訓練模型的情況下形成觸發器,並指出權重來源與完整性是偵測和防護的關鍵。

  3. aihot76

    Berkeley RDI 發布 CyberBinGym 基準,測試 AI 助理能否僅憑二進位補丁撰寫真實漏洞利用

    Berkeley RDI 等機構提出 CyberBinGym,以 100 個真實漏洞任務評估 AI 助理能否只憑去符號的漏洞版與修補版二進位檔還原漏洞並完成利用,過程中不提供原始碼、漏洞描述或參考 PoC。

    推薦理由:基準分開衡量漏洞還原與經審計的利用結果,呈現找出漏洞和造成實際安全後果之間的落差。

  4. OpenAI Alignment Research Blog84

    OpenAI 研究模型生命週期中哪些因素影響 CoT 可監控性

    OpenAI 研究預訓練、模型架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性,發現模型能力提升與 CoT 可控性增加可能使監控更困難。 - 預訓練與架構:較低的基礎模型困惑度與較強的無 CoT 能力相關;多數評測中,困惑度可解釋不同架構的表現,但部分多跳規劃與序列計算任務呈現架構差異。

    推薦理由:研究比較預訓練、架構、強化學習與模型生成資料對 CoT 可監控性的影響,呈現能力提升與監督難度之間的關聯及評估限制。

  5. Lobste.rs (Engineering Discussion)82

    Microsoft FORGE Lab 揭露 Rust 標準函式庫的記憶體安全問題

    Microsoft FORGE Lab 發現並回報 Rust 標準函式庫中的多項記憶體安全問題,部分問題可由完全使用 safe Rust 的程式觸發未定義行為。

    推薦理由:文章以多個回報案例整理 Rust 標準函式庫不安全程式碼的三類信任缺口,呈現安全 API 如何因恐慌、錯誤實作與系統狀態而失去健全性。

  6. aihot77

    Anthropic 研究:混入乾淨微調資料可能強化投毒樣本的後門效應

    Anthropic 與 Truthful AI 等機構研究發現,單獨作用甚微的投毒訓練資料,與格式相似、但不含觸發特徵的乾淨資料混合後,可能使模型學會隱藏後門行為。

    推薦理由:研究以多種模型與 MNIST 實驗呈現,對比性乾淨資料可能改變投毒樣本的作用,指出孤立審查訓練資料可能漏掉隱藏後門。

  7. Lobste.rs (Engineering Discussion)83

    Mozilla 研究近 2,500 萬名 Firefox 使用者的瀏覽器指紋與防護成效

    Mozilla 根據近 2,500 萬名 Firefox 正式版使用者的遙測資料研究瀏覽器指紋,並將資料分析結果用於 Firefox 143 的防護設計。

    推薦理由:研究以近 2,500 萬名 Firefox 使用者的遙測資料分析瀏覽器指紋,呈現各作業系統的差異,以及相容性如何影響防護設計。

  8. The Decoder74

    NVIDIA GR00T 2 從人類示範影片學習機器人動作

    NVIDIA GR00T 2 透過預測機器人動作與未來影像,將人類示範影片中的動作轉移到機械手臂,研究目標是減少訓練時遠端操控的需求。 - 訓練與實驗:模型使用約 400,000 小時的人類任務影片訓練;實驗中,機器人能點燃火柴、切香蕉及將包裹丟上輸送帶,各任務成功率介於 10% 至 80%。

  9. Sundar Pichai69

    Google 團隊運用 Gemini 4 Carbon,對 Signal 協定底層程式碼進行數學形式驗證,涵蓋編譯後的裝置程式碼。 - 驗證成果:生成超過 6M 行經機器檢查的 Lean 證明;Lean 自動檢查其餘部分,約 1% 的程式碼需要人工審查。

    推薦理由:這項工作將 Signal 協定的驗證延伸至編譯後的裝置程式碼,並以人工審查比例與耗時呈現形式化驗證的工作規模。

11月10日週二
  1. Hacker News (official RSS)69

    密西根大學研究發現,AI 用非英語回答可能更耗能、也較不準

    AI 用不同語言回答同一類問題時,耗用的能源和答案準確度可能有明顯差距。密西根大學研究團隊測試三種開源模型,發現生成非英語文字最多可能比英文多用 180 倍能源;印度語和孟加拉語分別約多用 7.9 倍和 15.3 倍。研究者指出,部分文字需要更多 token,會增加運算負擔;耗能較高的語言,模型回答也往往較不準。團隊建議為不同語言調整模型,或先把問題翻譯成英文再交給通用模型,但前提是翻譯可靠。

  2. Lobste.rs (Engineering Discussion)68

    Silent Signal 重建 IBM i 7.5 PVV 計算,驗證修改後原生程式碼可在 USER 狀態還原執行

    Silent Signal 重建 IBM i 7.5 的 Program Validation Value(PVV)計算,並在受控測試中驗證,修復 PVV 與儲存檔檢查值後,修改過的 USER 狀態原生程式碼可經還原並執行。

    推薦理由:文章重建 IBM i 7.5 的 PVV 計算,並以離線比對及受控還原測試,說明完整性檢查、簽章與授權各自扮演的角色。

  3. solidot53

    研究指出 DALL-E 3 透過提示詞修訂美化集約化畜牧業

    研究發現,DALL-E 3 的提示詞修訂機制會將集約化畜牧業描繪成田園牧歌式場景,即使研究人員明確要求呈現真實情況也是如此。 - 研究比較:生成北美、歐洲和大洋洲農場影像時,模型多呈現奶牛在牧場吃草、豬在泥地拱土;關閉提示詞修訂後,影像更接近動物在室內飼養的現況,不同地區的差異也開始顯現。

  4. Hacker News (official RSS)77

    Global Carbon Budget 2026 預測化石燃料 CO₂ 排放下降 0.4%,總排放仍將增加

    Global Carbon Budget 2026 預測,全球化石燃料 CO₂ 排放今年將下降 0.4% 至 382 億噸;但土地利用變化排放預計增加,使總 CO₂ 排放升至 433 億噸,高於去年的 428 億噸。

    推薦理由:研究將化石燃料排放、土地利用變化與碳匯納入同一年度預算,並比較各地區及能源來源的變化,呈現全球排放下降能否持續的關鍵條件。

  5. solidot59

    科學家在碲化錳觀測到交替磁振子的手性證據

    科學家在碲化錳中觀測到「手性交替磁振子」,為交替磁性這種新型磁態提供關鍵實驗證據。 交替磁體沒有明顯外磁場,但因原子空間排列方式特殊,保留部分通常出現在鐵磁體中的電子自旋特性。 理論預言,交替磁體中的磁振子可能具有手性,其自旋集體運動的方向偏好會隨傳播方向改變。

  6. Apple Machine Learning Research52

    Apple 研究說明 Private Evolution 如何改善隱私合成資料的分群

    用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。