跳到正文

#論文/研究

RSS
今日 8 則
11月13日週五
  1. Dev.to Top Tech49

    固定大小的波形記憶體如何不用注意力就找出並複製字串

    模型讀得懂長篇輸入裡的重點,卻不會把其中一串文字原樣抄出來;一般注意力做得到,但會把每個字都記在記憶體裡。作者替固定大小的波形記憶體加上名為 Echo 的讀取方法:它會搜尋每個可能的位置,找出符合線索的內容,再把那段內容讀回來。測試時,模型要從一長串文字中找出 6 到 12 個隨機字母並照抄;加入 Echo 後,抄寫表現明顯改善,採用 FFT 排列時,錯誤程度降到 0.0049。這種記憶體仍有容量上限,字串太長就記不下,但在容量範圍內,它有機會讓記憶體有限的裝置也能搜尋和複製文字。

  2. BlockTempo 動區動趨78

    工程師用電壓故障注入解鎖 CMP 170HX,測得運算速度比 A100 高 18%

    CMP 170HX 挖礦卡原本只開放 8GB 記憶體,工程師 Kate 用電壓故障注入改寫硬體設定,讓其中 9 張卡能使用 80GB。她測得改造卡的 FP16 運算吞吐比零售版 A100 高 18%,但這是她自己的測試,Tom’s Hardware 沒有獨立複測。這項做法利用供電幹擾讓寫入保護失效,再重新設定晶片上的電子熔絲;Kate 已在公開前通報輝達。

    推薦理由:這項改造展示電壓故障注入如何改變 CMP 170HX 的硬體設定,也呈現硬體熔絲設計可能帶來的安全風險。

  3. Dev.to Top Tech48

    Agentic AI 資安與隱私可信度簡介:短篇調查

    Agentic AI 從提供建議的 Copilot 走向能採取行動的 AI 助理;這篇短篇調查整理資安與隱私研究,提出以推理、驗證、保護、稽核四層架構檢視可信度。 驗證行動:AgentSOC 先以 LLM 提出攻擊假設,再透過身分與許可權圖檢查可行性;LANL 驗證概念的完整流程約 506 ms,其中 LLM 步驟約佔 95%。 保護隱私:裝置原生協商代理程式將敏感條件留在使用者裝置,搭配 Groth16 zk-SNARK 證明與稽核軌跡;研究回報平均成功率 87%、延遲降低 2.4×、資料暴露降低 94%。AirGapAgent 在單次查詢的脈絡劫持攻擊下維持 97% 資料保護率。 稽核實際洩漏:AgentLeak 檢查多代理 LLM 系統的 7 種通訊管道;在 1,000 個情境、4,979 條驗證軌跡及 5 個 LLM 中,代理間訊息有 68.8% 的軌跡出現洩漏,僅檢查最終答案會漏掉 41.7% 的違規。

  4. Hacker News (official RSS)50

    研究團隊提出 CCC+TL 模型,推測宇宙年齡可能達 267 億年

    渥太華大學研究團隊提出 CCC+TL 宇宙模型,主張宇宙年齡可能達 267 億年,且無須暗物質或暗能量即可解釋部分天文觀測。 模型與研究結果:CCC+TL 透過物理常數隨時間變化、光在傳播中失去能量,以及修正重力與宇宙膨脹的描述,推算出更長的宇宙年齡。研究團隊表示,模型符合大爆炸後氫與氦的觀測豐度、宇宙過往膨脹速率,並可解釋 175 個星系中恆星與氣體的軌道。 研究狀態:相關研究刊載於《皇家天文學會月刊》,部分工作仍在審查中;CCC+TL 尚非主流模型,仍需其他科學家獨立驗證。

  5. Dev.to Top Tech43

    LoopVQ 子位元 KV cache 量化讓服務吞吐量最高提升 6.1 倍

    LoopVQ 將迴圈式 Transformer 的 KV cache 壓縮至每個元素低於 1 bit,並整合至 SGLang serving stack;無須重新訓練模型,即可降低長上下文解碼延遲並提升服務吞吐量。 效能:在 0.5 bits per element 下,長上下文解碼延遲減半;在 32K tokens 時,延遲約為 BF16 的一半。相較 BF16 基準,1.4B 與 2.6B Ouro 模型的尖峰服務吞吐量最高分別提升 4.3 倍與 6.1 倍;常見 batch size 下,整體每秒請求量約提升 2 倍。 品質與適用範圍:作者表示,推理與檢索效能損失極小,在 chain-of-thought 基準上可達到全精度結果。評估主要使用 Ouro 與 Huginn 模型;套用至其他架構可能需要專屬校準。0.25-bit 設定需搭配 TaSQ,才能保留「大部分」BF16 準確度。

  6. MIT News · AI53

    MIT 研究團隊以 AI copilot 協助工程師改善結構設計

    MIT 研究團隊提出 AI copilot 系統,讓工程師在拓樸最佳化生成結構的過程中提供回饋,改善設計的可製造性與線性屈曲負載。 設計成效:研究示範中,人類介入使可製造性與線性屈曲負載提升 39%。 時間代價:相較全演演算法方法,總設計時間僅增加 15 秒。 目前限制:使用者只能調整系統標示區域的厚度;研究團隊希望未來加入其他修改選項。研究刊於開放取用期刊 Communications Engineering。

  7. Dev.to Top Tech78

    ASPIRE 如何讓機器人透過自我探索累積技能

    NVIDIA 的 ASPIRE 讓機器人撰寫控制程式、分析執行失敗並儲存已驗證的修正,逐步建立可重用的技能庫。 - 方法:系統結合執行追蹤、技能庫與演化搜尋,讓多個代理程式平行探索,並將整理後的技能分享至共用資料庫。

    推薦理由:ASPIRE 將除錯後的修正整理成可重用技能,並以多組基準與消融結果呈現這種累積式學習架構的表現。

  8. Dev.to Top Tech76

    Microsoft Security 研究揭示訓練資料與檢查點汙染如何在程式碼AI 助理植入工具執行後門

    Microsoft Security 的受控實驗顯示,遭汙染的微調資料集或模型檢查點,可能使程式碼AI 助理在遇到特定觸發條件時產生有效且不安全的工具呼叫。

    推薦理由:研究以受控實驗呈現資料集與模型檢查點遭汙染後,後門如何跨程式碼庫與工具框架觸發,並量化不同條件下的成功率。

  9. aihot81

    Berkeley RDI 等團隊推出 CyberArena 資安評測基準,讓 AI 助理互相攻防

    靜態資安測驗的題目一旦被 AI 助理解出,就很難再看出不同系統的差別。Berkeley RDI 等團隊推出 CyberArena,讓兩個 AI 助理在同一場比賽中攻擊對方的服務,也修補自己的服務;每回合都由場地檢查攻擊是否成功,以及正常功能是否仍能使用。研究團隊在 466 場對局中發現,三個原本都能解出 40 題中的 30 題的 AI 助理,遇上防守方後,平均攻擊成功率從第一回合的 89% 降到第三回合的 42%。對局也揭露常見失誤,例如 AI 助理宣稱修好漏洞,卻沒有實際測試修補結果。

    推薦理由:CyberArena 以即時攻防呈現靜態資安基準可能飽和的問題,並用成功率變化與修補失誤展示對手如何改變評測難度。

  10. Hacker News (official RSS)87

    Unemployment Labs 報告從模型權重推定六款中國 AI 模型使用 Blackwell 初始化

    Unemployment Labs 的取證報告從公開模型權重中辨識出 Blackwell 初始化痕跡,指出六款中國 AI 模型與 NVIDIA Blackwell 的硬體配置相符。

    推薦理由:報告以模型權重中的初始化痕跡推定硬體類別,並說明這項證據能支援哪些判斷,以及無法確認晶片所在地或出口管制是否遭違反。

  11. Hacker News (official RSS)72

    康乃爾研究:資料中心擴建電網成本多由居民承擔

    康乃爾研究分析美國四大電網在 2020 至 2025 年的資料中心成長與基礎設施支出,發現居民,尤其是低收入與鄉村家庭,承擔了較高成本。 - 成本分攤:2025 年資料中心平均只負擔與其成長相關基礎設施成本的 38%,即 $3.12 billion;其餘 $5.13 billion(62%)主要由居民承擔。

  12. Hacker News (official RSS)45

    中世紀修道院人骨的放射性碳定年警訊

    丹麥研究者分析 27 具修道院墓葬人骨,指出淡水魚飲食可能造成放射性碳定年結果偏老,甚至早於修道院建成時間。 - 原因與線索:樣本的 氮-15(¹⁵N)含量偏高,顯示死者曾食用淡水魚;水生食物的「儲庫效應」會使人骨的碳-14(¹⁴C)定年結果顯得較老。

  13. aihot74

    OpenAI 研究以自動化紅隊訓練提升 GPT-6 Astra 和 Sol 的高風險領域模糊強健性

    OpenAI 研究團隊以自動化紅隊生成對抗訓練資料,提升 GPT-6 Astra 和 Sol 在網路、生物與暴力活動等高風險領域抵禦越獄的能力。 - 方法:擴大攻擊者模型的測試時算力搜尋越獄,並要求攻擊在多次重複測試中都成功(worst@n),再將生成的樣本用於 RL 訓練。

    推薦理由:研究以多次重複成功作為越獄資料門檻,並透過對照訓練與留出攻擊者評估,呈現自動紅隊資料對模糊強健性的作用。

  14. Hacker News (official RSS)91

    研究者揭露 PostgreSQL CVE-2026-6460 型別混淆漏洞可導致 RCE

    Mehmet Ince 說明他如何利用 PostgreSQL 複合型別欄位變更造成型別混淆,讓低許可權角色觸發記憶體錯誤,並進一步構造可導向 RCE 的利用鏈。

    推薦理由:文章從複合型別變更切入,拆解 PostgreSQL 型別混淆如何串連記憶體位址洩漏與控制流程劫持,並交代通報協調過程。

  15. OpenAI Alignment Research Blog66

    OpenAI 以自動化紅隊訓練 GPT-6 Astra 與 Sol 抵禦高風險領域越獄

    OpenAI 說明如何運用自動化紅隊生成的合成越獄提示訓練 GPT-6 Astra 與 Sol,提升模型在網路安全、生物學及暴力活動等高風險領域抵禦越獄的能力。

    推薦理由:研究展示如何以自動紅隊生成的合成越獄提示進行強化學習訓練,並比較模型面對固定與自適應攻擊時的安全表現。

  16. Apple Machine Learning Research62

    Apple 研究推導語言模型對齊的理論極限,發現 PPO 與 GRPO 表現仍有差距

    Apple Machine Learning Research 推導固定 KL 散度預算下語言模型可達成的最高獎勵提升,並在安全與摘要任務中比較不同對齊方法與理論上限。

    推薦理由:研究推導固定 KL 預算下的對齊獎勵上限,並比較 best-of-N、PPO 與 GRPO,呈現現有方法距理論界線的差距。

  17. Hacker News (official RSS)78

    WPS AI Leaderboard 發布基準,評估 AI 模型在和平任務中是否納入性別面向

    Our Secure Future 與 Collective Intelligence Project 發布 WPS AI Leaderboard 基準,評估 AI 系統能否在全球和平任務分析中遵循「婦女、和平與安全」(WPS)原則,並在未受提示時主動納入性別面向。

    推薦理由:這項基準呈現模型在未受提示時遺漏性別面向的落差,並比較多代理工作流程能否縮小差距,提供評估和平安全應用的具體方法。

  18. The Decoder82

    OpenAI 分析指出,前沿模型的推理過程更難監督,與能力及算力取捨有關

    OpenAI 安全團隊分析 GPT-5 至 GPT-6 Astra,指出預訓練能力、模型架構、強化學習與教師模型都會影響模型隱藏推理步驟及控制推理紀錄的能力。

    推薦理由:分析比較預訓練能力、架構、強化學習與教師模型對推理可監督性的影響,也呈現較小模型延長推理鏈的成本取捨。

11月12日週四
  1. Dev.to Top Tech48

    DINOv2 適應醫療影像分割與專用模型進行比較測試

    研究人員比較將以自然影像預訓練的基礎模型 DINOv2 調整後用於醫療影像分割,與針對特定任務訓練的模型之表現,並測試模型在新臨床據點的泛化能力。 評估方式:研究改變模型的調整範圍,並在新臨床據點測試,而非只使用與訓練資料分佈相同的資料。 研究重點:評估基礎模型能否泛化至新醫院,以及醫療 AI 是否應重視目標式調整與跨據點穩健性評估。