跳到正文

#論文/研究

RSS
今日 0 則
11月10日週二
  1. Apple Machine Learning Research52

    Apple 研究說明 Private Evolution 如何改善隱私合成資料的分群

    用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。

  2. Apple Machine Learning Research56

    研究提出用 SVT 改善分散式差異隱私資料選擇

    把資料分散在不同裝置上做隱私分析時,挑出重要資料的準確度可能比集中處理差。研究指出,只靠一般的加噪彙整方式做私密選擇,至少需要 Ω(d/ϵ) 筆資料;作者因此提出加入一種實作稀疏向量技巧(SVT)的查詢方式。用這個方法設計的差異隱私演演算法,在 n 相對 d 為多項式範圍時,選擇結果的加法誤差可達 O(log(dn)/ε),與中央模型相當,預期 SVT 查詢次數為 O(d log* d)。研究也指出,這種做法可用於損失最小化、熱門專案辨識與稀疏平均值估計。

  3. Apple Machine Learning Research59

    Apple 研究探討測試資料可能參與訓練時,如何評估大型模型

    大型模型的測試資料可能已經被拿去訓練,讓人難以判斷評估結果準不準。這項研究分析在測試資料可能參與訓練的情況下,如何評估只能看到輸出的黑箱模型。研究發現,只查看模型在測試資料上的回答時,只有資料分佈接近少數幾種結果,才可能準確評估;若能額外向模型提問,即使查詢次數不多,也能讓評估者在一些常見情況下做得更多。

11月9日週一
  1. OpenBMB64

    OpenBMB 推出 AutoRLBench,使用真實失敗的強化學習訓練案例,評測 10 個前沿AI 助理能否找出看似正常的獎勵曲線背後的根本原因。 - 評測材料:保留完整程式碼、設定、紀錄與指標,未使用合成錯誤。

    推薦理由:AutoRLBench 保留真實失敗訓練的程式碼、設定、紀錄與指標,可用來比較 10 個前沿AI 助理定位強化學習問題根因的能力差異。

  2. Hugging Face Blog69

    HOPE 如何透過專家互動改善 MoE 模型剪枝

    HOPE 是一種納入專家成對互動的 MoE 剪枝方法;在 3 個模型與多組基準測試中,它取得最佳整體排名,且在 50% 剪枝時優勢較明顯。 - 方法:HOPE 以校準資料計算專家互動矩陣,再透過二次規劃選出要移除的專家;作者提供校準、求解與剪枝工具。

    推薦理由:HOPE 將專家間的成對互動納入剪枝決策,並以 50% 剪枝下的基準比較呈現這種方法在高剪枝率時的表現差異。

11月7日週六
  1. vLLM Official Blog72

    vLLM 遷移至 LibTorch Stable ABI:實作與驗證

    vLLM 透過 LibTorch Stable ABI 遷移,實現不需重建即可升級 PyTorch,提升維運效率。 - 核心變更:vLLM 0.33.0 開始發布 LibTorch ABI Stable CUDA wheels,允許直接載入新版本 torch wheel。

    推薦理由:本篇說明如何透過 LibTorch Stable ABI 讓 vLLM 免於重建,縮短升級週期並降低維運成本,並示範完整遷移流程與驗證方法。

  2. Anthropic Research81

    Anthropic 拆解 AI 助理記憶的組成與整理方式

    Anthropic 說明 Claude 如何透過記憶筆記、夢境整理與 wiki,整理跨工作階段的經驗,並以多項任務評估各元件的作用。 - 記憶整理:Claude 可從工作紀錄中修正錯誤、建立新筆記與連結式 wiki;夢境整理會對照原始逐字稿檢查記憶。

    推薦理由:文章以多項任務評估記憶筆記、夢境整理與 wiki 的作用,呈現不同記憶組織方式對長程任務的影響。

11月6日週五
  1. vLLM Official Blog82

    REINFORCE Zero:解決核對齊,提升 DeepSeek-V4.1 與 Kimi K3.1 的非同步 RL 穩定性

    REINFORCE Zero 是一種將核對齊與無截斷重要性抽樣結合的非同步 RL 方案,能在保持高品質的同時大幅提升訓練吞吐量。 - 核心機制:先將 rollout 與 learner 的 kernel 進行對齊,消除 kernel mismatch;再使用無截斷 IS 校正 weight lag,避免截斷帶來的偏差。

    推薦理由:本文提出 REINFORCE Zero 通過核對齊與無截斷 IS 實現非同步 RL 穩定性提升,讀者可參考其方法最佳化大規模代理訓練,並評估其在多模型上的適用性。

  2. Hugging Face Blog83

    ToyBlocks:機器人學習與評估的可控世界

    ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。

    推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。

  3. cloudflare blog36

    後量子時代網路隱私的未來

    summary_zh: Cloudflare 正在研發新一代 Privacy Pass(稱為 MOLE)以應對後量子時代網路隱私挑戰。 - 核心技術:MOLE 以 blind signature 為基礎,並加入「issuer‑hiding」屬性,使得使用者能在不洩露發行者身份的情況下取得可驗證的憑證。

  4. Apple Machine Learning Research54

    更快檢索,提升 RAG 效率

    Apple Machine Learning Research 發表了一篇關於利用神經網路學習支援函式來加速最大內積搜尋(MIPS)的研究,顯著提升 RAG 系統的檢索速度與準確度。

  5. Google Research75

    Google 研發 AI-PPG-ACC-HTN 手錶高血壓偵測系統

    AI-PPG-ACC-HTN 是 Google 研發的一套可於消費者智慧手錶上偵測高血壓的多模態 AI 系統,透過 PPG 與 ACC 兩種感測器,無需袖帶校正即可達到與傳統血壓測量相近的準確度。

    推薦理由:此研究展示了利用手錶感測器偵測高血壓的可行性,並在臨床測試中達到與傳統袖帶相近的準確度,為全球健康監測提供新方法。

11月5日週四
  1. Anthropic Research76

    Anthropic 研究 Claude 在科學研究中的使用方式與加速情境

    Anthropic分析 207,049 場 Claude 與 Claude Code 科學研究工作階段,探討使用情形如何隨研究領域、任務及 AI 能力而異,並推演 AI 加速研究的可能情境。

    推薦理由:研究將 Claude 使用情形與任務能力、研究者時間分配相互比較,並以情境模型呈現實驗室工作對研究加速幅度的限制。

  2. Anthropic Research82

    Anthropic 利用 Claude 揭示原核生物中的第一個 vault 顆粒三維結構

    Anthropic 研究團隊利用 Claude 找到並解析噬菌體來源的 vault 顆粒,揭示原核生物中首個 vault 顆粒的三維結構。 - 結構特徵:該顆粒由 96 個 L05 蛋白組成,質量約 9.5 megadaltons;研究團隊將蛋白的重複片段由七段增加至九段後,顆粒包覆體積增加約 20%。

    推薦理由:原文呈現從序列搜尋、顆粒分離到冷凍電顯結構解析的研究流程,並比較 Claude 加速各步驟的時間與實驗限制。

11月4日週三
  1. Hugging Face Blog77

    StateBench:測試語言模型在長篇檔案中追蹤狀態變化的能力

    StateBench 是一個針對長文本狀態追蹤的基準測試,涵蓋四個難度層級,旨在評估模型在長依賴下的表現。 - 四層級:r‑trivial、aperiodic、soluble、general finite。

    推薦理由:StateBench 透過多層級長文本追蹤測試,揭示 Transformer 在長依賴下的侷限,並證明 Gated DeltaNet 等混合架構可突破此瓶頸。

11月3日週二