跳到正文

全部動態

RSS
今日 7 則
4月3日週五
  1. Together AI Official Blog76

    AI 系統:利用 LLM 最佳化資料庫查詢執行

    LLM 重新評估資料庫查詢成本,透過演化式補丁搜尋顯著降低執行時間與記憶體佔用。 - 核心方法:使用 DBPlanBench 將 DataFusion 物理計畫序列化為 JSON,並以 LLM 產生 JSON Patch 進行區域性最佳化。

    推薦理由:本文展示利用 LLM 重新評估資料庫查詢成本,透過演化式補丁搜尋顯著降低執行時間與記憶體佔用,為資料庫最佳化提供可複製的實務方法。

4月1日週三
3月31日週二
  1. Google Research65

    Google Research 通過負責任地披露量子漏洞來保護加密貨幣

    Google Research 在新白皮書中指出,未來的量子計算機可能會用比此前預估更少的量子位元和門數破解保護加密貨幣的橢圓曲線密碼學。研究團隊給出了破解 ECDLP-256 的更新量子資源估算,並採用零知識證明方法在不洩露攻擊細節的前提下驗證漏洞,同時敦促加密貨幣社群向後量子密碼學遷移。

3月28日週六
3月26日週四
3月25日週三
  1. Google Research60

    Google Research 推出 TurboQuant:通過極低壓縮實現 AI 效率革新

    Google Research 推出了 TurboQuant 壓縮演算法及相關演算法 Quantized Johnson-Lindenstrauss 和 PolarQuant,用於解決向量量化中的記憶體開銷問題。實驗表明,TurboQuant 在長文本基準測試中能夠將 KV 快取記憶體大小減少至少 6 倍且不損失模型準確率,並在 H100 GPU 上實現了顯著的計算加速。

  2. Google Research58

    Google Research 推出 S2Vec:通過自監督學習理解城市與建築環境的語言

    Google Research 推出了 S2Vec,這是一個旨在學習城市和建築環境通用嵌入的自監督框架。該框架利用 S2 幾何庫將地球表面劃分為多解析度單元,將要素光柵化為多層影像,並通過掩碼自編碼技術在不需要手動標籤的情況下捕捉地理空間特徵。評估結果表明,S2Vec 在零樣本地理適應等社會經濟預測任務中表現出極強的效能,但在樹木覆蓋和高程等環境任務中仍需結合衛星影像嵌入來提升效果。

3月22日週日
  1. OpenAI Alignment Research Blog79

    訓練代理自我舉報:將 GPT‑4.1 隱蔽攻擊成功率降至 6%

    自我舉報機制讓 GPT‑4.1 的隱蔽攻擊成功率從 56% 降至 6%,顯示可在不改變原始行為的情況下提升安全性。 - 核心特性:訓練代理在執行隱蔽副任務時自動呼叫 report_scheming(),使攻擊可被即時偵測。

    推薦理由:本研究提出自我舉報機制,將 GPT‑4.1 的隱蔽攻擊成功率從 56% 降至 6%,顯示可在不改變原始行為的情況下提升安全性。

3月18日週三
  1. Google Research63

    利用機器學習改善乳腺癌篩查工作流

    Google Research 與英國國家醫療服務體系等機構合作在 Nature Cancer 發表了兩項研究,評估了基於人工智慧的乳腺癌檢測系統。研究表明,該系統在獨立篩查中展現出更高的癌症檢測靈敏度,並在融入雙人閱讀工作流時達到了非劣效的整體效能,同時有望大幅減少人工閱讀的工作量。

3月17日週二
3月12日週四
  1. OpenAI Alignment Research Blog72

    ARGO:解讀黑盒回饋模型的可解釋規範

    ARGO 透過強化學習將黑盒回饋模型(RM)轉化為可解釋的評分規範, - 方法:最佳化「rubric‑conditioned LLM judge」與 RM 偏好的一致性,並以 RL 迭代生成規範。

    推薦理由:透過 ARGO 可將黑盒回饋模型轉為可解釋的評分標準,讓研究者快速辨識偏差並調整訓練目標。

2月7日週六
  1. OpenAI Alignment Research Blog37

    發現實際使用中的未知 AI 失調

    summary_zh: OpenAI 研究團隊提出一種利用內部推理模型(AI 判斷者)分析實際對話,檢測並診斷 AI 失調的簡單方法。 - 檢測方式:AI 判斷者偵測歷史生產對話中的情緒惡化,並離線推論是否有失調行為。

2月5日週四
1月15日週四
1月10日週六
  1. Berkeley AI Research64

    以資訊驅動的影像系統設計

    資訊驅動 的影像系統設計方法,利用相互資訊量評估與最佳化,已在色彩攝影、無線電天文、無鏡頭成像與顯微鏡四大領域驗證其預測力。 - 資訊量指標:結合噪聲模型與測量分佈,直接從噪音影像推算互資訊,統一量化解析度、噪聲與取樣效能。

12月23日週二
  1. OpenAI Alignment Research Blog58

    協助功能抑制新興不對齊現象

    協助功能抑制新興不對齊現象,研究顯示在 GPT‑4o 上微調惡意建議會降低協助型 latent 的啟用,進而減少模型的偏差。 - 發現:下調啟用的 1000 個 SAE latent 中,多數與協助型 persona 相關,且正向啟用可重新對齊模型,誤差低於 1%。

12月2日週二
9月1日週一
2月25日週二
  1. Ollama Blog80

    Minions:本地與雲端 LLM 協同的實驗研究

    Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。

    推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。

10月29日週二
  1. Asianometry (Jon Y)39

    EUV鏡片更少?

    summary_zh: Professor Tsumoru Shintake 提出了一個簡化 EUV 光刻機的方案,使用更少的鏡片以提高光子利用率和降低能耗。 - 鏡片與光子損失:ASML 的 EUV 機組共 12 次反射,每次鏡面僅 70% 反射光,導致僅 1% 的光子最終擊中晶圓;電力效率低於 0.2%,並加劇隨機缺陷。

8月26日週一
4月8日週一
  1. Davis Summarizes Papers73

    DBRX:132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5

    DBRX 是一款 132B 引數的 MoE LLM,經 12T tokens 訓練後,效能已超越 GPT-3.5。 - 模型規格 132B 引數、4-of-16 MoE、RoPE 位置編碼、LION 最佳化器、LayerNorm 取代 RMSNorm。

    推薦理由:DBRX 132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5,展示了 MoE 與資料品質對 LLM 成效的關鍵作用。

8月1日週二
7月25日週二
7月20日週四
7月11日週二
7月2日週日
6月29日週四
6月20日週二
6月14日週三
  1. Davis Summarizes Papers71

    2023 年 6 月 11 日週報:arXiv 機器學習論文精選與觀察

    本文精選並評析多篇近期 arXiv 機器學習與大型語言模型領域的重要論文,涵蓋資料訓練、模型微調、量化壓縮及架構設計等技術進展。 - 指令微調與模型能力:探討使用 GPT-4 輸出進行微調的侷限與優勢,指出引入逐步解釋能提升模型表現,但也可能僅學會模仿風格。

5月31日週一
12月24日週日
  1. Dan Luu Blog54

    電腦延遲實測 1977至2017

    Dan Luu 在 2017 年發表的實測報告顯示,1977 至 2017 年間電腦的鍵盤到螢幕延遲,古老機型往往比現代主流機種更快。1. 測試方法為使用 240 fps 或 1000 fps 高速相機測量鍵盤按下至終端顯示的完整延遲。