零信任聚合實現私有分析
Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。
Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。
summary_zh: Applied Compute 透過強化學習,為 DoorDash、Cognition 與 Mercor 等企業打造專屬 AI 代理,並以 Modal 平臺實現高效、可靠的訓練迴圈。
Gemma-4-31B-it-pearl 推理端點於今日首度上線,透過 Pearl Network 的 Proof of Useful Work 方式,將推理成本降低 25%,並將產生的 ¶PRL 代幣作為折扣來源。
Together AI 與 Adaption 共同推出 Adaptive Data 與 Together Fine‑Tuning 的整合,讓使用者可在 Adaptive Data 上最佳化資料後直接進行高效微調與部署。
summary_zh: - AE Studio 透過 Modal 平臺,將大語言模型(LLM)訓練成能在 Lean 語言中證明數學定理的 AI,並比較 GRPO 與 Evolution Strategies (ES) 兩種強化學習更新規則。
分佈感知推測解碼(DAS)能在 RL 後訓練中將回合時間縮短 50%,同時保持獎勵曲線不變。• 核心技術 採用字尾樹草稿器和長度感知排程,實現零成本自適應。
Parcae 是一項由 Together AI 等機構推出的穩定迴圈模型架構,透過重複使用層數來提升運算能力,同時解決傳統迴圈模型訓練時容易不穩定的痛點。
summary_zh: OpenAI 研究團隊發現,對齊中訓練對 frontier LLMs 的影響有限,並未在更真實的聊天與代理評估中顯著提升對齊表現。
本文:Doppel 透過 Modal 重構 ML 執行流程,將實驗與推論的迭代時間大幅縮短。 - 實驗加速:Modal 允許在 Python 中以 map() 方式並行執行 K‑fold 交叉驗證,將原本順序跑的實驗改為同時執行,縮短回饋迴圈。
Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。
推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。
Mamba‑3 是一款新型 SSM,專為推理效率設計,於 1.5B 模型層級下,預填+解碼延遲均優於 Llama‑3.2‑1B、Gated DeltaNet 及 Mamba‑2。
Google Research 推出 AI 驅動的城市閃洪預測系統,並在 Flood Hub 上提供服務。該系統利用 Groundsource 資料集和 Gemini 分析新聞報道,構建 24 小時預警模型。
Google Research 推出 Groundsource,利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家。該方法通過新聞文本提取、時間空間推理和地圖對映,驗證準確率達 82%,顯著擴充套件現有災害資料庫,為城市規劃、保險和應急響應提供可靠的歷史基線。
推薦理由:Groundsource 利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家,顯著提升災害預測精度,為城市規劃、保險和應急響應提供可靠的歷史基線。
Together GPU Clusters 透過自動擴縮、RBAC、全棧可觀測性與自愈功能,將 GPU 叢集從實驗環境升級為可運營的生產級基礎設施。- 自動擴縮:使用 Kubernetes Cluster Autoscaler,根據實際工作負載自動調整 GPU 節點,避免過度預置與節省成本。
summary_zh: - DeepSeek R1:2025 年初發布的開源權重模型,採用 RLVR(Reinforcement Learning with Verifiable Rewards)與 GRPO 演算法,能在推理過程中自動生成中間步驟並提升答案準確度。
稀疏自編碼器潛在層歸因法 能精確定位語言模型產生偏差的內部因素,並透過啟用導向調整模型行為。 • 方法概述,利用稀疏自編碼器(SAE)在單一模型上計算正負完成的歸因差值,挑選前 100 個最具因果關聯的潛在向量。
Altman在其部落格中說明,AI算力的擴張將成為經濟的核心驅動力,並計畫每週產出1GW新的AI基礎設施。 - 目標:每週產出1GW新AI基礎設施,總計數十GW計畫。
Meta 在 2025 年重新聚焦 AI 資源與人才,透過大規模投資與人才招募,力圖追趕 OpenAI 等領先實驗室。 - Scale AI 購併:Meta 以約 30 B 美元估值取得 49% 股份,顯示資金不再成障礙。
Lilian Weng 發表深度技術綜述 Why We Think,全面探討大模型在測試期運算(test-time compute)與思維鏈(CoT)機制的最新進展。
Mistral Saba 是一個 24B 引數的區域語言模型,針對中東和南亞語言提供更快、更低成本的支援。 - 語言支援:阿拉伯語及多個印度語言,特別是南印度語言如泰米爾語。
LLM 測試時計算量與模型規模擴充套件曲線研究 - 核心發現 在多種推理策略(並行多樣本、迭代修正、加權投票、波束搜尋、前瞻搜尋)下,測試時計算量的增加能顯著提升輸出品質,對於簡單問題可用較小模型加多次推理取代更大模型。
summary_zh: 本文剖析 LLM 外在幻覺的成因與評估指標,強調訓練資料與微調的影響。 - 幻覺型別: - In‑context hallucination:輸出需與上下文一致。
DBRX 是一款 132B 引數的 MoE LLM,經 12T tokens 訓練後,效能已超越 GPT-3.5。 - 模型規格 132B 引數、4-of-16 MoE、RoPE 位置編碼、LION 最佳化器、LayerNorm 取代 RMSNorm。
推薦理由:DBRX 132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5,展示了 MoE 與資料品質對 LLM 成效的關鍵作用。
**Mamba 是一種基於 State Space Model 的長序列語言模型,能在保持 Transformer 相近表現的同時,以線性時間與空間複雜度處理多達 100 萬 token 的上下文。
summary_zh: 作者提出「預測人類偏好」方法,能預測使用者在特定查詢下會偏好哪一模型。 - 模型排名基準:使用 Chatbot Arena 於 2023 年 7 月公佈的 33,000 次人類比較,涵蓋 20 款模型。
本文以實例說明機器學習模型失效的常見原因,並提供避免錯誤的實務方法。 - 資料誤導:訓練集包含重疊、錯標或隱藏變數,導致模型學習到非實際特徵,例如 COVID 影像資料中姿勢偏好。
summary_zh: Chip Huyen 在 LinkedIn 與 Twitter 上討論了 LLM 研究的 10 大主要方向,並特別關注降低幻覺、最佳化上下文學習與多模態整合等議題。
summary_zh: GPT‑4 生成更佳 CLIP 影像字幕、Epsilon* 隱私、審查不可行、QuIP 2‑bit、鏈式推理提升準確。 - GPT‑4 生成更佳 CLIP 影像字幕,提升分類準確度。
Davis Blalock 整理多篇 arXiv 研究,涵蓋梯度下降、CPU 矩陣乘法、模型訓練與影片測試時適應等主題。 - 梯度下降:研究指出,重複使用不同步長的序列,即使其中個別步長過大,也可能比固定步長帶來更好的收斂保證。
本文整理 2023‑7‑9 arXiv 會議的多篇關鍵研究,重點探討 LLM 在長上下文中的注意力分佈、MoE 與指令調優的結合效益,以及其他與模型效能與安全相關的實驗結果。
Davis Blalock 在文章中對模型生成訓練資料的效能進行批判性評估,指出其實際提升往往源於過濾與拒絕抽樣,而非創造新資訊。 - 拒絕抽樣框架:若生成模型能覆蓋目標分佈,透過有效過濾即可近似無限資料。
summary_zh: MosaicML 週報報導了三項研究:Textbooks Are All You Need、ZeRO++ 以及 4‑bit Transformer 訓練技術,展示瞭如何以極小模型取得近 SOTA 程式碼生成、提升巨型模型訓練效能及實現高效 4‑bit 推理。
此通訊匯集多篇關於 LLM 擴充、量化與最佳化的前沿研究,提供讀者一站式洞察最新技術趨勢與最新研究動向。 - 超引數最佳化:利用高斯過程與 Pareto 前沿重現 Chinchilla 擴充曲線,暗示統計壁壘。
本文精選並評析多篇近期 arXiv 機器學習與大型語言模型領域的重要論文,涵蓋資料訓練、模型微調、量化壓縮及架構設計等技術進展。 - 指令微調與模型能力:探討使用 GPT-4 輸出進行微調的侷限與優勢,指出引入逐步解釋能提升模型表現,但也可能僅學會模仿風格。
學習資料不足時的資料生成 文章詳細介紹了從資料增強到合成資料的多種方法,並探討了噪聲標籤處理與模型訓練技巧。 - 資料增強:影像(AutoAugment、RandAugment、Mixup、CutMix)、文字(EDA、Contextual Augmentation、Back‑translation、Mixup)與音訊(mixup、時間/頻率遮罩)等多種策略。
主動學習 是在標註成本有限時,透過智慧樣本選擇提升模型表現的技術。本文以深度學習為背景,整理了多種主動學習策略與實驗結果。 - 不確定性取樣:變異比、邊際、熵等指標衡量模型對樣本的信心,常用於單模型情境。
Lil'Log 文章以實務角度拆解在多 GPU 上訓練極大型模型的關鍵技術。 - 資料並行 - DP、BSP、ASP、梯度累積、AllReduce 方案 - 模型並行 - 將模型切分為多層或多分割槽。
推薦理由:本篇以實務角度拆解多 GPU 訓練策略,提供可直接套用於大型模型開發的最佳實踐,並詳述資料、模型、張量並行與記憶體最佳化技巧。
summary_zh: 對比表示學習是一種學習嵌入空間的技術,透過正負樣本對的距離調整,使相似樣本靠近、不同樣本遠離。
本文深入探討可控神經文字生成的核心技術路徑,系統性梳理解碼策略、提示詞設計、微調方法及分散式控制等四大方向的原理與權衡。 - 解碼策略:包含標準取樣(Top-k、Nucleus)、懲罰取樣及引導解碼,透過調整分佈或利用鑑別器來約束輸出。
summary_zh: 作者說明瞭如何構建開放域問答系統,並以 Retriever‑Reader 框架為核心,示範 DrQA 與 BERTserini 的實作。