跳到正文

#資料/訓練

RSS
今日 7 則
5月28日週四
  1. Google Research59

    零信任聚合實現私有分析

    Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。

5月20日週三
5月15日週五
4月30日週四
4月29日週三
4月24日週五
4月15日週三
3月28日週六
3月25日週三
3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。

3月17日週二
3月12日週四
  1. Google Research72

    推出 Groundsource:利用 Gemini 將新聞報道轉化為資料

    Google Research 推出 Groundsource,利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家。該方法通過新聞文本提取、時間空間推理和地圖對映,驗證準確率達 82%,顯著擴充套件現有災害資料庫,為城市規劃、保險和應急響應提供可靠的歷史基線。

    推薦理由:Groundsource 利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家,顯著提升災害預測精度,為城市規劃、保險和應急響應提供可靠的歷史基線。

3月10日週二
12月30日週二
12月2日週二
9月23日週二
7月12日週六
5月1日週四
2月17日週一
  1. Mistral AI56

    Mistral Saba

    Mistral Saba 是一個 24B 引數的區域語言模型,針對中東和南亞語言提供更快、更低成本的支援。 - 語言支援:阿拉伯語及多個印度語言,特別是南印度語言如泰米爾語。

8月26日週一
7月7日週日
4月8日週一
  1. Davis Summarizes Papers73

    DBRX:132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5

    DBRX 是一款 132B 引數的 MoE LLM,經 12T tokens 訓練後,效能已超越 GPT-3.5。 - 模型規格 132B 引數、4-of-16 MoE、RoPE 位置編碼、LION 最佳化器、LayerNorm 取代 RMSNorm。

    推薦理由:DBRX 132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5,展示了 MoE 與資料品質對 LLM 成效的關鍵作用。

3月28日週四
2月28日週三
2月25日週日
  1. The Gradient (AI Research Pub)66

    為什麼我的模型不工作?

    本文以實例說明機器學習模型失效的常見原因,並提供避免錯誤的實務方法。 - 資料誤導:訓練集包含重疊、錯標或隱藏變數,導致模型學習到非實際特徵,例如 COVID 影像資料中姿勢偏好。

8月16日週三
8月1日週二
7月20日週四
7月11日週二
7月2日週日
6月29日週四
6月20日週二
6月14日週三
  1. Davis Summarizes Papers71

    2023 年 6 月 11 日週報:arXiv 機器學習論文精選與觀察

    本文精選並評析多篇近期 arXiv 機器學習與大型語言模型領域的重要論文,涵蓋資料訓練、模型微調、量化壓縮及架構設計等技術進展。 - 指令微調與模型能力:探討使用 GPT-4 輸出進行微調的侷限與優勢,指出引入逐步解釋能提升模型表現,但也可能僅學會模仿風格。

4月16日週六
  1. Lilian Weng (Lil'Log)60

    學習資料不足時的資料生成(第3章)

    學習資料不足時的資料生成 文章詳細介紹了從資料增強到合成資料的多種方法,並探討了噪聲標籤處理與模型訓練技巧。 - 資料增強:影像(AutoAugment、RandAugment、Mixup、CutMix)、文字(EDA、Contextual Augmentation、Back‑translation、Mixup)與音訊(mixup、時間/頻率遮罩)等多種策略。

2月20日週日
9月24日週五
  1. Lilian Weng (Lil'Log)78

    如何在多 GPU 上訓練極大型模型

    Lil'Log 文章以實務角度拆解在多 GPU 上訓練極大型模型的關鍵技術。 - 資料並行 - DP、BSP、ASP、梯度累積、AllReduce 方案 - 模型並行 - 將模型切分為多層或多分割槽。

    推薦理由:本篇以實務角度拆解多 GPU 訓練策略,提供可直接套用於大型模型開發的最佳實踐,並詳述資料、模型、張量並行與記憶體最佳化技巧。

5月31日週一
1月2日週六
10月29日週四