跳到正文

#資料/訓練

RSS
今日 0 則
10月1日週四
  1. Hugging Face Blog75

    推出 Olmo-core 3:面向大規模 MoE 的開放式可擴充套件訓練基礎設施

    Olmo-core 3 是 Allen AI 與 Hugging Face 合作發布的一套開放式混合專家(MoE)訓練框架,支援超過 1 萬億引數規模,並在八張 NVIDIA B300 GPU 上實現 52,000 tokens/s 的吞吐量,較舊版提升約 2.7 倍。

    推薦理由:Olmo-core 3 通過多種並行與低精度最佳化,使 MoE 訓練吞吐量提升 2.7 倍,支援 1 萬億引數規模,為學術與小型實驗室提供可行的高效訓練方案。

  2. Modal Engineering Blog77

    Modal Clusters 正式上線:秒級啟動與按秒計費

    Modal Clusters 正式上線,透過單行程式碼 @modal.clustered 立即在 Modal 平臺上啟動多節點叢集,支援秒級啟動、按秒計費、RDMA 6.4 Tbps 互聯以及自動 GPU 健康檢查。

    推薦理由:Modal Clusters 以秒級啟動與按秒計費,解決多節點訓練與推理的資源排程難題,對需大規模模型開發者與推理服務商具有實際價值。

9月29日週二
9月25日週五
9月23日週三
9月16日週三
9月13日週日
9月11日週五
8月27日週四
8月11日週二
8月10日週一
7月31日週五
7月23日週四
  1. Google Research70

    讓量子計算機從錯誤中學習

    Google Research 在其 Willow 超導處理器上演示了利用強化學習實現量子計算機持續校準的方法,顯著降低了邏輯錯誤率。實驗中,RL 訓練將錯誤率降低 3.5 倍,最終邏輯錯誤率低至每千個糾錯週期不到一次,並在數百量子位元的模擬中驗證了可擴充套件性。該方法將量子錯誤檢測事件作為主動學習訊號,展示了可持續計算的新範式。

7月16日週四
  1. Google Research62

    揭示擴散模型創造力的奧秘

    Google Research 通過數學分析解釋了擴散模型的創造力來源,指出正則化導致的分數平滑使模型在去噪過程中產生插值,從而生成新穎影像。文章以一維示例說明分數平滑如何軟化梯度,並通過實驗驗證權重衰減對其影響;在多維情形下,分數平滑幫助模型在資料流形上平衡質量與新穎性。作者已公開實驗程式碼。

7月6日週一
  1. Hugging Face Blog47

    PRX 第 4 部分:資料策略

    PRX 團隊公開了 7B 模型的預訓練資料策略,詳細闡述了結合公共與內部資料集、利用 VLM 重新加長文本標註以及通過 Mosaic Streaming(MDS)和 Lance 格式進行分散式訓練的完整資料流水線。該團隊放棄了預計算文本潛變數,轉而在訓練迴圈中動態執行 Qwen3-VL 文本編碼器,僅帶來約 3-4% 的吞吐量成本。

6月30日週二
6月4日週四
  1. Google Research72

    Google開源水文框架,開啟洪水韌性新篇章

    Google Research公開了其水文模型框架,供各國氣象機構在GitHub上使用和構建AI洪水預報模型。該框架基於PyTorch實現LSTM網路,支援使用Caravan資料集訓練,並已在Czech Hydrometeorological Institute驗證,提升預測時效6天。

    推薦理由:Google公開的水文框架讓各國氣象機構可自行訓練AI洪水預報模型,提升預測時效並降低技術門檻。

6月3日週三
6月1日週一
5月28日週四
  1. Google Research59

    零信任聚合實現私有分析

    Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。

5月20日週三
5月15日週五
4月30日週四
4月29日週三
4月24日週五
4月15日週三
3月28日週六
3月25日週三
3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。

3月17日週二
3月12日週四
  1. Google Research72

    推出 Groundsource:利用 Gemini 將新聞報道轉化為資料

    Google Research 推出 Groundsource,利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家。該方法通過新聞文本提取、時間空間推理和地圖對映,驗證準確率達 82%,顯著擴充套件現有災害資料庫,為城市規劃、保險和應急響應提供可靠的歷史基線。

    推薦理由:Groundsource 利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家,顯著提升災害預測精度,為城市規劃、保險和應急響應提供可靠的歷史基線。

3月10日週二
12月2日週二
2月17日週一
  1. Mistral AI56

    Mistral Saba

    Mistral Saba 是一個 24B 引數的區域語言模型,針對中東和南亞語言提供更快、更低成本的支援。 - 語言支援:阿拉伯語及多個印度語言,特別是南印度語言如泰米爾語。