跳到正文

#資料/訓練

RSS
今日 7 則
10月1日週四
  1. Hugging Face Blog75

    推出 Olmo-core 3:面向大規模 MoE 的開放式可擴充套件訓練基礎設施

    Olmo-core 3 是 Allen AI 與 Hugging Face 合作發布的一套開放式混合專家(MoE)訓練框架,支援超過 1 萬億引數規模,並在八張 NVIDIA B300 GPU 上實現 52,000 tokens/s 的吞吐量,較舊版提升約 2.7 倍。

    推薦理由:Olmo-core 3 通過多種並行與低精度最佳化,使 MoE 訓練吞吐量提升 2.7 倍,支援 1 萬億引數規模,為學術與小型實驗室提供可行的高效訓練方案。

  2. Modal Engineering Blog77

    Modal Clusters 正式上線:秒級啟動與按秒計費

    Modal Clusters 正式上線,透過單行程式碼 @modal.clustered 立即在 Modal 平臺上啟動多節點叢集,支援秒級啟動、按秒計費、RDMA 6.4 Tbps 互聯以及自動 GPU 健康檢查。

    推薦理由:Modal Clusters 以秒級啟動與按秒計費,解決多節點訓練與推理的資源排程難題,對需大規模模型開發者與推理服務商具有實際價值。

9月29日週二
9月25日週五
9月23日週三
9月22日週二
9月21日週一
9月16日週三
9月13日週日
9月11日週五
9月8日週二
  1. Nathan Lambert (Interconnects)79

    最新開源實體 (#24):Motif‑3、GLM‑5.3、Hy4‑preview 及開放模型授權

    GLM‑5.3 於 2026 年以自訂授權釋出,要求 10 億美元營收的服務商須通過 Z.AI 安全審核。 - 西方模型授權趨勢:Google 與 Meta 轉向 Apache 2.0,降低採用門檻。

    推薦理由:本文闡述西方開源授權與中國模型授權的差異,對開發者評估採用風險與合規成本具有參考價值,並列舉多款新模型與其授權條款,方便快速比較。

9月3日週四
  1. Recode China AI56

    智慧機器人需要大量資料,資料從何而來?

    智慧機器人要處理多變的真實任務,仍需要更多能支援訓練的資料;文章梳理目前主要的資料來源與限制。 網路影片:來源規模龐大,但缺少力道、扭力與觸覺等物理訊號,也面臨人體動作難以轉移至不同機器人身上的問題。 第一人稱影像:透過頭戴式攝影機擴大資料蒐集範圍;Figure AI 的 Index 收錄 1,600 萬段影片,北京大學 DAGroup 的 HumanNet 則包含 100 萬小時的人本影片,涵蓋第一人稱與第三人稱資料。 機器人操作資料:Open X-Embodiment 是目前最大的公開機器人資料集,包含 1,150 至 2,000 小時的實際操作資料。

8月27日週四
8月19日週三
8月15日週六
8月14日週五
8月12日週三
  1. Brandur Leach (Stripe / Systems)53

    Brandur Leach 分享如何用大型語言模型最佳化資料庫查詢,避開新增遷移

    資料庫查詢太慢時,新增資料庫遷移可能讓維護工作更繁重。Brandur Leach 分享,他們用大型語言模型最佳化一個用於救援執行中工作的核心查詢,最佳化後的版本最高比原本快 130 倍,也因此避免新增一次資料庫遷移,減少使用者因問題上門抱怨的情況。

8月11日週二
8月10日週一
7月31日週五
7月27日週一
7月24日週五
7月23日週四
  1. Google Research70

    讓量子計算機從錯誤中學習

    Google Research 在其 Willow 超導處理器上演示了利用強化學習實現量子計算機持續校準的方法,顯著降低了邏輯錯誤率。實驗中,RL 訓練將錯誤率降低 3.5 倍,最終邏輯錯誤率低至每千個糾錯週期不到一次,並在數百量子位元的模擬中驗證了可擴充套件性。該方法將量子錯誤檢測事件作為主動學習訊號,展示了可持續計算的新範式。

7月16日週四
  1. Google Research62

    揭示擴散模型創造力的奧秘

    Google Research 通過數學分析解釋了擴散模型的創造力來源,指出正則化導致的分數平滑使模型在去噪過程中產生插值,從而生成新穎影像。文章以一維示例說明分數平滑如何軟化梯度,並通過實驗驗證權重衰減對其影響;在多維情形下,分數平滑幫助模型在資料流形上平衡質量與新穎性。作者已公開實驗程式碼。

7月6日週一
  1. Hugging Face Blog47

    PRX 第 4 部分:資料策略

    PRX 團隊公開了 7B 模型的預訓練資料策略,詳細闡述了結合公共與內部資料集、利用 VLM 重新加長文本標註以及通過 Mosaic Streaming(MDS)和 Lance 格式進行分散式訓練的完整資料流水線。該團隊放棄了預計算文本潛變數,轉而在訓練迴圈中動態執行 Qwen3-VL 文本編碼器,僅帶來約 3-4% 的吞吐量成本。

7月1日週三
6月30日週二
6月29日週一
6月24日週三
6月6日週六
6月4日週四
  1. Google Research72

    Google開源水文框架,開啟洪水韌性新篇章

    Google Research公開了其水文模型框架,供各國氣象機構在GitHub上使用和構建AI洪水預報模型。該框架基於PyTorch實現LSTM網路,支援使用Caravan資料集訓練,並已在Czech Hydrometeorological Institute驗證,提升預測時效6天。

    推薦理由:Google公開的水文框架讓各國氣象機構可自行訓練AI洪水預報模型,提升預測時效並降低技術門檻。

6月3日週三
6月1日週一