跳到正文
Google Developers Blog(developers.googleblog.com)·· 3 天前精選品質評分80

Google 說明 MaxText 如何用 Streaming DiLoCo 跨資料中心訓練大型語言模型

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

重點導讀

大型語言模型分散到不同資料中心訓練時,網路速度慢會讓裝置停下來等資料同步。

  • Google 在 MaxText 加入 Streaming DiLoCo,把模型切成多個部分,分批傳送引數更新,讓訓練和傳輸能同時進行。以 Qwen3-32B 為例,在 10 Gbit/s 網路下,每步訓練約 5.76 秒。
  • 一般資料平行訓練約 55.11 秒,原本的 DiLoCo 則約 7.55 秒。文章也提到,這種做法在測試中維持了模型訓練品質,並提供 MaxText 的設定方式。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章以 Qwen3-32B 在不同網路頻寬下的實測,比較三種訓練方式的耗時,呈現引數分批同步如何減少跨資料中心網路壅塞。

信源出處developers.googleblog.com

Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Google Developers Blog (developers.googleblog.com)
開啟原文

讀者討論

理性交流 · 即時討論