Google DeepMind 推出 Decoupled DiLoCo：实现具弹性且分布式的 AI 训练新架构

Google DeepMind 推出了 Decoupled DiLoCo 架构，通过将大规模训练拆分到异步运行的独立计算集群中，降低了跨数据中心训练的带宽需求并增强了硬件容错能力。

测试表明，该架构使用 Gemma 4 模型在发生硬件故障时保持了高可用性，并成功在四个美国不同区域以低带宽完成了 120 亿参数模型的预训练。