基于 Hugging Face Jobs 与存储桶跨节点异步训练 LoRA

Hugging Face 官方介绍了如何使用 TRL v1.14 中的 AsyncGRPOTrainer 在不同机器上异步训练 LoRA 适配器并同步至 vLLM。

通过将兆字节大小的 rank-1 适配器写入存储桶并借助代理路由 KV 缓存前缀，该方案省去了 NCCL 跨节点通信，使 500 步训练耗时缩短至原来的四分之一。