AI 導讀
機器人資料上傳成本大幅降低技巧：將 239 GB 資料集只傳 2.6 MB，約一分鐘完成。
- 資料集大小：239 GB；差異更新：2.6 MB
- 傳輸時間：約 1 分鐘
- 成本：>1 PB 資料傳輸僅約 $500
- 部署方式：使用 Cloudflare Workers 分發至多雲
推薦理由
此方法可大幅降低機器人資料上傳成本，適合大規模資料同步需求，並可透過 Cloudflare Workers 快速分發至多雲環境。
Thomas Wolf@Thom_Wolf
·2 小時前
fun stat from @microagi’s write-up on shipping petabytes of robot data:
they re-uploaded a 239 GB dataset with small changes to Hugging Face. only 2.6 MB went over the network, done in about a minute (!)
and it keeps paying off at scale, because robot recordings are super repetitive (same scenes, same rigs). then @Cloudflare workers fan it all out to any cloud, >1 PB for ~$500
great write-up by the team: https://t.co/O4w4EbnHar
推文來源 · X (Twitter)在 X 參與討論
來源： Thomas Wolf (x.com)
在 X 查看推文