Together AI 推出免費資料快取工具,讓 GPU 叢集更快讀取資料
Introducing Together Storage Accelerator: fast, free data caching for your GPU cluster
重點導讀
GPU 叢集如果每次都要從遠端下載模型或資料集,運算工作就得等資料到齊,還可能遇上費用和流量限制。
- Together AI 推出 Together Storage Accelerator(TSA),會把首次讀取的資料放在叢集節點的 NVMe 儲存裝置中,之後由叢集內的快取供其他節點讀取,原有程式也不必改寫。官方在 H100 節點測試,從 Cloudflare R2 讀取 2 GiB 資料,快取後約需 0.6–0.7 秒。
- 200 臺節點下載同一份 70 GB 檢查點,來源只需傳送一次。TSA 現已免費提供給 Together GPU Cluster,實際速度會依資料來源和網路路徑而不同。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
實測比較冷資料與快取讀取速度,也呈現多臺 GPU 共用同一份檢查點時,快取如何減少重複下載與資料傳輸。
信源出處together.ai
Introducing Together Storage Accelerator: fast, free data caching for your GPU cluster
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Together AI Official Blog (together.ai)
開啟原文