跳到正文
Together AI Official Blog(together.ai)·· 4 天前精選品質評分74

Together AI 推出免費資料快取工具,讓 GPU 叢集更快讀取資料

Introducing Together Storage Accelerator: fast, free data caching for your GPU cluster

重點導讀

GPU 叢集如果每次都要從遠端下載模型或資料集,運算工作就得等資料到齊,還可能遇上費用和流量限制。

  • Together AI 推出 Together Storage Accelerator(TSA),會把首次讀取的資料放在叢集節點的 NVMe 儲存裝置中,之後由叢集內的快取供其他節點讀取,原有程式也不必改寫。官方在 H100 節點測試,從 Cloudflare R2 讀取 2 GiB 資料,快取後約需 0.6–0.7 秒。
  • 200 臺節點下載同一份 70 GB 檢查點,來源只需傳送一次。TSA 現已免費提供給 Together GPU Cluster,實際速度會依資料來源和網路路徑而不同。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

實測比較冷資料與快取讀取速度,也呈現多臺 GPU 共用同一份檢查點時,快取如何減少重複下載與資料傳輸。

信源出處together.ai

Introducing Together Storage Accelerator: fast, free data caching for your GPU cluster

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文

讀者討論

理性交流 · 即時討論