RadixArk 與 Google 合作,讓 SGLang 支援 TPU
RadixArk Joins Forces with Google to Bring Full SGLang Features to TPUs
重點導讀
團隊想在 GPU 和 TPU 之間更換硬體時,常得改用不同工具或重做部署。
- RadixArk 和 Google Cloud 合作,讓開源推論框架 SGLang 能在 Google TPU 上執行:目前可透過 SGL-JAX 使用,支援多種大型語言模型、多模態模型和影像及影片生成模型。
- RadixArk 也預計在今年稍晚推出以 PyTorch 為基礎的 SGL-torchtpu。團隊可以沿用同一套 SGLang API,依工作需求和價格效能選擇 GPU 或 TPU。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
SGLang 已可透過 SGL-JAX 在 TPU 上執行,後續還會加入 PyTorch 原生後端,讓團隊沿用相同 API 跨硬體部署。
信源出處lmsys.org
RadixArk Joins Forces with Google to Bring Full SGLang Features to TPUs
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文