Google 推出 TPU 上的 vLLM 與 SGLang PyTorch 原生推理引擎
Announcing New vLLM and SGLang Inference Engines on TPU
重點導讀
Google 在 TPU 上推出了 vLLM‑TorchTPU 與 SGLang‑TorchTPU,提供 PyTorch 原生推理,讓開發者可在熟悉環境下高效部署大模型。
推薦理由
Google 推出在 TPU 上的 PyTorch 原生推理引擎,讓開發者可在熟悉環境下高效部署大模型,並提供多樣化的 agentic 與多模態支援。
信源出處developers.googleblog.com
Announcing New vLLM and SGLang Inference Engines on TPU
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Google Developers Blog (developers.googleblog.com)
開啟原文