跳到正文
Google Developers Blog(developers.googleblog.com)·· 2 小時前精選品質評分79

Google 推出 TPU 上的 vLLM 與 SGLang PyTorch 原生推理引擎

Announcing New vLLM and SGLang Inference Engines on TPU

重點導讀

Google 在 TPU 上推出了 vLLM‑TorchTPU 與 SGLang‑TorchTPU,提供 PyTorch 原生推理,讓開發者可在熟悉環境下高效部署大模型。

推薦理由

Google 推出在 TPU 上的 PyTorch 原生推理引擎,讓開發者可在熟悉環境下高效部署大模型,並提供多樣化的 agentic 與多模態支援。

信源出處developers.googleblog.com

Announcing New vLLM and SGLang Inference Engines on TPU

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Google Developers Blog (developers.googleblog.com)
開啟原文