vLLM 推出 TorchTPU 後端，讓既有模型可部署於 Google Cloud TPU

vLLM 推出 TorchTPU 後端，讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行，無須修改模型程式碼。

• 服務介面：沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器，並支援六種平行化維度。