vLLM 官方推出 Tenstorrent 外掛程式支援多款開源模型
Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin
重點導讀
Tenstorrent Team 發布 vLLM TT Plugin,透過標準的平臺外掛機制將 Tenstorrent 硬體引入 vLLM 生態系統,維持與 OpenAI 相容的 API 介面並支援多款主流開源模型。
信源出處vllm.ai
Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: vLLM Official Blog (vllm.ai)
開啟原文