Sarvam 推出 Token Factory,讓 8 款開放權重模型在印度提供推論服務
Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models
重點導讀
把模型放在海外雲端,印度團隊可能會遇到連線延遲;Sarvam 推出 Token Factory,讓開發者透過同一個 OpenAI 相容 API,使用部署在印度 GPU 叢集上的 Sarvam 與開放權重模型。
- 平臺也提供企業在自家環境部署的選項。Sarvam 表示,部分測試中首個 token 等待時間較短,Kimi K3.1 Pro 的每張 GPU 每秒輸出量是 InferenceX 的 1.9 倍。
- 但在 DeepSeek V4.1 Flash 的測試裡,Together 的串流速度較快。文中的效能數字都來自 Sarvam 自行測量。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Sarvam Token Factory 把多款模型放在印度的 GPU 叢集上提供服務,報導也比較了自家測試結果與其他平臺,能看出速度優勢並非每項都領先。
信源出處marktechpost.com
Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: MarkTechPost (marktechpost.com)
開啟原文