重點導讀
在每位使用者速度相同的情況下,吞吐量最高可提升 2.7 倍。
在 NVIDIA B200 和 B300 上比較 Together Compiler 與最佳 InferenceX 設定的基準測試中:
→ Kimi K3:2.7 倍→ GLM-5.3:1.8 倍→ DeepSeek V4.1 Flash:1.8 倍→ MiniMax M3.1 Flash:1.5 倍
閱讀更多:https://t.co/wnRX2rWDnx
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Together AI@togethercompute
·13 天前
Up to 2.7× more throughput at the same speed per user.
In our benchmarks comparing Together Compiler vs. the best InferenceX configs on NVIDIA B200 and B300:
→ Kimi K3: 2.7×
→ GLM-5.3: 1.8×
→ DeepSeek V4.1 Flash: 1.8×
→ MiniMax M3.1 Flash: 1.5×
Read more: https://t.co/wnRX2rWDnx
推文來源 · X (Twitter)在 X 參與討論
來源: Together AI (x.com)
在 X 查看推文