重點導讀
Together AI 推出 Together Compiler,透過AI 助理持續依據正式環境流量最佳化推論,服務規模達每日數兆個 token。
- 速度比較:相較領先的 InferenceX 設定,速度最高提升 2.6 倍;在客戶工作負載上最高提升 50%。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Together AI@togethercompute
·18 天前
Introducing Together Compiler: agents that continually optimize inference for production traffic.
Serving trillions of tokens/day. Up to 2.6x faster than leading InferenceX configs, up to 50% faster on customer workloads.
Congrats @reyna_abhyankar @dylan__lim @simran_s_arora and the team!
推文來源 · X (Twitter)在 X 參與討論
來源: Together AI (x.com)
在 X 查看推文