TrustedRouter 推出加密多模型服務,主打降低 AI 推論費用
TrustedRouter bets on encrypted AI panels to cut inference costs
重點導讀
企業使用 AI 時,得決定要把請求交給哪個模型,也要顧及費用、隱私和回答品質。
- TrustedRouter 推出 Prometheus 4.0、Liberty 4.0 和 Polyphemus 1.0,可透過 API 和 New York Token Exchange 使用。Prometheus 會讓 6 個開放權重模型各自回答,再由其他模型評判並整理,完整執行最多需要 8 次模型呼叫。
- Polyphemus 則先挑選一個模型來回答。TrustedRouter 估計這些服務在部分情況下可降低費用,但文章指出,品質、安全和省錢的說法尚未經獨立驗證,也缺少同時比較費用、延遲與任務成功率的資料。企業評估時,仍得看回答是否更好、速度是否足夠,以及整體營運成本是否真的下降。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
TrustedRouter bets on encrypted AI panels to cut inference costs
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文