跳到正文
AWS Machine Learning Blog(aws.amazon.com)· Dmitry Soldatkin·· 5 天前精選品質評分78

Amazon SageMaker AI 推出 KV-aware routing,讓長對話更容易用到快取

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

重點導讀

大型語言模型處理長對話時,常要重算已經看過的內容;如果請求被送到沒有這份快取的執行個體,就會多花時間。

  • Amazon SageMaker AI 推出 KV-aware routing,讓模型容器回報各執行個體目前保留的快取,再把請求送到有最多相符內容、而且不太忙的地方。AWS 在一組長提示詞測試中,相較隨機路由,首個 token 的中位等待時間最多降低 97%,但結果會依流量而異。這項功能目前要求使用支援的 vLLM 容器,且至少有兩個執行個體或模型副本。
  • 新對話第一次送出時仍沒有快取可用。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章比較 KV-aware routing 與固定字首路由的差異,並提供長對話負載下的延遲與快取命中率資料,方便判斷是否適合自己的流量。

信源出處aws.amazon.com

Amazon SageMaker AI real-time endpoints now support KV cache aware routing

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論