Amazon SageMaker AI 推出 KV-aware routing,讓長對話更容易用到快取
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
重點導讀
大型語言模型處理長對話時,常要重算已經看過的內容;如果請求被送到沒有這份快取的執行個體,就會多花時間。
- Amazon SageMaker AI 推出 KV-aware routing,讓模型容器回報各執行個體目前保留的快取,再把請求送到有最多相符內容、而且不太忙的地方。AWS 在一組長提示詞測試中,相較隨機路由,首個 token 的中位等待時間最多降低 97%,但結果會依流量而異。這項功能目前要求使用支援的 vLLM 容器,且至少有兩個執行個體或模型副本。
- 新對話第一次送出時仍沒有快取可用。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章比較 KV-aware routing 與固定字首路由的差異,並提供長對話負載下的延遲與快取命中率資料,方便判斷是否適合自己的流量。
信源出處aws.amazon.com
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文