vLLM 中雙向 KV 轉移提升多輪 Agentic 工作負載的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 導讀
vLLM 在 1P1D 部署下，透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。
- TTFT：Qwen3‑32B 由 158 ms → 460 ms（長 prompt 24k），GLM‑5‑FP8 由 500 ms → 702 ms（20k）。
推薦理由
此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x，對需要高效推理的 agentic 應用具有實際效益。
信源出處aws.amazon.com
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
本文為 888news AI 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： AWS Machine Learning Blog (aws.amazon.com)
開啟原文