熱點事件持續更新
Bi-directional KV transfer improves TTFT
1 篇報導1 個報導來源3 小時前更新
先了解這件事
AI 綜述
vLLM 在 1P1D 部署下，透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。
- TTFT：Qwen3‑32B 由 158 ms → 460 ms（長 prompt 24k），GLM‑5‑FP8 由 500 ms → 702 ms（20k）。
AI 根據報導生成 · 2 小時前更新
最新進展10月20日 00:03
vLLM 中雙向 KV 轉移提升多輪 Agentic 工作負載的 TTFT報導時間線
沿著報導，瞭解事件的不同面向。
10月20日
- AWS Machine Learning Blog精選vLLM 中雙向 KV 轉移提升多輪 Agentic 工作負載的 TTFT
vLLM 在 1P1D 部署下，透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT：Qwen3‑32B 由 158 ms → 460 ms（長 prompt 24k），GLM‑5‑FP8 由 500 ms → 702 ms（20k）。
本事件熱度趨勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。