跳到正文
熱點事件持續更新

文章從頭解析 PagedAttention

1 篇報導1 個報導來源10 小時前更新

先了解這件事

重點綜述

大型語言模型回答問題時,會把讀過的文字留在 KV cache;如果每個請求一開始就預留一大段記憶體,很多空間會被佔著,其他請求也用不到。

  • 作者用停車位和小型互動示範,解釋 PagedAttention 如何把記憶體切成固定大小的區塊,需要時才分配,並用對照表記下區塊位置。多個請求也能共用相同提示詞的資料,只有內容要改動時才複製區塊。這能減少閒置空間,讓同一批記憶體容納更多請求。
  • 作者也提醒,區塊較大時空位會增加,太小則可能影響 GPU 平行處理。

根據報導自動生成 · 10 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月22日
  1. Dev.to Top Tech精選
    PagedAttention 如何減少大型語言模型服務時的記憶體浪費

    大型語言模型回答問題時,會把讀過的文字留在 KV cache;如果每個請求一開始就預留一大段記憶體,很多空間會被佔著,其他請求也用不到。作者用停車位和小型互動示範,解釋 PagedAttention 如何把記憶體切成固定大小的區塊,需要時才分配,並用對照表記下區塊位置。多個請求也能共用相同提示詞的資料,只有內容要改動時才複製區塊。這能減少閒置空間,讓同一批記憶體容納更多請求;作者也提醒,區塊較大時空位會增加,太小則可能影響 GPU 平行處理。

本事件熱度趨勢

當前熱度 7·可比範圍峰值 10(11月22日 19:00)·近 24 小時可比範圍變化 –

02.557.51011月22日19:0011月22日22:0011月23日02:0011月23日05:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。

讀者討論

針對此事件的各方觀點與即時反饋