Samir Sarwar 以 C++ 與 CUDA 從零實作 LLM 推論引擎教學
6 Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here
Samir Sarwar 推出一系列 LLM 推論教學,以 C++ 與 CUDA 從第一原理打造小型引擎,逐步說明提示詞如何轉換為生成 token。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
內容以 C++ 與 CUDA 實作推論引擎,並逐步拆解 KV cache、分批處理與分頁注意力,適合循序理解生成流程與相關工程取捨。
從原理出發教你理解 LLM 推論:用 C++ 和 CUDA 打造小型引擎。
系列將帶你瞭解從輸入提示到生成 token 之間發生的事,從載入模型權重,到在 GPU 上執行 Transformer 的各個部分。
我的推論筆記
閱讀《從零開始理解推論》(PDF),裡面有我手寫的 80 多頁筆記和圖解。這份 PDF 的所有文字都是我親自撰寫,完全沒有使用 AI 撰寫。
建置系列|6 小時以上的影片
每部影片的搭配筆記都收錄在學習筆記索引,並分別放在Markdown和PDF資料夾。你也可以閱讀完整 PDF 合集。
目前已完成的功能
- 以 CMake 建置的 C++17/CUDA 專案,並連結 ICU 以支援 Unicode 感知型分詞。
- 直接載入
model.safetensors:解析中繼資料、驗證張量偏移量,並將原始 BF16 權重複製到 GPU 記憶體。另有記憶體對映載入器實作,可避免在 CPU 端多複製一次。 - 固定採用 Llama 3.2 1B Instruct 權重配置,直接指向全部 16 層中的 embedding、正規化、注意力和 MLP 張量。
- 本機 BPE 分詞器支援 Unicode、特殊 token、編碼/解碼,以及 Instruct 聊天提示格式;預期輸出由專用測試執行檔驗證。
- CUDA embedding 收集核心與 prefill 流程會將提示中的 token ID 複製到 GPU,並配置 activations。
- 用於 2,048 寬度隱藏狀態的 CUDA RMSNorm 核心:以 FP32 執行縮減,並在整個前向傳遞中套用訓練所得的 BF16 權重。
- 密集因果 prefill 現在會執行全部 16 層:Q/K/V 投影、RoPE、分組查詢注意力、輸出投影、注意力殘差、注意力後 RMSNorm、SwiGLU MLP,以及 MLP 殘差。
- 最後的 RMSNorm 和繫結的 embedding/LM-head 投影會產生 FP32 logits;GPU argmax 會選出下一個 token。
- 共用的 BF16 KV 頁面池,並為每個序列和層維護區塊表。每個實體頁面可存放 16 個 token 的 K 和 V;prefill 會填入提示頁面,decode 則在其絕對 RoPE 位置附加一個新 token。
- 使用 Instruct 聊天格式進行貪婪式回應生成,遇到回合結束/文字結束標記時停止,並可在 2,048 token 的上下文範圍內設定輸出長度。
- 持續使用暫存緩衝區,並由 prefill 和 decode 共用一個 cuBLAS 控制程式碼。Q 儲存空間會重複用於輸出/MLP 投影,正規化儲存空間則會重複用於注意力輸出。
- 支援批次 decode,使用執行時大小的緩衝區、封裝式投影,並為每個序列分別設定 KV 頁面對應和注意力長度。請求數量不會增加 KV 頁面池的大小。
- 靜態批次處理與連續排程器會依據可用的頁面預算,接納佇列中的提示,並在完成時歸還頁面與預算。
- 直接以分頁方式進行解碼注意力,並使用 FP32 線上 softmax。每個查詢頭會串流讀取其序列快取的頁面,並累積加權值,不必收集連續的字首,也不必儲存注意力分數。
第 8 部分說明Prefill、Decode 與 KV 快取。第 9 部分接著介紹靜態與連續批次處理,包括目前的分頁快取與線上 softmax 解碼注意力。
目前範圍
Llama 3.2 1B 推論路徑包含密集因果預填、分頁解碼注意力,以及靜態或連續批次處理。此學習引擎的模型維度與 2,048 個 token 的上下文長度維持固定。KV 池預設為 128 MiB,可透過 --kv-cache-mib N 設定;可同時處理的要求數量則依工作負載的頁面預算而定,不受固定兩個要求的限制。
接納要求時會確保有足夠空間處理每個要求的最長字首:prompt_tokens + allowed_new_tokens - 1,並在 16 個層中各自向上取整為 16-token 頁面。允許的輸出預算會限制在上下文長度上限內,最後預測出的 token 不會再次處理。這些接納額度與實體頁面分開計算;實體頁面會在需要時才指派。要求提早完成時,已指派的頁面與剩餘額度都會釋出。
若預算無法與目前執行中的要求共同容納,要求會依 FIFO 順序等待。執行中的要求都有足夠空間完成,因此後續跨越頁面邊界時,不會耗盡頁面池或造成生成死結。若某個要求的預算超出整個頁面池的容量,系統會以明確錯誤訊息拒絕該要求。這項保守策略可避免搶佔與重新計算;即使模型最後提早停止,要求較大的輸出預算仍可能降低並行處理量。
--stats會回報頁面池大小、同時執行中的要求數量峰值、解碼批次大小上限、已指派頁面數峰值、接納等待次數,以及最終可用頁面數。解碼迭代之間,預填仍會一次處理一個提示。
不同批次大小可能讓 BF16 計算產生不同的捨入結果。當詞彙表 logits 非常接近時,貪婪解碼輸出的 token 因此可能在單獨執行與批次執行之間有所不同。不同批次大小之間不保證輸出逐位元相同。
建置
需求
- 支援 CUDA 的 NVIDIA GPU 與 CUDA Toolkit
- CMake 3.24+
- C++17 編譯器
- ICU 開發程式庫
nlohmann/json標頭檔- 位於
models/llama-3.2-1b-instruct/model.safetensors的模型權重 - 位於
models/llama-3.2-1b-instruct/tokenizer.model的相符 tokenizer(從models/Llama-3.2-1B-Instruct/original/tokenizer.model複製)
mkdir -p models/llama-3.2-1b-instruct cp models/Llama-3.2-1B-Instruct/original/tokenizer.model models/llama-3.2-1b-instruct/ cmake -S . -B build cmake --build build -j ./build/samir-vllm "Explain the KV cache in two sentences." 128 # Continuous batching (default): admit requests whose page budgets fit. ./build/samir-vllm "Say hello." 64 "Explain the KV cache." "What is RoPE?" # Static batching: wait for the current group before admitting more. ./build/samir-vllm --static "Say hello." 64 "Explain the KV cache." "What is RoPE?" # More than two requests share the same default 128 MiB pool. ./build/samir-vllm --stats "Explain paging." 64 "Explain GQA." "Explain RoPE." "Explain softmax." # A smaller pool queues requests when their declared budgets cannot fit together. ./build/samir-vllm --kv-cache-mib 8 --stats "Explain paging." 64 "Explain GQA." "Explain RoPE." ./build/tokenizer-test models/llama-3.2-1b-instruct/tokenizer.model
可選的 --static、--continuous、--kv-cache-mib N 和 --stats 旗標之後,第一個引數是提示,第二個引數是 max_new_tokens(預設值:128)。其餘引數皆視為額外提示;token 預算會套用至每個要求。每個提示都會格式化為 Instruct 使用者訊息。生成會在遇到 EOS、EOT 或 EOM、輸出上限或上下文長度上限時各自停止,並列印每個已完成的回應、其 token ID 與要求編號。
提示會一次預填一個,並暫停解碼。每個解碼步驟都會將每個作用中序列的一個 token 打包至共用緩衝區。注意力只會讀取該序列的快取;不同要求的提示長度與輸出長度可以不同。連續批次處理會在頁面額度可用時接納等待中的要求;靜態批次處理則會在目前批次完成後接納下一組要求。
專案目錄結構
src/ Engine entry point, CUDA kernels, and tokenizer implementation
include/ Public kernel and tokenizer headers
tests/ Tokenizer tests
python/ Tokenizer reference script
proper_notes/ Study-notes index, markdown/ sources, and pdf/ reading editions
scripts/ Rebuild the study-note PDFs
notes.md Working notes from the build
授權條款
位於 src/、include/、tests/ 和 python/ 的引擎原始碼,以及 CMakeLists.txt、.gitignore 和本 README,皆採用 MIT 授權條款。
本專案提供的 proper_notes/、notes.md 和 podLibraryInstall.md 中的筆記,以及手寫筆記、掃描件、插圖、筆記照片和 PDF,均保留所有權利,不適用 MIT 授權。允許個人閱讀與研習。無論免費或收費,重新散佈、再版、重新託管、轉售或散佈改編版本,均須事先取得書面許可。完整條款與例外情況請參閱 LICENSE-NOTES。
公開儲存庫仍可依據 GitHub 服務條款在 GitHub 上瀏覽及建立分支。
模型資產與相依專案
以 Llama 建置。隨附的 Llama 3.2 分詞器,以及另行下載的任何 Llama 3.2 權重,均受 Meta 的 Llama 3.2 社群授權與 可接受使用政策規範,且不適用 MIT 授權。重新散佈任何 Llama 資料時,請一併保留該協議、政策和著作權歸屬宣告。
包括 CUDA、cuBLAS、ICU 和 nlohmann/json 在內的第三方相依專案,均保留各自的授權條款。