CPU scheduling boosts inference

本文以實驗資料說明 CPU 排程在 AI 推理中的作用，指出僅在主機工作佔用 CPU 時才會提升效能。 - vLLM 服務在單機 CPU 壓力下，使用 Gthulhu scheduler 或靜態 CPU 分離可將吞吐量提升至 3 倍以上。