SGLang 和 Miles 加入對 Qwen3.8 的首日支援
大型模型有不同的運算狀態,讓伺服器難以安排工作,也可能拖慢速度。SGLang 和 Miles 宣佈在 Qwen3.8 推出當天就支援這個模型,並加入快取、資料傳送與推測解碼等處理方式,讓不同階段能採用各自適合的配置。文章列出多種測試結果,其中一種 NVFP4 配置在 8K 輸入、1K 輸出的測試中,每張 GPU 每秒處理 5,126 個 token;這些數字反映特定硬體與配置下的表現。
推薦理由:文章拆解 SGLang 如何處理 Qwen3.8 的多種運算狀態,並比較不同部署配置的吞吐量與單人速度,呈現服務大型模型的工程取捨。