Ascend Team 說明如何提升 GLM-Image 在 SGL-Diffusion 的執行效率
GLM-Image 先用 AR 產生文字提示的語意資訊,再由 DiT 把它逐步轉成圖片;兩個階段需要的硬體配置不同,放在同一個工作流程裡會互相牽制。Ascend Team 把 AR 改由 SRT 獨立執行,並讓多筆請求一起處理;之後又把 AR 和 DiT 分開部署,讓一臺 AR 伺服器把工作分給多個各自處理單張圖片的 DiT。文中測試顯示,16 張 NPU 的設定下,分開部署後平均生成時間從 90 秒降到 37 秒,也能同時處理更多圖片。