ONNX Runtime 1.32.0 加快大型模型啟動,新增 CPU 與 GPU 混合處理功能
ONNX Runtime v1.32.0
重點導讀
大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。
- 1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除。
- CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。
信源出處github.com
ONNX Runtime v1.32.0
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Microsoft ONNX Runtime Releases (github.com)
開啟原文