跳到正文
Microsoft ONNX Runtime Releases(github.com)· tianleiwu·· 9 天前精選品質評分75

ONNX Runtime 1.32.0 加快大型模型啟動,新增 CPU 與 GPU 混合處理功能

ONNX Runtime v1.32.0

重點導讀

大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。

  • 1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除。
  • CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。

信源出處github.com

ONNX Runtime v1.32.0

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文

讀者討論

理性交流 · 即時討論