跳到正文
Microsoft ONNX Runtime Releases(github.com)· tianleiwu·· 22 天前精選品質評分74

ONNX Runtime CUDA Plugin EP 0.3.0 發布

ONNX Runtime CUDA Plugin EP 0.3.0

重點導讀

ONNX Runtime CUDA Plugin EP 0.3.0 正式發布,針對模型推理與硬體加速帶來多項關鍵功能更新與效能最佳化。

  • 核心亮點:加入稀疏注意力機制(Sparse Attention)與打包連續批次(Packed Continuous-Batching)支援,並引進 INT2 與混合寬度 QMoE 執行、解碼核心調校及可靠性修復。
推薦理由

微軟釋出 ONNX Runtime CUDA Plugin EP 0.3.0,加入稀疏注意力與 INT2 混合量化等效能最佳化功能,開發者可據此評估升級以提升模型推論效率。

信源出處github.com

ONNX Runtime CUDA Plugin EP 0.3.0

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文