ONNX Runtime CUDA Plugin EP 0.3.0 發布
ONNX Runtime CUDA Plugin EP 0.3.0
重點導讀
ONNX Runtime CUDA Plugin EP 0.3.0 正式發布,針對模型推理與硬體加速帶來多項關鍵功能更新與效能最佳化。
- 核心亮點:加入稀疏注意力機制(Sparse Attention)與打包連續批次(Packed Continuous-Batching)支援,並引進 INT2 與混合寬度 QMoE 執行、解碼核心調校及可靠性修復。
推薦理由
微軟釋出 ONNX Runtime CUDA Plugin EP 0.3.0,加入稀疏注意力與 INT2 混合量化等效能最佳化功能,開發者可據此評估升級以提升模型推論效率。
信源出處github.com
ONNX Runtime CUDA Plugin EP 0.3.0
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Microsoft ONNX Runtime Releases (github.com)
開啟原文