跳到正文
vLLM Official Blog(vllm.ai)· Ant Group and the vLLM Community·· 10 天前精選品質評分76

Ant Group 與 vLLM 社群開源 Humming:面向量化推理的高效核心函式庫

Announcing Humming: Fast, Flexible Kernels for Quantized Inference

重點導讀

Ant Group 與 vLLM 社群共同開源 Humming,這是一個專為量化推理設計的通用、高效能核心函式庫,支援從 Turing 架構起的 NVIDIA GPU 與相容裝置。

推薦理由

原文公開了專為量化推理設計的核心函式庫架構與效能資料,開發者可據此評估在不同硬體環境下的推理加速方案。

信源出處vllm.ai

Announcing Humming: Fast, Flexible Kernels for Quantized Inference

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: vLLM Official Blog (vllm.ai)
開啟原文