重點導讀
騰訊優圖在 Hugging Face 上發布 Qwen3.8-27B-DSpine-b16 草稿模型,官方測試顯示其投機解碼加速約為 3 倍。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
karminski-牙醫@karminski3
·13 天前
我以為投機解碼這塊已經卷到頭了, 沒想到騰訊又整出了新活. 騰訊優圖剛在 HuggingFace 上放出了 Qwen3.8-27B-DSpine-b16 這個新草稿模型. 直接從原來 MTP 加速的1.6倍左右提升到了3倍. 官方測試來到了 805 tps (8併發). 官方沒說是什麼卡, 但是從用的 FlashAttention 3 來看應該是 Hopper 架構的卡.
他是怎麼做到的的呢?
推文來源 · X (Twitter)在 X 參與討論
來源: karminski-牙醫 (x.com)
在 X 查看推文