跳到正文
𝕏 elvis(x.com)·· 5 天前品質評分40
重點導讀

推測解碼實務應用的好文。

有趣的部分是草稿模型。@sciforium 用客戶流量微調它,讓更多草擬 token 通過驗證,因此值得採用 7-token 草稿。

結果:使用原始權重,DeepSeek-V4.1-Flash 在 4 張 AMD MI355X GPU 上達到 1,129 output tok/s。

他們也分享了哪些做法沒有效果,這點我很欣賞。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

elvis
elvis@omarsar0
·5 天前
𝕏

Great read on speculative decoding in practice.

The interesting part is the drafter. @sciforium tunes it on customer traffic, so longer runs of drafted tokens survive verification, which is what made 7-token drafts worth it.

Result: DeepSeek-V4.1-Flash at 1,129 output tok/s on 4 AMD MI355X GPUs, with the original weights.

They also share what didn't help, which I appreciate.

推文來源 · X (Twitter)在 X 參與討論
來源: elvis (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論