重點導讀
Sciforium 展示 DeepSeek-V4.1-Flash 在 4 張 AMD Instinct MI355X 顯示卡上,每秒可產生 1,129 個 token;模型仍使用 DeepSeek 原本的權重。
- 加速關鍵是用客戶實際流量調整 Traffic-tuned Drafter,讓模型提出的 token 更常被採用,並把每次預先草擬的長度提高到 7 個 token。
- 另外也合併部分運算,減少等待時間。照這個速度,產生 10,000 個 token 約需 9 秒,讓使用者更快拿到長篇回答。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Rohan Paul@rohanpaul_ai
·5 天前
Sciforium shows DeepSeek-V4.1-Flash reaching 1,129 output tokens/sec at P90 on 4 AMD Instinct MI355X GPUs, keeping DeepSeek's original weights.
The gain comes from speculative decoding done better. Sciforium's Traffic-tuned Drafter is tuned on customer traffic, so more of its proposed tokens get accepted and draft length could be raised to seven tokens.
Separately, kernel work fused small ops like mHC and projections and fused all-reduce with compute.
At that rate, 10,000 tokens is about nine seconds of generation.
推文來源 · X (Twitter)在 X 參與討論
來源: Rohan Paul (x.com)
在 X 查看推文