重點導讀
部署 DeepSeek V4.1-Flash 時,推論速度會受到使用的硬體配置影響。
- Baseten 宣佈用 Rust 和 CUDA 從頭打造了一套推論引擎,並將它開源。Baseten 表示,使用 4xB300 時,解碼速度約為 1,740 TPS。
- 使用 8xB300 時,約為 2,060 TPS,而處理 1M-token 的預填約需 12 秒。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。
Baseten@baseten
·9 天前
We built an inference engine for DeepSeek V4.1-Flash from scratch in Rust and CUDA.
4xB300: ~1,740 TPS decode
8xB300: ~2,060 TPS decode
1M-token prefill in ~12s
It's open-source.
推文來源 · X (Twitter)在 X 參與討論