跳到正文
𝕏 Baseten(x.com)·· 9 天前精選品質評分75
重點導讀

部署 DeepSeek V4.1-Flash 時,推論速度會受到使用的硬體配置影響。

  • Baseten 宣佈用 Rust 和 CUDA 從頭打造了一套推論引擎,並將它開源。Baseten 表示,使用 4xB300 時,解碼速度約為 1,740 TPS。
  • 使用 8xB300 時,約為 2,060 TPS,而處理 1M-token 的預填約需 12 秒。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。

Baseten
Baseten@baseten
·9 天前
𝕏

We built an inference engine for DeepSeek V4.1-Flash from scratch in Rust and CUDA.

4xB300: ~1,740 TPS decode
8xB300: ~2,060 TPS decode
1M-token prefill in ~12s

It's open-source.

推文來源 · X (Twitter)在 X 參與討論
來源: Baseten (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論