DeepSeek 釋出開源推理引擎 DeepInfer

DeepInfer 是支援 DeepSeek 大規模生產服務的高效推理框架。此開源版本提供離線推理，具備大規模服務所需的核心功能。

支援模型：

DeepSeek-V4.1-Flash

支援功能：

最佳化核函式、模型與取樣器執行時
並行化：注意力 DP / 平衡 CP，MoE EP + EPLB
DSpark 與信心排程驗證
SWA 有界重放
非同步排程（零開銷批次排程器）
批次不變推理
確定性取樣
結構化輸出

功能細節與設定

最佳化核函式： FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, 以及自訂 TileLang kernels.
DSpark 與信心排程驗證：使用草稿 token 加速解碼，並以信心估值排程驗證。設定 DEEPINFER_ENABLE_MTP_VARLEN=1；DEEPINFER_USE_NEXTN_DECODE 控制最大草稿長度（預設：5）。
解碼器 SWA 有界重放：透過僅重放有界字尾來減少解碼器預填工作。設定 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 和 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 為預設 V4.1 設定；保留的字尾必須涵蓋 SWA 視窗加上最大回溯長度。
非同步排程：將 CPU 批次排程與裝置執行重疊。預設啟用。
批次不變推理：保持不同批次組合下模型結果相同。使用 DEEPINFER_BATCH_INVARIANT=1 啟用（僅 NVIDIA）。
確定性取樣：對相同輸入 token 與取樣引數產生相同輸出。設定 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0 並將固定 seq_seed 傳給 SamplingParams（僅 NVIDIA）。
結構化輸出：將生成限制於正規表示式、JSON schema 或 EBNF 文法。傳遞 so_args={"schema_type": ..., "schema": ...} 至 SamplingParams；參見範例。

支援硬體：

NVIDIA SM100 GPUs
Huawei Ascend 950 NPUs

完整推理服務所需（此版本不包含）：

KV 快取系統
VE/預填/解碼拆分（大部分所需引擎功能已實作）
在預填與解碼的資料並行副本之間進行負載平衡

快速上手

先決條件

Linux
GCC >= 13.0
Python 3.12
CUDA 13 (NVIDIA only)
CANN 9.2 (Ascend only)

由原始碼編譯

在編譯 DeepInfer 前，請建立並啟動一個空白 Python 3.12 環境。

# Use `ascend` instead for the Ascend platform
# Keep it exported in the environment where you run DeepInfer
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

離線推理

預設檢查點，deepseek-ai/DeepSeek-V4.1-Flash-1017，會在首次執行時下載至 Hugging Face 快取；若要從本機副本執行，請設定 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017。

python examples/offline_inference.py

參見範例以獲得詳細資訊。

效能基準

預填	解碼

在 4 臺 SM100 GPU 上測試預填，64 臺 GPU 測試解碼——每項皆在同一擴充領域內。欲重現基準，請參閱 run_sweep.sh。

評估基準

參見 eval/README.md。

授權

DeepInfer 授權為 Apache License 2.0。詳情請參閱 LICENSE。

致謝

DeepInfer 最初主要基於 vLLM 建構，並受 SGLang 與 TensorRT-LLM 的額外啟發。感謝他們的開發者。

引用

@misc{deepinfer2026,
  title = {DeepInfer: High-performance, large-scale inference framework for DeepSeek models},
  author = {DeepSeek-AI},
  year = {2026},
  publisher = {GitHub},
  howpublished = {\url{https://github.com/deepseek-ai/DeepInfer}},
}