DeepSeek 釋出 DeepInfer 推理引擎與 deepseek-recipe 開源
DeepSeek 釋出了 DeepInfer 推理引擎與 deepseek-recipe,讓自託管模型能以更低成本、更快速度執行。 - 核心功能:DeepInfer 基於 vLLM,提供最佳化計算核心、分散式多晶片處理及更快文本生成。
推薦理由:DeepSeek 釋出 DeepInfer 與 deepseek-recipe,讓自託管模型能以更低成本、更快速度執行,並藉由 vLLM 最佳化與多晶片分佈處理,對 AI 服務成本構成挑戰。