DeepSeek 釋出 DeepInfer 推理引擎與 deepseek-recipe 開源
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 導讀
DeepSeek 釋出了 DeepInfer 推理引擎與 deepseek-recipe，讓自託管模型能以更低成本、更快速度執行。
- 核心功能：DeepInfer 基於 vLLM，提供最佳化計算核心、分散式多晶片處理及更快文本生成。
推薦理由
DeepSeek 釋出 DeepInfer 與 deepseek-recipe，讓自託管模型能以更低成本、更快速度執行，並藉由 vLLM 最佳化與多晶片分佈處理，對 AI 服務成本構成挑戰。
信源出處the-decoder.com
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
本文為 888news AI 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： The Decoder (the-decoder.com)
開啟原文