DeepSeek 發布 DeepInfer：開源高效推理框架，日處理 155T tokens，利潤率 80%
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 導讀
DeepInfer 是 DeepSeek 的全新開源推理框架，支援 NVIDIA SM100 GPU 與 Huawei Ascend 950 NPU，並以 155 trillion tokens/day 的吞吐量與 80% 的推理利潤率為核心。
推薦理由
DeepSeek 釋出全新開源推理框架，揭示 155T tokens/day 的高吞吐與 80% 利潤率，對工程師評估推理效能與成本結構具有參考價值。
信源出處latent.space
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
本文為 888news AI 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Latent Space (latent.space)
開啟原文