跳到正文
𝕏 vLLM(x.com)·· 10 天前品質評分44
重點導讀

@thinkymachines Inkling 2 Small 從第一天起就能在 vLLM 上執行 🚀

總計 594B/啟用 17B 的 MoE,輸入支援文字與圖片、上下文最長 1M,並搭載原生 DSpark 推測器。Experts 採用 NVFP4/MXFP8,因此可在單一 GB200/GB300 節點上執行。

TP4 下每位使用者最高可達 630 tok/s。

https://t.co/pttGjbRNsk https://t.co/xYGsFjbqs5

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

vLLM
vLLM@vllm_project
·10 天前
𝕏

@thinkymachines Inkling 2 Small runs on vLLM from day 0 🚀

594B total / 17B active MoE, text + image in, up to 1M context, with a native DSpark speculator. Experts are NVFP4/MXFP8, so it fits on one GB200/GB300 node.

Up to 630 tok/s per user at TP4.

https://t.co/ptgGjbRNsk https://t.co/xYGsFjbqs5

推文來源 · X (Twitter)在 X 參與討論
來源: vLLM (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論