重點導讀
@thinkymachines Inkling 2 Small 從第一天起就能在 vLLM 上執行 🚀
總計 594B/啟用 17B 的 MoE,輸入支援文字與圖片、上下文最長 1M,並搭載原生 DSpark 推測器。Experts 採用 NVFP4/MXFP8,因此可在單一 GB200/GB300 節點上執行。
TP4 下每位使用者最高可達 630 tok/s。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
vLLM@vllm_project
·10 天前
@thinkymachines Inkling 2 Small runs on vLLM from day 0 🚀
594B total / 17B active MoE, text + image in, up to 1M context, with a native DSpark speculator. Experts are NVFP4/MXFP8, so it fits on one GB200/GB300 node.
Up to 630 tok/s per user at TP4.
推文來源 · X (Twitter)在 X 參與討論