跳到正文
𝕏 vLLM(x.com)·· 5 天前品質評分57
重點導讀

部署新模型時,常要等推論工具完成整合才能開始使用。

  • vLLM 宣佈在 Hy4 flash 推出當天就提供支援,並附上 Docker 映像檔和部署配方。Hy4 flash 支援 1M-token 上下文,可理解研究資料、檔案、投影片和電腦操作內容。
  • 模型共有 224B 引數,其中 12B 會在運作時啟用。這讓使用者能透過 vLLM,在 NVIDIA GPU 上部署 Hy4 flash。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

vLLM
vLLM@vllm_project
·5 天前
𝕏

🎉 Day-0 support for @TencentHunyuan’s Hy4 flash is here in vLLM!

A 1M-token context and multimodal understanding for research, documents, slides and computer use.

224B total parameters, including 64B Engram, with 12B active. Hybrid attention, Latent MoE and Engram put efficiency at the center of the architecture.

Run Hy4 flash on @NVIDIA GPUs with vLLM, with integration work by @inferact. Get started with the release image and deployment recipe:

Docker image: vllm/vllm-openai:hy4-flash
Recipe: https://t.co/J3SSwNPj8p

推文來源 · X (Twitter)在 X 參與討論
來源: vLLM (x.com)
在 X 查看推文

讀者討論

理性交流 · 即時討論