重點導讀
隨時掌握 vLLM 最新訊息。
vLLM 已在第一時間支援 @thinkymachines 的新款迴圈式 Inkling 模型。模型有 12 個共用核心層、3 次運算,並以閘控訊息串接各次運算。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
vLLM@vllm_project
·2 天前
Stay in the loop with vLLM.
Day-0 vLLM support for @thinkymachines’ new looped Inkling model has landed. 12 shared core layers, 3 passes, and gated messages from one pass to the next.
推文來源 · X (Twitter)在 X 參與討論