SGLang 在發布當天支援千問 Qwen3.8-Flash-Next
Qwen3.8-Flash-Next: Day-0 Support in SGLang
重點導讀
長文本會增加模型處理內容和讀取記憶體的負擔。
- 千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段。
- 另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。
信源出處lmsys.org
Qwen3.8-Flash-Next: Day-0 Support in SGLang
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: LMSYS Org Blog (lmsys.org)
開啟原文