Qwen4-Max 開放 API 使用,llama.cpp 升上 1.0.0,80B 模型也能在手機上跑
Qwen4-Max Lands in API, llama.cpp Hits 1.0.0, and 80B Models Run on Mobile Devices
重點導讀
Qwen4-Max 已開放正式 API 使用,能一次讀進 1 million 個 token,輸入每 million 個 token 收 $1.50,輸出每 million 個 token 收 $4.50。llama.cpp 則升到 1.0.0,但 C API 有幾處改動,舊程式可能需要調整。另一個開源工具 smolmaxxing,讓一支 OnePlus Nord CE 2 手機跑起 80B 模型,速度約每秒 2.6 到 3.1 個 token,最高使用約 5 GB 記憶體。這些進展讓大型模型不只能透過網路服務使用,也開始能在手機等裝置上運作。不過,手機跑模型仍然很慢;使用 API 時,如果讓模型產生太多內容,費用也可能增加。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Qwen4-Max Lands in API, llama.cpp Hits 1.0.0, and 80B Models Run on Mobile Devices
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文