跳到正文
Dev.to Top Tech(dev.to)· GitHubOpenSource·· 6 天前品質評分49

Qwen4-Max 開放 API 使用,llama.cpp 升上 1.0.0,80B 模型也能在手機上跑

Qwen4-Max Lands in API, llama.cpp Hits 1.0.0, and 80B Models Run on Mobile Devices

重點導讀

Qwen4-Max 已開放正式 API 使用,能一次讀進 1 million 個 token,輸入每 million 個 token 收 $1.50,輸出每 million 個 token 收 $4.50。llama.cpp 則升到 1.0.0,但 C API 有幾處改動,舊程式可能需要調整。另一個開源工具 smolmaxxing,讓一支 OnePlus Nord CE 2 手機跑起 80B 模型,速度約每秒 2.6 到 3.1 個 token,最高使用約 5 GB 記憶體。這些進展讓大型模型不只能透過網路服務使用,也開始能在手機等裝置上運作。不過,手機跑模型仍然很慢;使用 API 時,如果讓模型產生太多內容,費用也可能增加。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Qwen4-Max Lands in API, llama.cpp Hits 1.0.0, and 80B Models Run on Mobile Devices

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論