跳到正文
𝕏 ModelScope(x.com)·· 7 天前精選品質評分76
重點導讀

大型模型通常需要很多運算資源,Edge0-145B則主打能在單張消費級 GPU 上本機執行。

  • 它採用稀疏架構,每個 token 只啟用 10.12B 個引數。
  • 原文列出的 RTX 5090 D 24GB 測試中,Q3_K 版本每秒可處理 121.2 個 token。Edge0-145B在 Terminal-Bench 2.1 得分 86.5,在 DeepSWE 1.1 得分 64.6。
  • 若偏好更快的版本,Edge0-120B每個 token 啟用 8.64B 個引數。兩款模型都提供 Q3_K 和 NVFP4 版本,透過 Edge0 專用的本機執行環境部署。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Edge0-145B以稀疏架構減少每個 token 啟用的引數,並列出單張 RTX 5090 D 上的速度與測試成績,可瞭解它如何兼顧模型規模和本機部署。

ModelScope
ModelScope@ModelScope2022
·7 天前
𝕏

Edge0-145B brings 145B-scale agent capabilities to a single consumer GPU, with 10.12B active parameters per token and 256K context.
🤖 https://t.co/chZsBnmPWP

🏆Strong agent results: In Edge0’s reported comparison, the 145B model tops the listed models on Terminal-Bench 2.1 with 86.5, while reaching 64.6 on DeepSWE 1.1.
⚡ 145B, running locally: The Q3_K build reports 121.2 tok/s for agent decoding and 3,554.9 tok/s for 16K-token prefill on an RTX 5090 D 24GB.
🧠 Sparse by design: Its latent MoE architecture activates just 10.12B parameters per token across 512 experts, making a much larger model practical for local deployment.
🛠️ Pick the deployment fit: Edge0-145B prioritizes quality, while Edge0-120B offers a faster 8.64B-active alternative. Both are available in Q3_K and NVFP4 builds through Edge0’s dedicated local runtime.
📜 Edge0 Community Model License 1.0 applies to Edge0 contributions; upstream Qwen materials remain under the Qwen Community License 1.0.

推文來源 · X (Twitter)在 X 參與討論

讀者討論

理性交流 · 即時討論