跳到正文
aihot(aihot.news)· noreply@aihot.news (Hacker News:AI 熱帖)·· 10 天前精選品質評分87

Edge0 開源 Edge0-145B 與 Edge0-120B,推出統一推理框架

Edge0 開源 145B 端側模型,可在筆記本本地執行

重點導讀

Edge0 開源 Edge0-145B、Edge0-120B,並發布統一推理框架與部署工具;公司稱 Edge0-145B 可在相容筆記型電腦上本機執行。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

原文列出 Edge0-145B 的基準分數、記憶體與解碼速度,並說明部分基線資料為估算,便於評估其端側部署表現與比較範圍。

正文

Hacker News:AI 熱帖· sroussey·2026-11-13 02:00· 8 小時前精選AI 評分76

Edge0-145B: Frontier AI Capabilities on Your Own Computer

AI 導讀

Edge0 宣佈開源 Edge0-145B 與 Edge0-120B 模型及統一推理框架和部署工具,稱 Edge0-145B 是首個可在個人電腦本地執行的 145B 引數開源模型。

推薦理由

原文給出具體基準分數、記憶體和速度實測資料,並開源了權重和推理框架,讀者可據此評估端側大模型的實際可用性。

今天,我們開源了 Edge0-145B 和 Edge0-120B,同時釋出統一的推理框架和部署工具。Edge0-145B 是全球首個開源的 1450 億引數端側 AI 模型,把足以比肩前沿雲端模型的程式設計、推理和AI 助理能力,帶到了你自己的電腦上。

長期以來,端側 AI 一直被迫在模型能力和硬體可執行性之間做取捨。模型越大,對記憶體、頻寬和功耗的要求越高;模型越小,又難以勝任複雜任務。把這類工作放到雲端,則會帶來模型服務商費用、資料處理限制以及對網路的依賴。

本次釋出從四個方面應對這些限制:

限制 Edge0-145B 帶來的可能
大模型難以在個人硬體上執行。 145B 模型可在相容的筆記型電腦上本地執行,報告峰值記憶體為 29GB,解碼速度超過 80 tokens/s。
端側小模型在高難度任務上可能力不從心。 程式設計、推理和指令遵循的表現可與特定的前沿雲端模型競爭,具體對比見下文。
一個有用的助手需要把活幹完,而不只是回答問題。 該模型能規劃、編寫並執行程式碼,除錯錯誤,並通過視覺檢查結果,適用於 3D 場景、遊戲、硬體程式和 PCB 設計等專案。
雲端工作流會帶來持續費用、敏感資料限制和網路依賴。 本地推理不產生相應的雲端模型 token 或 API 費用;資料可以留在電腦上,核心能力在離線狀態下仍可正常使用。硬體和電費仍然要花錢。

我們釋出完整技術棧,讓開發者能夠復現結果、評估或微調模型,並將其整合到自己的產品中。

獲取模型權重,瞭解推理框架,或試用 Edge0 App。

我們如何讓 100B+ 引數 AI 在個人電腦上執行

Edge0-145B 筆記本效能:記憶體、速度與功耗

Edge0-145B 讓 1450 億引數的模型在個人筆記本上變得可用。一個有用的本地模型必須能裝進記憶體、及時處理提示詞、生成速度足夠快,並且把功耗控制在合理範圍內。它還需要能支撐較長的任務。

要求 Edge0-145B 報告結果 帶來的能力
記憶體 29GB 峰值記憶體 可在相容的個人筆記本(如 MacBook Pro)上執行,無需伺服器。
提示詞處理 1,100+ tokens/s 預填充 在開始生成前處理長提示詞,包括數十頁程式碼。
生成 80+ tokens/s 解碼 生成速度快於人的閱讀速度。
功耗 典型功耗約 120W 在報告所述配置下可持續執行而不降頻。
長任務 128K–256K 上下文 在長輸入下基本保持相同速度,支援長時間工作。

我們此前釋出的 Edge0-35B 手機版報告峰值記憶體低於 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 使用約 2.5GB 記憶體,達到 37+ tokens/s。Edge0-145B 的引數規模約為其四倍;其筆記本對比報告為 80+ tokens/s 和 28GB 峰值記憶體。這些測量結果針對不同的模型和硬體。

Image

端側模型規模隨時間的變化。圖表涵蓋來自 14 個實驗室的 67 個引數量至少 1B 的開放模型,面向手機、筆記型電腦和 AI PC。同尺寸的基礎版、指令版和推理版只計一次;每條線追蹤一個實驗室最大的模型,包括 2025 年 7 月之前的釋出。實心點表示新高,空心點表示其他釋出。40B 以下采用對數刻度,以上採用線性刻度。Apple 因未公開權重而被排除。來源:廠商公告和模型卡。

端側模型為何一直做不大

在 2026 年 9 月之前,記憶體限制使大多數端側模型的引數量低於 10B。Apple Intelligence 的端側基礎模型約有 3B 引數,Google 的 Gemini Nano 則有 1.8B 和 3.25B 兩個版本。即便是 7B 模型,也可能佔用約 4GB 記憶體。

更大的模型撞上了記憶體牆。模型權重佔用儲存空間,生成時必須讀取,會與作業系統和其他應用爭搶有限的記憶體和頻寬。即便經過激進壓縮的 35B 模型,也可能需要約 20GB 記憶體,遠超手機所能提供的水平。

算力、頻寬和功耗構成了相互制約的約束。更大的模型能力更強,卻會擠壓記憶體容量、生成速度和續航。把模型做小有助於裝進裝置,但往往要以能力為代價。

僅靠隱私無法彌合這一差距。Apple Intelligence 保護了使用者資料,但 Apple 承認其端側模型並非為需要通用世界知識的AI 助理應用而設計。當時的普遍假設是,端側智慧無法與雲端匹敵。

Edge0 的內部設計:模型與推理設計的四個層面

我們同時設計了 Edge0-145B 及其推理引擎,以減少讓大模型難以在本地執行的記憶體佔用和資料搬運。設計涵蓋架構、訓練、載入和排程。

架構:在稀疏專家之間共享大矩陣。共享矩陣能大幅減少需要儲存和搬運的權重,同時保持專家數量不變。每 64 個專家共享兩個大矩陣,每個專家則保留一小組引數來體現自身差異。此前,每個專家都儲存一整套矩陣。在模型 145B 的總引數中,每次推理步驟只有約 10B 參與計算。

訓練:從第一天起就為本地執行而構建。我們從一開始就按端側架構訓練模型,把部署約束融入設計。這樣就無需在訓練完雲端模型後,再把本地部署當作壓縮或剪枝步驟來處理。

載入:讓 GPU 記憶體、系統記憶體和 SSD 訪問形成流水線。讀取和計算在三個儲存層級之間重疊進行,避免序列等待。常用的“熱專家”常駐 GPU 記憶體。約 40GB 的專家庫放在系統記憶體中,按需將專家調入 GPU 記憶體。約 48GB 的詞表資料存放在 SSD 上,按需讀取。

排程:讓 CPU 和 GPU 協同工作。GPU 計算已快取的專家,CPU 並行處理剩餘工作。投機解碼一次驗證多個候選 token,把讀取權重的成本分攤到更多輸出 token 上。這些選擇支撐了所報告的 80+ tokens/s 解碼速度。

Image

模型與推理引擎的協同設計,讓 100B+ 引數模型在個人電腦上推理成為現實。來源:內部測試。

這些改進疊加起來,讓引數量從數百億增長到一千億以上,而記憶體佔用、功耗和延遲並沒有成比例上升。

Edge0 能做什麼:從聊天到在電腦上完成複雜工作

Edge0-145B 能把一項複雜任務推進到可用的結果。它的程式設計和推理能力可以支撐本地工作流,把規劃、工具呼叫、執行、除錯和視覺檢查串起來。基準測試證明了它的能力,演示則展示了它如何把這些能力用起來。

程式設計與推理能力比肩前沿雲端模型

在程式設計、推理、知識和指令遵循方面,Edge0-145B 與若干前沿雲端模型不相上下:

  • 程式設計:它在 DeepSWE 1.1 上得分 64.6,高於 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
  • 推理與知識:它在 GPQA-Diamond 上得分 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
  • 指令遵循:它在 IFBench 上得分 80.6,高於 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。

它在 Terminal-Bench 2.1 上的 86.52 也超過了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上,Edge0-145B 得分為 79.3,Claude 為 78.0。這些對比僅適用於所列模型和評測。

模型 DeepSWE 1.1 Terminal-Bench 2.1 HLE GPQA-Diamond IFBench AA-LCR
Edge0-145B 64.6 86.52 35.4 90.4 80.6 79.3
Edge0-120B 53.6 81.3 31.0 87.4 79.3 81.0
Qwen3.8-Flash-Next 58.7 83.3 35.9 91.7 81.3 79.1
Qwen3.8-27B 42.2 73.0 30.8 89.2 79.5 82.0
DeepSeek-V4-Flash-0731 54.4 82.7 33.8 90.8 79.2 79.7
Flint 40B — 54.9 — — 89.2 —
Muse Glimmer — 51.7 22.0 83.5 77.0 83.3
Gemma 4 — 43.4 22.7 85.7 76.0 62.0
Claude-Opus-4.6 \(Max\) — 78.2 40.0 91.3 62.5 78.0

得分為百分比,越高越好。短橫線表示沒有公開得分,而不是得分為零。

Edge0、Qwen、DeepSeek 和 Claude 的結果來自 Edge0 的內部評測。Claude-Opus-4.6 沒有公開的 DeepSWE 1.1 得分。Flint、Muse Glimmer 和 Gemma 4 的 Terminal-Bench 2.1 與 IFBench 結果來自 Recursive Flint 評測;HLE、GPQA 和 AA-LCR 結果來自 Artificial Analysis。

相比主流端側模型基線 Qwen3.8-27B,提升最大的是AI 助理和程式設計任務:Terminal-Bench 提升 18.5%,DeepSWE 提升 53.1%。HLE、GPQA 和 IFBench 的相對提升分別為 14.9%、1.3% 和 1.4%。

DeepSWE 1.1 和 Terminal-Bench 2.1 評測AI 助理與程式設計任務,HLE、GPQA-Diamond 和 IFBench 覆蓋推理、知識和指令遵循。完整的評測設定、硬體環境和復現說明將隨技術報告一併釋出。

Image

能力有競爭力,記憶體佔用更小

Edge0-145B 在六項基準測試上平均得分 72.8,實測峰值記憶體 29GB。Qwen3.8-Flash-Next 平均 71.7,標準 4-bit 部署的估計佔用約 70GB。也就是說,Edge0-145B 的記憶體約為該基線估計值的 40%,能力卻相當或更高,因此可以在一臺 48GB 的筆記本上本地執行。

模型 六項基準測試平均值 記憶體佔用 \(實測或估計\)
Edge0-145B 72.8 29GB
Edge0-120B 68.9 29GB
Qwen3.8-27B 66.1 約 18GB*
Qwen3.8-Flash-Next 71.7 約 70GB*
DeepSeek-V4-Flash-0731 70.1 約 87GB*

這些指標涵蓋 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的記憶體資料為內部實測峰值。帶星號的基線資料是標準 4 位部署的估算值,尚待實測。Claude 未納入對比,因為它僅提供雲端服務,且沒有 DeepSWE 分數。

Image

[Figure: 質量與峰值記憶體對比圖,標註了 48GB 筆記本和 64GB 工作站的容量。記憶體越低、分數越高越好;圖表縱軸並非從零開始。]

能規劃、寫程式碼、執行並檢查工作的本地AI 助理

一句自然語言請求就能啟動整套本地工作流。Edge0-145B 會拆解需求、規劃步驟、編寫程式碼,並呼叫工具執行。一旦出錯,它會除錯並修復程式碼,然後截圖檢查結果,不斷迭代直到任務完成。

這類專案往往需要幾十輪規劃、執行和審查。本地推理意味著這些額外的對話、程式碼修改和視覺分析不會產生相應的雲端模型 token 或 API 費用。程式碼和資料可以留在本機,核心模型能力離線也能用。

影片製作:一小時內生成特斯拉 Roadster 講解影片

Edge0-145B 製作了一支講解 Roadster 如何飛行的影片,涵蓋技術調研、指令碼撰寫、素材生成和剪輯。我們要求它把原理講得讓普通觀眾也能聽懂。模型全程本地執行,沒有呼叫雲端模型,也不消耗雲端 token,省去了推理的網路往返。

影片在一小時內生成。若由人工完成同等質量的工作,需要導演兼編劇、3D 建模師、剪輯師和物理學專家花上一個月。此前的 AI 影片工作流成本可能超過數百美元;本地推理免去了相應的雲端模型 token 和 API 費用。

3D 建模:在 Blender 中搭建曼哈頓城市場景

Edge0-145B 在一小時內搭建了一個曼哈頓 3D 場景。它在 Blender 中依據文字和參考圖片構建場景、調整材質與燈光,並針對渲染結果反覆迭代。

這套工作流把視覺檢查、程式碼生成和修改都整合在 Blender 內。模型能處理物體、空間關係和創作目標,而不只是參考圖片裡的畫素。它會檢查結果、編寫程式碼並做出修改,無需把這些步驟交回給人。整個過程都在本地完成。

人工製作曼哈頓規模的城市場景通常要花費約 12,000-18,000 美元,且至少需要一個月。領先的雲端模型仍會產生超過 150 美元的雲端 token 費用。Edge0-145B 在本地完成推理,無需這些雲端模型 token 費用。

遊戲開發:可玩的遊戲與中世紀城市

Edge0-145B 能在本地製作可玩的遊戲。我們還利用它的 3D 建模能力,為一款奇幻 RPG 搭建了一座原創中世紀都城,並渲染出達到遊戲預告片水準的 20 秒飛越鏡頭。

模型獨立規劃了這座城市,並在 Blender 中從零搭建:城牆、一千多棟老城民居、廣場噴泉、哥特式雙塔立面、肋拱中殿和彩色玻璃窗。

固定的相機路徑讓錯誤無處遁形。幾何穿模、遮擋或比例失調都會在這條路線上暴露出來,因此模型一邊生成一邊檢查渲染結果,發現問題就修正。整個工作流完全在本地執行。

一個領先的雲端模型在相同提示詞、參考圖和相機路線下,完成一次生成需要數百次工具呼叫和數億個 token。Edge0-145B 則在一臺筆記型電腦上完成了同樣的任務,本地推理不產生雲端模型的 token 費用或 API 費用。而美術團隊通常要花上數週時間和數千美元,才能做出這種水準的城市場景。

硬體控制:讓真實無人機飛起來的程式碼

Edge0-145B 只憑一句指令就寫出了真實無人機的程式:“寫一個無人機程式,讓它穿過障礙物並找到紅色背包。”

它在本地生成了飛行控制和視覺識別程式。隨後無人機在室內起飛,穿過一排密集的障礙杆,自主搜尋,並在牆邊找到了紅色背包。整個任務沒有人工編寫程式碼,也沒有呼叫雲端。

硬體開發者只需描述想要的行為,模型就能把它變成真實裝置上的程式,不必在編輯器、文件和除錯工具之間反覆切換。

PCB 設計:從 KiCad 佈局到裝配動畫

Edge0-145B 完成了一次 PCB 設計,從元件擺放一直做到裝配視覺化。我們讓它為自己設計一塊電路板。它從零開始在 KiCad 中操作,擺放元件,完成一塊雙層板的佈線,再把設計匯入 Unreal Engine 5,設定相機和燈光,渲染出一段 PCB 製造與裝配的動畫。

過去需要硬體工程師和 3D 設計師來回交接好幾天的活,現在一臺電腦就能完成。原理圖和電路板佈局可以留在團隊自己的硬體上,滿足商業秘密保護和資料處理要求,無需把設計上傳到雲端模型。

為什麼做 Edge0:端側 AI 的全棧能力

有用的端側 AI 需要模型研發、推理工程和硬體適配協同發力。我們的進展建立在三項能力之上:快速開發互補的模型、最佳化全棧,以及把每次部署的經驗帶到下一次。

我們 9 月釋出的 Edge0-35B 展示了這條路子在手機上能做到什麼。釋出帖在海外社群沒有付費推廣,第一天瀏覽量就超過 120 萬。OpenAI、NVIDIA、高通等公司的研究人員和技術專家轉發了它,模型登上 Hugging Face 總榜 Trending 第一。

我們同時釋出了模型權重和統一推理框架,讓企業和研究者有一套可復現的標準做法。這次釋出推動端側 AI 的討論從幾十億引數級別邁向了 35B 級別。

面向端側 AI 的四大模型系列

過去一年,我們釋出了四個系列共 200 個模型。每個系列負責不同環節,從聽和說,到快速決策、記憶和複雜AI 助理任務。

模型系列 作用 模型與能力
Edge0 複雜AI 助理任務與 vibe coding 面向筆記本的 145B 和 120B 模型;面向手機的 35B 和 8B 模型。筆記本模型支援 vibe coding,手機模型支援AI 助理任務。
Audio8 聽與說 ASR-Infinite 以及 3B、0.6B、0.1B 語音識別模型;0.6B 和 0.1B 語音合成模型;以及用於端到端語音互動的 0.1B Chat 模型。
Decision0 快速決策 0.6B 和 3B 模型覆蓋文本、語音和視覺,多模態決策耗時約 40 毫秒。
Embedding0 記憶 一款 0.6B 多模態嵌入模型,支援文本、語音、影像、影片和檔案,可實現本地長期記憶與檢索增強生成(RAG)。

Image

產品組合覆蓋數千萬到超過一千億引數。Edge0 和 Audio8 均已登上 Hugging Face Trending 榜首。

模型與推理系統協同設計

我們同步開發模型和推理框架,把硬體約束納入訓練過程,並針對不同晶片最佳化推理引擎。這樣就把模型能力與本地執行所需的軟硬體打通了。

這項工作需要模型開發、推理框架和底層硬體適配三方面的專業能力。只專注模型開發的公司很難複製這種組合。

硬體最佳化成果可複用到每一次部署

每一次部署都會為下一款晶片、模型或產品留下可複用的最佳化。這一點很重要,因為端側硬體高度碎片化:NPU 架構各不相同,對 INT4、INT8、FP4 等數值格式的支援也不一樣。通用模型無法自動充分利用每一款晶片。

我們會針對各個平臺做適配。目前產品組合已覆蓋 95% 的主流晶片平臺,包括高通、BES、瑞芯微、全志、D-Robotics 和 NVIDIA,橫跨耳機、眼鏡、手機、PC 和機器人。這是產品組合層面的覆蓋;不同模型的要求各異,並不意味著每臺裝置都能執行 Edge0-145B。

這些部署工作現已覆蓋超過 500 萬臺量產裝置。我們的開源模型在三個月內下載量突破 1500 萬次。截至 2026 年 10 月,客戶組織已超過 11 萬家。

產品組合資料來自公司論文和內部測試,描述的是整個 Edge0 產品組合;本文中的 145B 效能結果僅針對 Edge0-145B。

Edge0-145B 首發即支援 macOS、Windows 和 Linux,包括 Apple M 系列晶片以及 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平臺。釋出內容包含一鍵部署工具和硬體指南。

端側 AI 與雲端的未來

隨著本地模型能力逼近雲端水平,更復雜的工作也可以留在裝置上完成。隱私、成本控制和離線可用性一直是本地執行的優勢;剩下的問題只是端側模型能否勝任。Edge0-145B 擴大了它可以承擔的任務範圍。

為什麼更多 AI 工作可以留在本地

本地執行解決了採用純雲端 AI 的四個現實障礙:

  • 控制雲端模型成本。 隨著使用量增長,本地推理不會產生相應的雲端模型 token 或 API 費用。
  • 讓敏感資料留在本地。 程式碼、文件和業務記錄可以留在硬體上,讓團隊掌控資料處理方式。
  • 保持流暢體驗。 模型與推理引擎的設計會統籌考慮響應速度、功耗、系統流暢度和持續執行。
  • 核心能力可離線使用。斷網時本地任務照常進行;依賴線上資訊或服務的功能仍需聯網。

從雲端優先到更復雜的端側工作

我們認為裝置與雲端的分工正在經歷三個階段。

2026年9月之前:雲端優先,端側輔助。Apple Intelligence 就處於這一階段:它保護了隱私,但本地只能處理有限的任務,更繁重的工作仍依賴雲端能力。

Edge0-35B 於9月10日釋出之後:日常任務在本地,複雜任務在雲端。本地模型可以承接需要即時響應的頻繁請求。以一家領先的耳機廠商為例,我們的混合方案目前有92%的 AI 使用在端側完成,8%在雲端。在消費級可穿戴裝置上,日常對話佔了大多數用例。

有了 Edge0-145B:邁向端側優先,雲端輔助。Vibe coding 等複雜任務現在可以在個人電腦上執行,讓團隊有更大空間選擇本地執行。這擴大了可以留在裝置上的工作範圍,同時把雲端保留給需要它的任務和硬體。

Image

該圖展示了 AI 從雲端優先轉向日常任務本地化、再到更復雜工作本地化的過程。圖中色塊僅為示意,不代表實測使用佔比。

雲端 AI 仍然適用的場景

硬體限制仍然決定哪個模型能跑得起來。算力、散熱和續航都很關鍵:Edge0-35B 可在手機上執行,Edge0-145B 則要搭載在配置合適的筆記型電腦上。算力極低的裝置目前無法在本地執行145B 模型,它需要適配自身硬體的更小模型,或者通過雲端訪問這一規模的模型。

跨裝置的長期記憶,以及需要高度即時資訊的搜尋,仍然依賴雲服務。本地模型和雲端模型可以協同工作;如何分工取決於任務、硬體以及所需的資訊。

我們的目標是讓本地執行成為繁重工作的實用選擇,用一個能力足夠的模型在使用者身邊持續工作。這是朝著“讓智慧零距離觸達每個人”這一目標邁出的下一步。

開始使用 Edge0

下載模型在本地執行、評估或微調,並整合到你自己的產品中:

如需硬體或產品整合,可通過 GitHub 或 contact@autoark.ai 聯絡 Edge0 團隊。

來源:Hacker News:AI 熱帖 · edge0.ai

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論