Edge0 開源 Edge0-145B 與 Edge0-120B,推出統一推理框架
Edge0 開源 145B 端側模型,可在筆記本本地執行
Edge0 開源 Edge0-145B、Edge0-120B,並發布統一推理框架與部署工具;公司稱 Edge0-145B 可在相容筆記型電腦上本機執行。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
原文列出 Edge0-145B 的基準分數、記憶體與解碼速度,並說明部分基線資料為估算,便於評估其端側部署表現與比較範圍。
Hacker News:AI 熱帖· sroussey·2026-11-13 02:00· 8 小時前精選AI 評分76
Edge0-145B: Frontier AI Capabilities on Your Own Computer
AI 導讀
Edge0 宣佈開源 Edge0-145B 與 Edge0-120B 模型及統一推理框架和部署工具,稱 Edge0-145B 是首個可在個人電腦本地執行的 145B 引數開源模型。
推薦理由
原文給出具體基準分數、記憶體和速度實測資料,並開源了權重和推理框架,讀者可據此評估端側大模型的實際可用性。
今天,我們開源了 Edge0-145B 和 Edge0-120B,同時釋出統一的推理框架和部署工具。Edge0-145B 是全球首個開源的 1450 億引數端側 AI 模型,把足以比肩前沿雲端模型的程式設計、推理和AI 助理能力,帶到了你自己的電腦上。
長期以來,端側 AI 一直被迫在模型能力和硬體可執行性之間做取捨。模型越大,對記憶體、頻寬和功耗的要求越高;模型越小,又難以勝任複雜任務。把這類工作放到雲端,則會帶來模型服務商費用、資料處理限制以及對網路的依賴。
本次釋出從四個方面應對這些限制:
| 限制 | Edge0-145B 帶來的可能 |
|---|---|
| 大模型難以在個人硬體上執行。 | 145B 模型可在相容的筆記型電腦上本地執行,報告峰值記憶體為 29GB,解碼速度超過 80 tokens/s。 |
| 端側小模型在高難度任務上可能力不從心。 | 程式設計、推理和指令遵循的表現可與特定的前沿雲端模型競爭,具體對比見下文。 |
| 一個有用的助手需要把活幹完,而不只是回答問題。 | 該模型能規劃、編寫並執行程式碼,除錯錯誤,並通過視覺檢查結果,適用於 3D 場景、遊戲、硬體程式和 PCB 設計等專案。 |
| 雲端工作流會帶來持續費用、敏感資料限制和網路依賴。 | 本地推理不產生相應的雲端模型 token 或 API 費用;資料可以留在電腦上,核心能力在離線狀態下仍可正常使用。硬體和電費仍然要花錢。 |
我們釋出完整技術棧,讓開發者能夠復現結果、評估或微調模型,並將其整合到自己的產品中。
我們如何讓 100B+ 引數 AI 在個人電腦上執行
Edge0-145B 筆記本效能:記憶體、速度與功耗
Edge0-145B 讓 1450 億引數的模型在個人筆記本上變得可用。一個有用的本地模型必須能裝進記憶體、及時處理提示詞、生成速度足夠快,並且把功耗控制在合理範圍內。它還需要能支撐較長的任務。
| 要求 | Edge0-145B 報告結果 | 帶來的能力 |
|---|---|---|
| 記憶體 | 29GB 峰值記憶體 | 可在相容的個人筆記本(如 MacBook Pro)上執行,無需伺服器。 |
| 提示詞處理 | 1,100+ tokens/s 預填充 | 在開始生成前處理長提示詞,包括數十頁程式碼。 |
| 生成 | 80+ tokens/s 解碼 | 生成速度快於人的閱讀速度。 |
| 功耗 | 典型功耗約 120W | 在報告所述配置下可持續執行而不降頻。 |
| 長任務 | 128K–256K 上下文 | 在長輸入下基本保持相同速度,支援長時間工作。 |
我們此前釋出的 Edge0-35B 手機版報告峰值記憶體低於 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 使用約 2.5GB 記憶體,達到 37+ tokens/s。Edge0-145B 的引數規模約為其四倍;其筆記本對比報告為 80+ tokens/s 和 28GB 峰值記憶體。這些測量結果針對不同的模型和硬體。

端側模型規模隨時間的變化。圖表涵蓋來自 14 個實驗室的 67 個引數量至少 1B 的開放模型,面向手機、筆記型電腦和 AI PC。同尺寸的基礎版、指令版和推理版只計一次;每條線追蹤一個實驗室最大的模型,包括 2025 年 7 月之前的釋出。實心點表示新高,空心點表示其他釋出。40B 以下采用對數刻度,以上採用線性刻度。Apple 因未公開權重而被排除。來源:廠商公告和模型卡。
端側模型為何一直做不大
在 2026 年 9 月之前,記憶體限制使大多數端側模型的引數量低於 10B。Apple Intelligence 的端側基礎模型約有 3B 引數,Google 的 Gemini Nano 則有 1.8B 和 3.25B 兩個版本。即便是 7B 模型,也可能佔用約 4GB 記憶體。
更大的模型撞上了記憶體牆。模型權重佔用儲存空間,生成時必須讀取,會與作業系統和其他應用爭搶有限的記憶體和頻寬。即便經過激進壓縮的 35B 模型,也可能需要約 20GB 記憶體,遠超手機所能提供的水平。
算力、頻寬和功耗構成了相互制約的約束。更大的模型能力更強,卻會擠壓記憶體容量、生成速度和續航。把模型做小有助於裝進裝置,但往往要以能力為代價。
僅靠隱私無法彌合這一差距。Apple Intelligence 保護了使用者資料,但 Apple 承認其端側模型並非為需要通用世界知識的AI 助理應用而設計。當時的普遍假設是,端側智慧無法與雲端匹敵。
Edge0 的內部設計:模型與推理設計的四個層面
我們同時設計了 Edge0-145B 及其推理引擎,以減少讓大模型難以在本地執行的記憶體佔用和資料搬運。設計涵蓋架構、訓練、載入和排程。
架構:在稀疏專家之間共享大矩陣。共享矩陣能大幅減少需要儲存和搬運的權重,同時保持專家數量不變。每 64 個專家共享兩個大矩陣,每個專家則保留一小組引數來體現自身差異。此前,每個專家都儲存一整套矩陣。在模型 145B 的總引數中,每次推理步驟只有約 10B 參與計算。
訓練:從第一天起就為本地執行而構建。我們從一開始就按端側架構訓練模型,把部署約束融入設計。這樣就無需在訓練完雲端模型後,再把本地部署當作壓縮或剪枝步驟來處理。
載入:讓 GPU 記憶體、系統記憶體和 SSD 訪問形成流水線。讀取和計算在三個儲存層級之間重疊進行,避免序列等待。常用的“熱專家”常駐 GPU 記憶體。約 40GB 的專家庫放在系統記憶體中,按需將專家調入 GPU 記憶體。約 48GB 的詞表資料存放在 SSD 上,按需讀取。
排程:讓 CPU 和 GPU 協同工作。GPU 計算已快取的專家,CPU 並行處理剩餘工作。投機解碼一次驗證多個候選 token,把讀取權重的成本分攤到更多輸出 token 上。這些選擇支撐了所報告的 80+ tokens/s 解碼速度。

模型與推理引擎的協同設計,讓 100B+ 引數模型在個人電腦上推理成為現實。來源:內部測試。
這些改進疊加起來,讓引數量從數百億增長到一千億以上,而記憶體佔用、功耗和延遲並沒有成比例上升。
Edge0 能做什麼:從聊天到在電腦上完成複雜工作
Edge0-145B 能把一項複雜任務推進到可用的結果。它的程式設計和推理能力可以支撐本地工作流,把規劃、工具呼叫、執行、除錯和視覺檢查串起來。基準測試證明了它的能力,演示則展示了它如何把這些能力用起來。
程式設計與推理能力比肩前沿雲端模型
在程式設計、推理、知識和指令遵循方面,Edge0-145B 與若干前沿雲端模型不相上下:
- 程式設計:它在 DeepSWE 1.1 上得分 64.6,高於 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理與知識:它在 GPQA-Diamond 上得分 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
- 指令遵循:它在 IFBench 上得分 80.6,高於 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。
它在 Terminal-Bench 2.1 上的 86.52 也超過了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上,Edge0-145B 得分為 79.3,Claude 為 78.0。這些對比僅適用於所列模型和評測。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
得分為百分比,越高越好。短橫線表示沒有公開得分,而不是得分為零。
Edge0、Qwen、DeepSeek 和 Claude 的結果來自 Edge0 的內部評測。Claude-Opus-4.6 沒有公開的 DeepSWE 1.1 得分。Flint、Muse Glimmer 和 Gemma 4 的 Terminal-Bench 2.1 與 IFBench 結果來自 Recursive Flint 評測;HLE、GPQA 和 AA-LCR 結果來自 Artificial Analysis。
相比主流端側模型基線 Qwen3.8-27B,提升最大的是AI 助理和程式設計任務:Terminal-Bench 提升 18.5%,DeepSWE 提升 53.1%。HLE、GPQA 和 IFBench 的相對提升分別為 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 評測AI 助理與程式設計任務,HLE、GPQA-Diamond 和 IFBench 覆蓋推理、知識和指令遵循。完整的評測設定、硬體環境和復現說明將隨技術報告一併釋出。

能力有競爭力,記憶體佔用更小
Edge0-145B 在六項基準測試上平均得分 72.8,實測峰值記憶體 29GB。Qwen3.8-Flash-Next 平均 71.7,標準 4-bit 部署的估計佔用約 70GB。也就是說,Edge0-145B 的記憶體約為該基線估計值的 40%,能力卻相當或更高,因此可以在一臺 48GB 的筆記本上本地執行。
| 模型 | 六項基準測試平均值 | 記憶體佔用 \(實測或估計\) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 約 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 約 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 約 87GB* |
這些指標涵蓋 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的記憶體資料為內部實測峰值。帶星號的基線資料是標準 4 位部署的估算值,尚待實測。Claude 未納入對比,因為它僅提供雲端服務,且沒有 DeepSWE 分數。

[Figure: 質量與峰值記憶體對比圖,標註了 48GB 筆記本和 64GB 工作站的容量。記憶體越低、分數越高越好;圖表縱軸並非從零開始。]
能規劃、寫程式碼、執行並檢查工作的本地AI 助理
一句自然語言請求就能啟動整套本地工作流。Edge0-145B 會拆解需求、規劃步驟、編寫程式碼,並呼叫工具執行。一旦出錯,它會除錯並修復程式碼,然後截圖檢查結果,不斷迭代直到任務完成。
這類專案往往需要幾十輪規劃、執行和審查。本地推理意味著這些額外的對話、程式碼修改和視覺分析不會產生相應的雲端模型 token 或 API 費用。程式碼和資料可以留在本機,核心模型能力離線也能用。
影片製作:一小時內生成特斯拉 Roadster 講解影片
Edge0-145B 製作了一支講解 Roadster 如何飛行的影片,涵蓋技術調研、指令碼撰寫、素材生成和剪輯。我們要求它把原理講得讓普通觀眾也能聽懂。模型全程本地執行,沒有呼叫雲端模型,也不消耗雲端 token,省去了推理的網路往返。
影片在一小時內生成。若由人工完成同等質量的工作,需要導演兼編劇、3D 建模師、剪輯師和物理學專家花上一個月。此前的 AI 影片工作流成本可能超過數百美元;本地推理免去了相應的雲端模型 token 和 API 費用。
3D 建模:在 Blender 中搭建曼哈頓城市場景
Edge0-145B 在一小時內搭建了一個曼哈頓 3D 場景。它在 Blender 中依據文字和參考圖片構建場景、調整材質與燈光,並針對渲染結果反覆迭代。
這套工作流把視覺檢查、程式碼生成和修改都整合在 Blender 內。模型能處理物體、空間關係和創作目標,而不只是參考圖片裡的畫素。它會檢查結果、編寫程式碼並做出修改,無需把這些步驟交回給人。整個過程都在本地完成。
人工製作曼哈頓規模的城市場景通常要花費約 12,000-18,000 美元,且至少需要一個月。領先的雲端模型仍會產生超過 150 美元的雲端 token 費用。Edge0-145B 在本地完成推理,無需這些雲端模型 token 費用。
遊戲開發:可玩的遊戲與中世紀城市
Edge0-145B 能在本地製作可玩的遊戲。我們還利用它的 3D 建模能力,為一款奇幻 RPG 搭建了一座原創中世紀都城,並渲染出達到遊戲預告片水準的 20 秒飛越鏡頭。
模型獨立規劃了這座城市,並在 Blender 中從零搭建:城牆、一千多棟老城民居、廣場噴泉、哥特式雙塔立面、肋拱中殿和彩色玻璃窗。
固定的相機路徑讓錯誤無處遁形。幾何穿模、遮擋或比例失調都會在這條路線上暴露出來,因此模型一邊生成一邊檢查渲染結果,發現問題就修正。整個工作流完全在本地執行。
一個領先的雲端模型在相同提示詞、參考圖和相機路線下,完成一次生成需要數百次工具呼叫和數億個 token。Edge0-145B 則在一臺筆記型電腦上完成了同樣的任務,本地推理不產生雲端模型的 token 費用或 API 費用。而美術團隊通常要花上數週時間和數千美元,才能做出這種水準的城市場景。
硬體控制:讓真實無人機飛起來的程式碼
Edge0-145B 只憑一句指令就寫出了真實無人機的程式:“寫一個無人機程式,讓它穿過障礙物並找到紅色背包。”
它在本地生成了飛行控制和視覺識別程式。隨後無人機在室內起飛,穿過一排密集的障礙杆,自主搜尋,並在牆邊找到了紅色背包。整個任務沒有人工編寫程式碼,也沒有呼叫雲端。
硬體開發者只需描述想要的行為,模型就能把它變成真實裝置上的程式,不必在編輯器、文件和除錯工具之間反覆切換。
PCB 設計:從 KiCad 佈局到裝配動畫
Edge0-145B 完成了一次 PCB 設計,從元件擺放一直做到裝配視覺化。我們讓它為自己設計一塊電路板。它從零開始在 KiCad 中操作,擺放元件,完成一塊雙層板的佈線,再把設計匯入 Unreal Engine 5,設定相機和燈光,渲染出一段 PCB 製造與裝配的動畫。
過去需要硬體工程師和 3D 設計師來回交接好幾天的活,現在一臺電腦就能完成。原理圖和電路板佈局可以留在團隊自己的硬體上,滿足商業秘密保護和資料處理要求,無需把設計上傳到雲端模型。
為什麼做 Edge0:端側 AI 的全棧能力
有用的端側 AI 需要模型研發、推理工程和硬體適配協同發力。我們的進展建立在三項能力之上:快速開發互補的模型、最佳化全棧,以及把每次部署的經驗帶到下一次。
我們 9 月釋出的 Edge0-35B 展示了這條路子在手機上能做到什麼。釋出帖在海外社群沒有付費推廣,第一天瀏覽量就超過 120 萬。OpenAI、NVIDIA、高通等公司的研究人員和技術專家轉發了它,模型登上 Hugging Face 總榜 Trending 第一。
我們同時釋出了模型權重和統一推理框架,讓企業和研究者有一套可復現的標準做法。這次釋出推動端側 AI 的討論從幾十億引數級別邁向了 35B 級別。
面向端側 AI 的四大模型系列
過去一年,我們釋出了四個系列共 200 個模型。每個系列負責不同環節,從聽和說,到快速決策、記憶和複雜AI 助理任務。
| 模型系列 | 作用 | 模型與能力 |
|---|---|---|
| Edge0 | 複雜AI 助理任務與 vibe coding | 面向筆記本的 145B 和 120B 模型;面向手機的 35B 和 8B 模型。筆記本模型支援 vibe coding,手機模型支援AI 助理任務。 |
| Audio8 | 聽與說 | ASR-Infinite 以及 3B、0.6B、0.1B 語音識別模型;0.6B 和 0.1B 語音合成模型;以及用於端到端語音互動的 0.1B Chat 模型。 |
| Decision0 | 快速決策 | 0.6B 和 3B 模型覆蓋文本、語音和視覺,多模態決策耗時約 40 毫秒。 |
| Embedding0 | 記憶 | 一款 0.6B 多模態嵌入模型,支援文本、語音、影像、影片和檔案,可實現本地長期記憶與檢索增強生成(RAG)。 |

產品組合覆蓋數千萬到超過一千億引數。Edge0 和 Audio8 均已登上 Hugging Face Trending 榜首。
模型與推理系統協同設計
我們同步開發模型和推理框架,把硬體約束納入訓練過程,並針對不同晶片最佳化推理引擎。這樣就把模型能力與本地執行所需的軟硬體打通了。
這項工作需要模型開發、推理框架和底層硬體適配三方面的專業能力。只專注模型開發的公司很難複製這種組合。
硬體最佳化成果可複用到每一次部署
每一次部署都會為下一款晶片、模型或產品留下可複用的最佳化。這一點很重要,因為端側硬體高度碎片化:NPU 架構各不相同,對 INT4、INT8、FP4 等數值格式的支援也不一樣。通用模型無法自動充分利用每一款晶片。
我們會針對各個平臺做適配。目前產品組合已覆蓋 95% 的主流晶片平臺,包括高通、BES、瑞芯微、全志、D-Robotics 和 NVIDIA,橫跨耳機、眼鏡、手機、PC 和機器人。這是產品組合層面的覆蓋;不同模型的要求各異,並不意味著每臺裝置都能執行 Edge0-145B。
這些部署工作現已覆蓋超過 500 萬臺量產裝置。我們的開源模型在三個月內下載量突破 1500 萬次。截至 2026 年 10 月,客戶組織已超過 11 萬家。
產品組合資料來自公司論文和內部測試,描述的是整個 Edge0 產品組合;本文中的 145B 效能結果僅針對 Edge0-145B。
Edge0-145B 首發即支援 macOS、Windows 和 Linux,包括 Apple M 系列晶片以及 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平臺。釋出內容包含一鍵部署工具和硬體指南。
端側 AI 與雲端的未來
隨著本地模型能力逼近雲端水平,更復雜的工作也可以留在裝置上完成。隱私、成本控制和離線可用性一直是本地執行的優勢;剩下的問題只是端側模型能否勝任。Edge0-145B 擴大了它可以承擔的任務範圍。
為什麼更多 AI 工作可以留在本地
本地執行解決了採用純雲端 AI 的四個現實障礙:
- 控制雲端模型成本。 隨著使用量增長,本地推理不會產生相應的雲端模型 token 或 API 費用。
- 讓敏感資料留在本地。 程式碼、文件和業務記錄可以留在硬體上,讓團隊掌控資料處理方式。
- 保持流暢體驗。 模型與推理引擎的設計會統籌考慮響應速度、功耗、系統流暢度和持續執行。
- 核心能力可離線使用。斷網時本地任務照常進行;依賴線上資訊或服務的功能仍需聯網。
從雲端優先到更復雜的端側工作
我們認為裝置與雲端的分工正在經歷三個階段。
2026年9月之前:雲端優先,端側輔助。Apple Intelligence 就處於這一階段:它保護了隱私,但本地只能處理有限的任務,更繁重的工作仍依賴雲端能力。
Edge0-35B 於9月10日釋出之後:日常任務在本地,複雜任務在雲端。本地模型可以承接需要即時響應的頻繁請求。以一家領先的耳機廠商為例,我們的混合方案目前有92%的 AI 使用在端側完成,8%在雲端。在消費級可穿戴裝置上,日常對話佔了大多數用例。
有了 Edge0-145B:邁向端側優先,雲端輔助。Vibe coding 等複雜任務現在可以在個人電腦上執行,讓團隊有更大空間選擇本地執行。這擴大了可以留在裝置上的工作範圍,同時把雲端保留給需要它的任務和硬體。

該圖展示了 AI 從雲端優先轉向日常任務本地化、再到更復雜工作本地化的過程。圖中色塊僅為示意,不代表實測使用佔比。
雲端 AI 仍然適用的場景
硬體限制仍然決定哪個模型能跑得起來。算力、散熱和續航都很關鍵:Edge0-35B 可在手機上執行,Edge0-145B 則要搭載在配置合適的筆記型電腦上。算力極低的裝置目前無法在本地執行145B 模型,它需要適配自身硬體的更小模型,或者通過雲端訪問這一規模的模型。
跨裝置的長期記憶,以及需要高度即時資訊的搜尋,仍然依賴雲服務。本地模型和雲端模型可以協同工作;如何分工取決於任務、硬體以及所需的資訊。
我們的目標是讓本地執行成為繁重工作的實用選擇,用一個能力足夠的模型在使用者身邊持續工作。這是朝著“讓智慧零距離觸達每個人”這一目標邁出的下一步。
開始使用 Edge0
下載模型在本地執行、評估或微調,並整合到你自己的產品中:
- 模型權重:Hugging Face 上的 Edge0-145B 和 Edge0-120B。
- 推理框架與部署指南:GitHub 上的 Edge0。
- 免環境配置試用:下載 Edge0 App。其核心模型能力可離線使用,無需賬號,也沒有使用配額。
- 社群:加入我們的 Discord。
如需硬體或產品整合,可通過 GitHub 或 contact@autoark.ai 聯絡 Edge0 團隊。
來源:Hacker News:AI 熱帖 · edge0.ai