Edge0 開源 Edge0-145B 與 Edge0-120B,主打在個人電腦本機執行大型模型
Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 開源 Edge0-145B 與 Edge0-120B,並同步發布推論框架和部署工具,讓大型模型可在相容的個人電腦上本機執行。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
文章以記憶體、速度與多項基準比較 Edge0-145B 和雲端模型,並說明其在相容筆電上的部署條件,呈現本機執行大型模型的具體取捨。
今天,我們開放原始碼釋出 Edge0-145B 和 Edge0-120B,並一併提供統一推論架構與部署工具。Edge0-145B 是全球首款採用開放原始碼、擁有 1,450 億個引數的裝置端 AI 模型。它將可媲美頂尖雲端模型的程式撰寫、推理與代理功能帶到你自己的電腦上。
長期以來,裝置端 AI 一直面臨模型能力與硬體可執行效能之間的取捨。較大的模型需要更多記憶體、頻寬與電力;較小的模型則可能難以處理複雜工作。將這些工作移至雲端,則會帶來模型供應商費用、資料處理限制,以及對網路連線的依賴。
這次發布從四個面向解決這些限制:
| 限制 | Edge0-145B 帶來的可能性 |
|---|---|
| 大型模型難以在個人硬體上執行。 | 145B 模型可在相容的筆記型電腦上本機執行,據報告峰值記憶體用量為 29GB,解碼速度超過 80 tokens/s。 |
| 小型裝置端模型可能無法勝任要求較高的任務。 | 如以下比較所示,在程式撰寫、推理與指令遵循方面,模型表現可媲美特定的頂尖雲端模型。 |
| 實用的助理必須完成工作,而不只是回答問題。 | 此模型會為 3D 場景、遊戲、硬體程式與 PCB 設計等專案規劃工作、撰寫並執行程式碼、偵錯,並透過視覺方式檢查結果。 |
| 雲端工作流程會帶來持續性費用、敏感資料限制,以及對網路的依賴。 | 本機推論不會產生相應的雲端模型 token 或 API 費用;資料可留在電腦上,核心功能也能在離線時持續運作。硬體與電力仍有成本。 |
我們將釋出完整技術堆疊,讓開發者能重現結果、評估或微調模型,並將模型整合至自己的產品。
如何讓 1,000 億以上引數的 AI 在個人電腦上執行
Edge0-145B 筆記型電腦效能:記憶體、速度與功耗
Edge0-145B 讓擁有 1,450 億個引數的模型能在個人筆記型電腦上使用。實用的本機模型必須能載入記憶體、迅速處理提示詞、以足夠快的速度生成內容,並控制功耗。它也必須能持續處理較長的任務。
| 需求 | Edge0-145B 報告效能 | 帶來的效益 |
|---|---|---|
| 記憶體 | 峰值記憶體用量 29GB | 可在相容的個人筆記型電腦上執行,例如 MacBook Pro,無須伺服器。 |
| 提示詞處理 | 預填速度超過 1,100 tokens/s | 開始生成前即可處理長提示詞,包括數十頁的程式碼。 |
| 生成 | 解碼速度超過 80 tokens/s | 生成速度快於一般人的閱讀速度。 |
| 功耗 | 典型功耗約 120W | 在報告所述的設定下可持續運作而不降頻。 |
| 長時間任務 | 128K–256K context | 處理較長輸入時仍能維持幾乎相同的速度,支援長時間工作。 |
先前發布的 Edge0-35B 手機版本,據報告峰值記憶體用量低於 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 可達 37+ tokens/s,記憶體用量約為 2.5GB。Edge0-145B 的引數量約為其四倍;筆記型電腦比較資料顯示,速度超過 80 tokens/s,峰值記憶體用量為 28GB。這些資料來自不同的模型與硬體。

裝置端模型規模的變化。圖表涵蓋 14 間研究機構推出的 67 個開放模型,引數量至少為 1B,適用於手機、筆電和 AI PC。相同規模的基礎、指令微調與推理版本只計為一個模型;每條線追蹤各研究機構推出的最大模型,包含 2025 年 7 月以前發布的模型。實心點標示新高,空心點則代表其他發布。40B 以下採對數刻度,40B 以上採線性刻度。Apple 未公開模型權重,因此不納入。資料來源:廠商公告與模型卡。
為什麼裝置端模型一直維持小巧
截至 2026 年 9 月以前,記憶體限制使多數裝置端模型的引數量低於 10B。Apple Intelligence 的裝置端基礎模型約有 3B 個引數,而 Google 的 Gemini Nano 則有 1.8B 和 3.25B 兩種版本。即使是 7B 模型,也可能耗用約 4GB 記憶體。
較大的模型面臨記憶體瓶頸。模型權重會佔用儲存空間,生成內容時也必須讀取,因而和作業系統及其他 App 爭用有限的記憶體與頻寬。即使積極壓縮,35B 模型仍可能需要約 20GB 記憶體,遠超手機可提供的容量。
運算能力、頻寬與耗電量彼此牽制。較大的模型能力更強,卻會加重記憶體容量、生成速度與電池續航力的負擔。縮小模型有助於讓模型裝進裝置,但通常得犧牲部分能力。
光靠隱私保護無法彌補這項差距。Apple Intelligence 能保護使用者資料,但 Apple 承認,其裝置端模型並非為需要一般世界知識的代理式應用程式所設計。當時普遍認為,裝置端智慧無法比得上雲端智慧。
深入解析 Edge0:模型與推論設計的四個層面
我們一併設計 Edge0-145B 與其推論引擎,藉此減少讓大型模型難以在本機執行的記憶體用量與資料搬移。這套設計涵蓋架構、訓練、載入與排程。
架構:在稀疏專家之間共用大型矩陣。共用矩陣大幅減少必須儲存與搬移的權重,同時維持專家數量不變。每 64 個專家共用兩個大型矩陣,而每個專家仍保留一小組引數,以呈現彼此差異。過去每個專家都會儲存完整的一組矩陣。模型總計 145B 個引數中,每個推論步驟實際參與運算的只有約 10B 個。
訓練:從一開始就為本機執行打造。我們從一開始便以裝置端架構訓練模型,並將部署限制納入設計。如此就不必等雲端模型訓練完成後,再透過壓縮或剪枝來處理本機部署。
載入:串接 GPU 記憶體、系統記憶體與 SSD 存取。讀取與運算會在三層儲存空間中交錯進行,避免依序等待。常用的「熱專家」會留在 GPU 記憶體中。約 40GB 的專家庫存放於系統記憶體,需要時再將專家載入 GPU 記憶體。約 48GB 的詞彙資料存放在 SSD 中,並按需讀取。
排程:搭配使用 CPU 與 GPU。GPU 計算快取中的專家時,CPU 會平行處理其餘工作。推測解碼會一次驗證多個候選詞元,讓讀取權重的成本由更多輸出詞元共同分攤。這些設計支援其公佈的 80+ tokens/s 解碼速度。

模型與推論引擎的設計相輔相成,讓個人電腦也能實際執行 100B 以上引數的推論。來源:內部測試。
這些改變讓引數量從數百億成長至超過一千億,同時不必按比例增加記憶體用量、耗電量與延遲。
Edge0 能做什麼:在你的電腦上完成從聊天到複雜工作的各種任務
Edge0-145B 能將複雜任務一路執行到產出可用結果。它的程式碼撰寫與推理能力,支援結合規劃、工具使用、執行、除錯與視覺檢查的本機工作流程。基準測試展現它的能力;示範則呈現它如何實際運用這些能力。
程式碼撰寫與推理能力可媲美前沿雲端模型
Edge0-145B 在程式碼撰寫、推理、知識與指令遵循等專案上,與特定前沿雲端模型相比具備競爭力:
- 程式碼撰寫:在 DeepSWE 1.1 得分 64.6,高於 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理與知識:在 GPQA-Diamond 得分 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
- 指令遵循:在 IFBench 得分 80.6,高於 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。
它在 Terminal-Bench 2.1 得分 86.52,也高於 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7,以及 Claude 的 78.2。在 AA-LCR 上,Edge0-145B 得分 79.3,高於 Claude 的 78.0。這些比較僅適用於列出的模型與評測。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
分數以百分比表示;分數越高越好。破折號表示沒有公開分數,不代表得分為零。
Edge0、Qwen、DeepSeek 和 Claude 的結果來自 Edge0 內部評測。Claude-Opus-4.6 沒有公開的 DeepSWE 1.1 分數。Flint、Muse Glimmer 和 Gemma 4 的 Terminal-Bench 2.1 與 IFBench 結果來自 Recursive Flint 評測;HLE、GPQA 和 AA-LCR 結果來自 Artificial Analysis。
相較於主流裝置端模型基準 Qwen3.8-27B,Edge0-145B 在代理與程式碼撰寫工作上的提升最大:Terminal-Bench 提升 18.5%,DeepSWE 提升 53.1%。HLE、GPQA 和 IFBench 的相對提升則分別為 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 評估代理與程式碼撰寫工作。HLE、GPQA-Diamond 和 IFBench 涵蓋推理、知識與指令遵循。我們將隨技術報告一併公開完整的評測設定、硬體環境與重現說明。

具備競爭力,同時佔用較少記憶體
Edge0-145B 在六項基準測試的 平均分數為 72.8,實測尖峰記憶體用量為 29GB。Qwen3.8-Flash-Next 的平均分數為 71.7,採用標準 4-bit 部署時,預估記憶體用量為 70GB。Edge0-145B 的記憶體用量約為估算基準的 40%,能力相當或更高,因此可在 48GB 筆記型電腦上本機執行。
| 模型 | 六項基準測試平均分數 | 記憶體用量 \(實測或估算\) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 約 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 約 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 約 87GB* |
平均分涵蓋 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的記憶體資料為內部測得的峰值。標有星號的基準模型資料是標準 4-bit 部署的估計值,仍待測量。Claude 因僅提供雲端服務且沒有 DeepSWE 分數而未納入。

[圖表:品質與峰值記憶體用量的比較,並標示 48GB 筆電和 64GB 工作站的容量。記憶體用量越低、分數越高越好;圖表的縱軸並非從零開始。]
能規劃、編寫程式、執行並檢查成果的本機代理
只要提出一項自然語言要求,就能啟動完整的本機工作流程。Edge0-145B 會拆解需求、規劃步驟、編寫程式碼,並呼叫工具執行。遇到錯誤時,它會偵錯並修正程式碼,接著擷取螢幕截圖檢查結果,持續反覆調整,直到完成工作。
這類專案往往需要數十輪規劃、執行與檢查。本機推論代表額外的對話、程式碼修訂和視覺分析,不會產生相應的雲端模型 Token 或 API 費用。程式碼和資料可以留在電腦上,模型的核心功能也能離線運作。
影片製作:一小時內生成 Tesla Roadster 介紹影片
Edge0-145B 製作了一支介紹 Roadster 如何飛行的影片,處理技術研究、指令碼撰寫、素材生成和剪輯。我們要求它以一般觀眾也能理解的方式說明原理。模型在本機執行,無須呼叫雲端模型或消耗雲端 Token,也省去推論時的網路往返。
影片在一小時內生成。若要以傳統方式製作類似作品,導演和編劇、3D 建模師、剪輯師與物理專家得花上一個月。過去使用 AI 影片工作流程可能要花上數百美元;本機推論則免除相應的雲端模型 Token 和 API 費用。
3D 建模:在 Blender 中打造曼哈頓城市場景
Edge0-145B 在一小時內打造出曼哈頓的 3D 場景。它在 Blender 中根據文字和參考圖片建構場景、調整材質與燈光,並反覆修改渲染結果。
這套工作流程將視覺檢查、程式碼生成和修訂整合在 Blender 中。模型能處理物件、空間關係和創作目標,不只看懂參考圖片中的畫素。它會檢查成果、編寫程式碼並進行修改,無須把這些步驟交還給人員處理。整個流程都在本機完成。
手動打造曼哈頓規模的城市場景,通常要花至少一個月,費用約為 $12,000-18,000。使用頂尖雲端模型仍會產生超過 $150 的雲端 Token 費用。Edge0-145B 可在本機完成推論,無須支付這些雲端模型 Token 費用。
遊戲開發:可遊玩的遊戲與中世紀城市
Edge0-145B 能在本機製作可遊玩的遊戲。我們也運用它的 3D 建模能力,為奇幻 RPG 打造一座原創的中世紀首都,並以遊戲預告片的品質渲染出一段 20 秒的飛越鏡頭。
模型自行規劃城市,並在 Blender 中從零開始建造:城牆、超過一千棟老城住宅、廣場噴泉、哥德式雙塔立面、肋拱式中殿,以及彩繪玻璃窗。
固定的攝影機路徑讓錯誤無所遁形。幾何裁切、遮蔽或比例錯誤都會沿著路徑顯現,因此模型會檢查算繪結果,並在建構過程中修正作品。整個工作流程都在本機執行。
使用領先的雲端模型完成一次生成,需要數百次工具呼叫和數億個 token,使用相同的提示、參考圖片和攝影機路徑。Edge0-145B 可在筆記型電腦上完成這項工作,本機推論不需支付雲端模型的 token 費用或 API 費用。美術團隊通常需要花上數週、數千美元,才能製作出符合這種水準的城市場景。
硬體控制:撰寫能操控真實無人機的程式
只需一項指令,Edge0-145B 就為真實無人機撰寫程式:「撰寫一個無人機程式,讓它能穿越障礙物並找到紅色背包。」
它在本機產生飛行控制和視覺辨識程式。接著,無人機在室內起飛,穿越一排密集的障礙桿、自主搜尋,並找到牆邊的紅色背包。這項任務不需要人工撰寫程式碼,也不需要呼叫雲端服務。
硬體開發人員可以描述想要的行為,讓模型將其轉化為真實裝置可執行的程式,不必反覆在編輯器、說明檔案和除錯工具之間切換。
PCB 設計:從 KiCad 佈局到組裝動畫
Edge0-145B 完成了從元件配置到組裝視覺化的 PCB 設計。我們請它為自己設計一塊電路板。它從零開始在 KiCad 中放置元件、佈設雙層電路板,再將設計匯入 Unreal Engine 5。接著,它設定攝影機和燈光,並算繪出 PCB 製造與組裝的動畫。
一臺電腦就完成了過去需要硬體工程師和 3D 設計師花上好幾天、來回交接才能完成的工作。原理圖和電路板佈局可留在團隊自己的硬體上,協助保護營業秘密並符合資料處理要求,無需將設計上傳至雲端模型。
為何選擇 Edge0:完整的裝置端 AI 技術堆疊
實用的裝置端 AI,需要模型開發、推論工程和硬體調校彼此配合。我們的進展奠基於三項能力:快速開發互補模型、最佳化完整技術堆疊,以及將每次部署的經驗帶入下一次部署。
我們在 9 月發布的 Edge0-35B,展現了這種做法在手機上能帶來的成果。沒有付費宣傳,它的發布貼文在海外社群的首日瀏覽次數就突破 120 萬。OpenAI、NVIDIA、Qualcomm 等公司的研究人員和技術專家都分享了這則貼文,而這款模型也登上 Hugging Face 整體熱門趨勢榜第 1 名。
我們同步發布模型權重和統一推論框架,讓企業和研究人員能採用可重現的標準做法。這次發布也推動裝置端 AI 的討論,從少數幾十億引數延伸至 35B 級別。
四大裝置端 AI 模型系列
過去一年,我們在四大系列中發布了 200 個模型。每個系列負責不同的工作,從聆聽、說話,到快速決策、記憶和複雜的代理任務。
| 模型系列 | 角色 | 模型與能力 |
|---|---|---|
| Edge0 | 複雜代理任務與氛圍編碼 | 提供適用於筆記型電腦的 145B 和 120B 模型,以及適用於手機的 35B 和 8B 模型。筆記型電腦模型支援氛圍編碼,手機模型則支援代理任務。 |
| Audio8 | 聆聽與說話 | ASR-Infinite、3B、0.6B 和 0.1B ASR 模型用於語音辨識;0.6B 和 0.1B TTS 模型用於語音合成;以及用於端對端語音互動的 0.1B Chat 模型。 |
| Decision0 | 快速決策 | 涵蓋文字、語音和視覺的 0.6B 與 3B 模型,可在約 40 毫秒內完成多模態決策。 |
| Embedding0 | 記憶 | 一款 0.6B 多模態嵌入模型,可處理文字、語音、影像、影片和檔案,支援本機長期記憶與檢索增強生成 \(RAG\)。 |

產品組合涵蓋數千萬到超過一千億個引數。Edge0 和 Audio8 都曾登上 Hugging Face Trending 榜首。
模型與推論系統協同設計
我們同步開發模型與推論架構,將硬體限制納入訓練考量,並針對不同晶片最佳化引擎。如此一來,模型能力便能與在本機使用模型所需的軟體和硬體相結合。
這項工作需要具備模型開發、推論架構和底層硬體調校的專業知識。只專注於模型開發的公司,難以複製這種整合能力。
硬體最佳化成果可延續至每次部署
每次部署都能為下一款晶片、模型或產品累積可重複使用的最佳化成果。這點十分重要,因為裝置端硬體十分多樣:NPU 架構各不相同,對 INT4、INT8 和 FP4 等數值格式的支援也不盡相同。通用模型無法自動充分運用每一款晶片。
我們會針對個別平臺進行調校。目前產品組合已涵蓋 95% 的主流晶片平臺,包括 Qualcomm、BES、Rockchip、Allwinner、D-Robotics 和 NVIDIA,應用裝置則涵蓋耳機、眼鏡、手機、PC 和機器人。這是整體產品組合的涵蓋範圍;各模型的需求不盡相同,並不代表每臺裝置都能執行 Edge0-145B。
目前,這些部署已涵蓋超過 500 萬臺正式上線的裝置。我們的開源模型在三個月內累積超過 1,500 萬次下載。截至 2026 年 10 月,我們的客戶組織超過 110,000 家。
產品組合資料來自公司論文和內部測試,描述的是更廣泛的 Edge0 產品組合;本文中的 145B 效能結果則僅適用於 Edge0-145B。
Edge0-145B 首日即支援 macOS、Windows 和 Linux,包含 Apple M 系列晶片,以及 RTX Spark、RTX 4090 和 RTX 5090 等 NVIDIA 平臺。此次發布也包含一鍵部署工具和硬體指南。
裝置端 AI 與雲端的未來
隨著本機模型的能力逐漸接近雲端模型,更複雜的工作也能留在裝置上執行。隱私、成本控制和離線存取一直是本機執行的優勢;剩下的問題是裝置端模型能否勝任這些工作。Edge0-145B 擴大了可由本機模型處理的任務範圍。
更多 AI 工作為何能留在本機
本機執行可解決採用純雲端 AI 時的四項實際障礙:
- 控制雲端模型成本。隨著使用量增加,本機推論不會因此產生相應的雲端模型 Token 或 API 費用。
- 讓敏感資料留在本機。程式碼、檔案和業務紀錄可留存在硬體上,讓團隊掌握資料處理方式。
- 維持流暢的使用體驗。模型與推論引擎的設計會一併考量回應速度、耗電量、系統回應能力和持續運作。
- 讓核心功能在離線時也能使用。網路連線中斷時,本機任務仍可繼續執行;需要線上資訊或服務的功能仍須連線。
從雲端優先到更複雜的裝置端工作
我們看到裝置與雲端之間的工作分工正經歷三個階段。
2026 年 9 月之前:雲端優先,並提供裝置端支援。Apple Intelligence 呈現了這個階段:它保護隱私,但僅能在本機處理有限型別的任務,較複雜的工作則仰賴雲端功能。
Edge0-35B 於 9 月 10 日發布後:日常任務在本機執行,複雜任務交由雲端處理。本機模型可處理需要立即回應的常見請求。對一家領先的耳機製造商而言,我們的混合式解決方案目前在裝置端處理 92% 的 AI 使用量,8% 則在雲端處理。在消費型穿戴裝置上,日常對話是最常見的使用情境。
採用 Edge0-145B:邁向裝置端優先,並由雲端支援。現在,Vibe coding 和其他複雜任務都能在個人電腦上執行,讓團隊有更大的空間選擇本機執行。這擴大了可在裝置上完成的工作範圍,同時保留雲端資源,供需要雲端服務與硬體的任務使用。

圖表呈現 AI 從雲端優先,轉向日常任務在本機執行,再到更複雜的本機工作。圖中的色塊僅為示意,並非實際使用佔比。
雲端 AI 仍適用的情境
硬體限制仍會決定適合使用哪種模型。運算能力、發熱量與電池續航力都很重要:Edge0-35B 可在手機上執行,而 Edge0-145B 則可在配備適當的筆記型電腦上執行。目前,運算能力極低的裝置無法在本機執行 145B 模型。這類裝置需要使用適合其硬體的小型模型,或透過雲端存取這種規模的模型。
跨裝置長期記憶,以及需要最新資訊的搜尋仍須使用雲端服務。本機模型與雲端模型可以協同運作;如何分工取決於任務、硬體與所需資訊。
我們的目標是讓本機執行成為處理高要求工作的實際選項,並提供強大的模型,讓它能在使用者身邊持續運作。這是朝著讓每個人都能享有零距離智慧的目標邁出的下一步。
開始使用 Edge0
下載模型,在本機執行、評估或微調,並將其整合到你自己的產品中:
- 模型權重:前往 Hugging Face 上的 Edge0-145B 和 Edge0-120B。
- 推論框架與部署指南:前往 GitHub 上的 Edge0。
- 無須設定環境即可試用:下載 Edge0 App。其核心模型功能可離線使用,無須帳戶,也沒有使用額度限制。
- 社群:加入我們的 Discord。
如需硬體或產品整合,請透過 GitHub 聯絡 Edge0 團隊,或寄信至 contact@autoark.ai。