跳到正文
Hacker News (official RSS)(github.com)·· 10 天前精選品質評分78

smolmaxxing 實測在電視盒與 2013 年 iPad Air 執行大型語言模型

I'm making LLMs work on small and old devices

重點導讀

smolmaxxing 展示如何透過自訂核心、記憶體管理與權重串流,讓大型語言模型在低規格裝置上執行,並逐步記錄硬體實測結果。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

專案以兩款低規格裝置的實測拆解運算、記憶體與快閃儲存瓶頸,並呈現對應最佳化方法及速度變化。

正文 · 中文翻譯

🤏 smolmaxxing: run the biggest model you can on the smallest hardware you own

你身邊的每臺裝置,都比看起來更有能力。電視盒、舊手機、單板電腦和路由器都配備了 CPU、RAM 和快閃記憶體,但一天中大部分時間都閒置著。smolmaxxing的目標是釋放這些裝置的能力:找出每臺裝置實際能執行的最大語言模型,再透過自訂核心、更聰明的記憶體使用方式和權重串流,進一步提升效能。每項效能資料都直接在硬體上測量。

裝置 #1 是 Xiaomi TV Box S(第 3 代):Amlogic S7D、4× Cortex-A55 @ 2.5 GHz、1.9 GB RAM(約 1 GB 可用)、eMMC 快閃記憶體、Android 14,未取得 root 許可權。這個儲存庫讓它能執行引數量從 260 K 到 16 B 的模型:

  • Qwen3.5-0.8B:16.8 tok/s(是原廠 7.5 的 2.2 倍;測量時間為 11-05 晚間,請見 §17)。
  • Qwen3.5-2B:實際聊天速度為 7.7 tok/s。電視盒的速度一天內會波動約 10%,因此每個步驟都會緊接著測量:§16 提升了 11%,§17 又提升了 7%。
  • 8B 混合專家模型(Moon-Beam-8B-A1B):實際聊天速度為 7.2 tok/s,需要時才從快閃記憶體載入專家,並提前預取下一層(§19)。
  • 密集型 1-bit 8B 模型(Bonsai-8B):實際聊天速度為 5.2 tok/s,原先為 1.2;透過「headless」模式讓模型完整常駐記憶體,再搭配查詢表核心達成(§19)。
  • 16B 混合專家模型(Ling-mini-2.0):實際聊天速度為 5.1 tok/s,能連貫地回答長達 600 字的問題,使用相同的專家分頁機制,未做任何修改(§20)。模型大小是 Moon-Beam 的兩倍,但每位元組的效能並未更好:在這臺電視盒上,只有模型本身更好時,較大的模型才有優勢。
  • 密集型 9B 模型:0.27 tok/s,大部分權重都從快閃記憶體串流載入。

裝置 #2 是第一代 iPad Air(2013):Apple A7、2 核心、NEON 不支援 dotprod、1 GB RAM、iOS 12.5.7,已越獄,僅使用 CPU。一臺 13 年前的平板能以24-26 tok/s(長時間聊天時為 18-22)執行 1.7B 引數模型;以約 10 tok/s執行 4B 模型;以約 3.5 tok/s執行 8B 混合專家模型(只用一半專家時為 5,但品質會下降);也能以 2.6-4.5 tok/s 執行16B 模型。這些模型的專家會從快閃記憶體分頁載入,並透過平板 Safari 中的聊天頁面執行。請見裝置 #2 的測試結果。

每個步驟都有逐項記錄實驗結果,詳見EXPERIMENT.md(E1-E160)。

The live token-stream page served by llama-server on the TV box

裝置

裝置 狀態
Xiaomi TV Box S(第 3 代):Amlogic S7D、Cortex-A55、2 GB ✅ 已完成:260K → 16B 引數;8B 為 5-7 tok/s,16B 為 5 tok/s
iPad Air(2013):Apple A7、2 核心、1 GB、iOS 12.5.7,已越獄(ipad-air/) ✅ 正在執行:Bonsai-1.7B(1-bit)為 24-26 tok/s,長時間聊天時為 18-22;Bonsai-4B 約 10 tok/s;Moon-Beam-8B-A1B(MoE)約 3.5 tok/s;Ling-mini-2.0(16B MoE)為 2.6-4.5 tok/s;僅使用 CPU
更多電視盒、手機、單板電腦、路由器…… 🔜 即將推出

這些技術不只適用於某一臺電視盒。1-bit 查詢表核心只需要基礎 NEON,iPad 已證明這一點;任何支援 dotprod 的 ARM 晶片都能使用其他核心;而任何模型大小超過 RAM 的 Linux 或 Android 裝置,都能使用串流引擎。

Best generation speed per size class on the two 1 GB devices: 2B class TV 7.7 (Qwen3.5-2B) vs iPad 23.7 (Bonsai-1.7B, 1-bit); 4B 4.3 vs 9.4; 8B dense 5.2 vs 0.08; 8B MoE 7.2 vs 3.5; 16B MoE 5.1 vs 4.5 with the same cache bias

效能排行榜

Best model per size class, first run on the TV box to now: 0.8B 7.5 to 16.8 tok/s, 2B 0.1 to 7.7, 4B 2.2 to 4.3, 8B dense 1.21 to 5.2, 8B MoE 1.87 to 7.2, 9B 0.16 to 0.27, 16B MoE 4.1 to 5.1; and where one Moon-Beam token's 144 ms go

級別 最佳模型 首次執行 → 目前(tok/s) 提升幅度 每位元組位元數 達成方式 下載
0.8B Qwen3.5-0.8B 7.5 → 16.8 基準測試 ×2.2 ≈1.00 全採用 Q4_K、補齊至 65K 的輸出頭、fp16 DeltaNet 狀態 HF
2B Qwen3.5-2B 0.1 → 7.7 聊天 ×77 0.909 全採用 Q4_K、補齊至 65K 的輸出頭、融合 DeltaNet HF
4B Ternary-Bonsai-4B 2.2 → 4.3 聊天 ×2.0 ≈0.965 三元權重儲存於 2-bit 欄位中,並合併縮放值 HF
8B 稠密模型 Bonsai-8B(1 位元) 1.21 → 5.2 對話 ×4.3 0.974 1 位元查詢表核心,在無頭模式下完全常駐於記憶體 HF
8B MoE Moon-Beam-8B-A1B 1.87 → 7.2 對話 ×3.9 0.996 Q2_K 專家層從快閃記憶體分頁載入、具快取感知的路由、預先擷取 HF
9B Qwen3.5-9B 0.16 → 0.27 對話 ×1.7 0.885 權重串流,加上專屬的 MTP 頭 重新建置(q9)
16B MoE Ling-mini-2.0 4.1 → 5.1 對話 ×1.2 1.054 採用 Moon-Beam 配方,未作更動 HF

「首次執行」指各模型第一次在這臺裝置上執行:

  • 0.8B:原版 Q4_K_M 檔案。
  • 2B:原版檔案,因為無法放入 RAM,所以從快閃記憶體串流載入。第一個能完整放入記憶體的建置版本速度為 4.8,因此從那時起提升了 ×1.6。
  • 4B:原版檔案,造成了嚴重的記憶體換頁。
  • 8B 稠密模型:最後 0.1 GB 從快閃記憶體串流載入。
  • 8B MoE:首次執行專家層分頁載入,未使用路由偏置。
  • 9B:以串流方式載入。
  • 16B:一開始就採用 Moon-Beam 配方,因此提升幅度較小。

在這臺裝置上,2B 是速度與品質的最佳平衡。Ling-mini-2.0 顯示,模型更大不一定更好:它的大小是 Moon-Beam 的兩倍,但每位元組的評分較差,執行速度也較慢。

我們打造的專案,依所針對的瓶頸分組(詳細資訊與資料見 此處內容):

瓶頸 創新專案 最大幅度的提升
運算(依序執行的 A55,10 項) 為 vdotq_laneq 重新封裝成 Q2_K 與三元格式、1 位元位元平面、1 位元查詢表核心、以 2 位元欄位表示三元值、帶有跳過門檻的 Q8_0 注意力、融合式 Gated-DeltaNet、依 ID/fp16 讀取 DeltaNet 狀態、在快速核心上執行 LM 頭、引導式矩陣乘法排程 Q2_K:7.8 → 13.9 G 權重/秒;Bonsai-8B:3.77 → 5.1-5.4;4B:3.2 → 4.3;長回答不再讓速度減半
RAM(約 1 GB,5 項) 精簡的 LM 頭、無損 1.875 位元三元格式、無頭模式、無分支的記憶體防護、快閃記憶體上的重新封裝快取 每個模型減少 0.2 至 0.5 GB;可用 RAM 約 1,000 → 約 1,300 MB;Bonsai-8B 在尚未進行任何核心最佳化前就從 1.2 提升至 3.6
快閃記憶體(278 MB/s,5 項) 使用 O_DIRECT 串流載入權重、受快閃記憶體限制時進行 MTP 推測解碼、專家層分頁載入器、具快取感知的路由、預先閘控的預先擷取 9B 提升 69%;專家層快取未命中率從 13% 降至約 2%;Moon-Beam 從 4.4 提升至 7.2
輸出品質(2 項) 長回答退化測試、對 256 個 token 套用 1.15 的重複懲罰 退化的長回答從 12/13 降至 1/13

裝置 #1 的測試結果

品質以固定的 22 KB 文字計算英文困惑度,再換算為每位元組位元數,讓使用不同 tokenizer 的模型能公平比較(數值越低越好)。速度是在電視裝置上生成文字的速度,測量方式為透過 llama-server 傳送實際聊天請求(「對話」),或使用 llama-bench(「基準測試」)。

模型 裝置上的大小 品質(每位元組位元數) 生成速度 提示速度 備註
stories260K(llama2.c) 1 MB 不適用 約 650 token/s 不適用 最先成功執行的專案(§1-8)
Gemma 3 270M Q4_K_M 253 MB 不適用 22 tok/s 73 tok/s
Qwen3.5-0.8B Q4_K_M(原版) 497 MB 不適用 7.5(基準測試) 28 tok/s
Qwen3.5-0.8B,全 Q4_K + 65K 頭 442 MiB(566 MB RSS) ≈1.00* 16.8(基準測試) 33 tok/s 目前同等品質下速度最快(§15-17)
Qwen3.5-2B,全 Q4_K + 65K 頭 0.99 GB 0.909 7.7(對話) 17.8 預設選擇:整體表現最佳(§11、§16、§17)
Ternary-Bonsai-4B,合併尺度因子 + 2 位元欄位 1.03 GB ≈0.965 4.3(對話)(4.8 基準測試) 9.6 最佳 4B:同一建置版本原先為 3.2(對話)/7.0(提示)(§18)
Moon-Beam-8B-A1B(MoE),Q2_K 專家層 + 60K 頭 0.48 GB GGUF + 2.6 GB 重打包快取(位於快閃儲存裝置),~1.1 GB RSS 0.996 7.2 對話 不適用 速度最快的 8B:128 個專家,使用 6 個;專家分頁、快取感知路由、預先閘控預取,以及用於抑制長回答迴圈的重複懲罰(§19,無頭模式)
Ling-mini-2.0(MoE,16.3 B),Q2_K 專家 + 60K head 0.47 GB GGUF + 5.3 GB 重打包快取(位於快閃儲存裝置),~1.13 GB RSS 1.054 5.1 對話 不適用 速度可用的最大模型:256 個專家,每個 1 MB;使用 8 個,每層有 43 個專家的池,偏差值 0.3(§20)
Bonsai-8B,1-bit,LUT 核心 0.96 GB,全部常駐 0.991(head 上為 0.974) 5.2 對話(基準測試為 5.1-5.4),上下文約 900 個 token 時為 4.0 5.8-6.1 最佳密集型 8B:無頭模式、Q8_0 注意力(§19)
Bonsai-8B,1-bit + 精簡尺度值 0.84 GB + 0.12 GB 串流載入 0.991 1.21 對話(基準測試為 2.2) 4.9 §14,無頭模式之前
Ternary-Bonsai-8B 0.89 GB + 0.80 GB 串流載入 0.919 基準測試為 0.31 3.45 §14
Qwen3.5-9B UD-IQ2_XXS + MTP 0.63 GB + 1.6 GB 串流載入 0.885 0.16 對話,搭配 MTP 為 0.27 0.8 品質最佳;受限於快閃儲存(§14)

* 以修剪後 head 的位置測量(1.3 % 的 token 落在其範圍外),因此無法完全直接比較;原廠完整詞彙表 Q4_0 檔案的分數為 1.024。

其他小型模型,原廠檔案(篩選,§15 E54):

模型 生成速度(基準測試) 提示詞 位元/位元組
LFM2.5-350M(QAD Q4_0) 23.7 tok/s 104 tok/s 1.805
LFM2-700M(Q4_0) 11.5 tok/s 52.8 tok/s 1.169
Qwen3-0.6B(Q8_0) 9.35 tok/s 50.6 tok/s 1.059
LFM2.5-1.2B(QAD Q4_0) 8.3 tok/s 31.6 tok/s 1.133
Llama 3.2 1B(Q4_0) 7.0 tok/s 29.5 tok/s 0.998
Ternary-Bonsai-2-2B(Q2_0) 5.9 tok/s 15.8 tok/s 1.124
Gemma 3 1B(Q4_K_M) 5.7 tok/s 11.1 tok/s 1.260
Granite 4.0 H 1B(Q4_0,~1.5 B) 出廠時太大,無法使用 0.916
↳ 重新建置:全部採用 Q4_K、Q8_0 embedding、48K head(E62) 5.29 tok/s(僅在釋放 RAM 後才能載入,950 MB RSS) 0.919
LFM3-1.7B(QAD Q4_0) 無法載入

Granite 4.0 H 1B 是唯一品質接近 2B 的模型。依我們的方式重新建置(E62)後,速度為 5.29 tok/s,低於 2B 的 6.55,品質也稍低:它每個 token 使用的權重位元組數約為 0.8B 的兩倍。

裝置的物理限制:單一程式可使用約 0.96 GB,之後 Android 就會開始終止程式(無頭模式下約為 1.15 GB,此時已強制停止啟動器和 Google 服務);快閃儲存讀取速度最高為 278 MB/s,單次約 1 MB 的隨機讀取則需約 6 ms。每個 token 都必須串流載入 X MB 的模型,速度就不可能超過每秒 278 / X 個 token。這才是所有 2B 以上模型的瓶頸,而不是 CPU;MoE 模型每個 token 只會讀取 8 B 權重中的約 1 B,因此能突破這個限制。

8 B 模型能達到 10 tok/s 嗎? 這是實測結果,不是猜測(E98):Moon-Beam 每個 token 使用 2 個專家時可達 10.4 tok/s,但產生的文字會變成亂碼;最流暢且連貫的設定約為 7-8 tok/s。密集型 Qwen3-8B 就是 1-bit 的 Bonsai-8B,而最小的 Qwen MoE(35B-A3B)每個 token 會讀取 Moon-Beam 三倍的權重。

第 2 臺裝置的結果

2013 年款 iPad Air:Apple A7、2 核心、不支援 dotprod 的 NEON、1 GB RAM、iOS 12.5.7,並透過 Amethyst 越獄。所有運算都在 CPU 上以 2 個執行緒執行,上下文為 1,024 個 token,從 Mac 交叉編譯而來。完整報告位於 EXPERIMENT.md 的 §21,建置步驟則見 ipad-air/README.md。

模型 檔案 生成速度(tok/s) RSS 峰值 固定三題測試
Bonsai-1.7B Q1_0(1-bit) 237 MiB 23.7-25.8,長時間對話中為 18-22 605 MB 三題全答對,並能寫出正確程式碼:推薦使用的模型
Bonsai-4B Q1_0(1-bit),-c 512 -b 64 546 MiB 9.4-11.4,長時間對話中為 9.2-10.3;作為伺服器執行時,iOS 會在幾分鐘內將其重置 615-682 MB 在法國題目答對、潮汐題大多答對,每次都無法回憶;每位元組效率較高(1.073 vs 1.158 bits/byte)
Moon-Beam-8B-A1B(MoE,Q2_K experts)、專家分頁器、-c 512 -b 64 2.6 GiB(對映 474 MB) 較長回答時為 3.5-3.6;使用 --experts 4 時為 4.9-5.1(perplexity 增加 27 %) 約 600-625 MB 三題全答對;適合單次工作階段的模型,對常駐伺服器來說太大
SmolLM2-360M-Instruct Q4_K_M 258 MiB 10.9-12.5 269-316 MB 三題全答對;最輕巧的優質選擇
Gemma 3 270M-it Q4_K_M 241 MiB 15.4-19.0 248-294 MB 潮汐題答錯,回憶題沒有回覆
SmolLM2-135M-Instruct Q4_K_M 101 MB 18.6-29.3 141 MB 法國題和回憶題答對,潮汐題表現不佳
Qwen3.5-0.8B Q4_K_M 508 MiB 約 0.2 506 MB 持續大量置換頁面快取,已手動停止

只有 Bonsai 和 Moon-Beam 這兩列是在最新版本上測量。其他列是在下方提到的注意力和取樣器改進之前測得。

Best model per size class on the iPad Air, first run to now: 1.7B 2.75 to 23.7-25.8 tok/s; 4B 9.4-11.4; 8B dense 0.08; 8B MoE can't load with stock llama.cpp, then 1.6 to 3.5 (5.0 with 4 experts); 16B MoE can't load, now 2.6 (4.5 with bias 0.3); and where one Moon-Beam token's ~0.3 s go

類別 最佳模型 首次執行 → 現在(tok/s) 提升幅度 改進方式
1.7B Bonsai-1.7B(1-bit) 2.75 → 23.7-25.8 ×8.6 不使用 dotprod 的無乘法與查詢表 1-bit 核心、使用快速核心的 LM head、含剪枝的列順序注意力、單趟取樣器
4B Bonsai-4B(1-bit) 9.4-11.4 沿用 1.7B 的核心、每個 K head 對應 4 個 q heads 的注意力、-c 512 -b 64 以維持在約 700 MB 的上限內
8B dense Bonsai-8B(1-bit) 0.08 無法裝入 RAM;每生成一個 token 都要從快閃記憶體重新讀取大部分檔案
8B MoE Moon-Beam-8B-A1B 無法載入 → 1.6 → 3.5(使用 4 個 experts 時為 5.0,perplexity 增加 27 %) ×2.2 專家分頁器、Q2_K 查詢表核心、預先擷取、快取偏差 0.03、依頻率淘汰
16B MoE Ling-mini-2.0 無法載入 → 2.6(增加 2.6 % 時為 3.3,偏差 0.3 時為 4.5) 新增 沿用 Moon-Beam 的做法,並透過 HTTP 組裝模型檔後直接串流至 iPad

「無法載入」:iOS 12 限制程式最多對映約 1.7 GB,因此標準版 llama.cpp 在執行任何 token 前,就會因 2.6 和 5.5 GB 的檔案而失敗。Moon-Beam 的「首次執行」是指第一次使用專家分頁器執行(pool 8,無偏差)。

我們在 iPad 上打造的功能,依其所解決的瓶頸分類:

瓶頸 改進專案 最大成效
運算能力(雙核心 A7、沒有 dotprod,共 6 項) 無乘法的 1-bit 核心、將電視的 1-bit 查詢表核心移植至基礎 NEON、繫結 LM head 的查詢表版本、含剪枝的列順序注意力(每個 K head 對應 2 或 4 個 q heads)、使用 40 項堆積結構的單趟取樣器、供 experts 使用的 Q2_K 查詢表核心 Bonsai-1.7B 從 2.75 → 3.45 → 約 11 → 23.7-25.8 tok/s;取樣時間從每個 token 3 → 0.23 ms;僅靠 Q2_K 核心,Moon-Beam 從 2.94 → 3.06
位址空間與 RAM(可對映約 1.7 GB、可用約 700 MB,共 4 項) 只對映非專家部分的專家分頁器(experts-last 檔案)、為 bailingmoe2 和 bailingmoe3 剪枝的 LM heads、小型批次(-c 512 -b 64)、在 iOS 12 上停用編譯 std::filesystem 8B 和 16B MoE 模型都能載入,記憶體用量為 556-625 MB;Bonsai-4B 可裝入
快閃記憶體(約 260 MB/s,共 5 項) 未快取的 pread 搭配 4 個讀取器、依需求時間排入讀取工作、預先閘控的預先擷取、依快取狀況調整的路由偏差、依頻率衰減的淘汰機制 Moon-Beam 在不損失品質的情況下,從 1.6 → 3.5 tok/s;僅靠淘汰機制,快取未命中率從 42 % → 38 %
工具(共 5 項) 附帶頁面錯誤計數的運算元分析器、專家追蹤與快取模擬器、裝置端 perplexity(tinyppl)、透過 HTTP range requests 組裝模型、會終止孤立執行程式的基準測試工具 找出未使用快速核心的 LM head(45 of 72 ms);排除軟性錯誤理論;只用 Mac 磁碟上的 1.4 GB 空間就建置出 5.5 GB 模型

Bonsai-1.7B 如何從 2.75 提升到約 25 tok/s(全程使用同一個模型檔):

步驟 tok/s 變更內容
標準版 llama.cpp,2 個執行緒 2.75 以 widening multiply 模擬 dotprod
不需乘法的 NEON kernel 3.45 權重為 ±1,因此不需要乘法;輸出完全相同
將裝置 #1 的查表 kernel 移植到基礎 NEON 約 11 結果證明,它對 dotprod 的需求只是假設
該 kernel 的輸出 head 18-22 151,669 列不是 32 的倍數,因此繫結的 head 從未執行到它:每個 token 有 45/72 毫秒花在這裡
依序處理列並進行剪枝的 attention,以及不排序詞彙表的 sampler 23.7-25.8 KV cache 會將同一列的所有 head 並排儲存,因此一次只處理一個 head 時,幾乎每次都會 cache miss

在長對話中(回答 400 個 token),單靠 attention 的改進,就讓三輪對話的速度從 15.4 / 7.6 / 8.2 提升到 21.8 / 17.9 / 18.4 tok/s。要讓長對話維持在 17 tok/s 以上所需的剪枝閾值,在 1,024 個 token 的上下文下會讓 perplexity 增加 0.42%,接近 ±0.3% 的雜訊範圍;GGML_FA_EPS=0.0001則能換回約 15 tok/s。

透過專家分頁器執行 8B 模型。iOS 12 將程式可對應的位址空間限制在約 1.7 GB(網頁伺服器使用者的上限為 1.3 GB),因此無法對應 Moon-Beam-8B 的 2.6 GB 檔案;若減少保留的專家數量來讓它塞得下,perplexity 會增加一倍以上(§21.7)。Dense Bonsai-8B 從快閃儲存執行時,速度為 0.08 tok/s。因此,我們將模型檔案重新編排,讓專家位於檔案末端,只對應前面的 474 MB;每一層在 RAM 中保留 14 個專家,路由器選中其他專家時,便透過 pread 從快閃儲存讀取。結果與未分頁的模型完全相同。稍微提高已在 RAM 中的專家之路由偏好(perplexity 增加 0.3%,仍在雜訊範圍內),就能在約 600 MB 記憶體下達到 2.4–2.8 tok/s(§21.8)。第二輪(§21.9)會依需求時間安排快閃儲存讀取、預先載入下一層可能用到的專家,並透過適用於 Q2_K 的查表 kernel 執行專家:3.4 tok/s,是密集型 8B 的 40 倍;完整評估文字的 perplexity 增加 0.7%。快閃儲存仍是瓶頸:每個 token 以 266 MB/s 的速度讀取約 53 MB。將權重接到 RAM 曾讓 iPad 的 kernel 發生 panic;先前使用 16 個專家的記憶體池也遇到相同問題。第三輪(§21.10)改用經衰減的使用頻率取代最近使用時間來淘汰專家,速度達到 3.5 tok/s,品質沒有損失。若要達到 5 tok/s,每個 token 需使用 4 個而非 8 個專家(perplexity 增加 27%);依每個 token 動態選擇專家數量,效果並不比固定數量好。16B 模型(§21.11):Ling-mini-2.0 有 16.3B 個引數,每層包含 256 個小型專家,透過相同的分頁器執行時,在路由方式不變下速度為 2.6 tok/s;perplexity 增加 2.6% 時為 3.3 tok/s;採用強快取偏好時則為 4.5 tok/s,記憶體用量不到 580 MB。它的 5.5 GB 檔案是透過 HTTP range request,從兩個已發布的量化版本組合而成,並直接串流到 iPad,因為 Mac 沒有足夠空間。它的大小是 Moon-Beam 的兩倍,速度卻相同,但並不是更好的模型(perplexity 高 3%)。

Speed against perplexity cost for Moon-Beam-8B-A1B and Ling-mini-2.0 on the iPad: Moon-Beam 3.5 tok/s at no cost up to 5.0 at +27 %; Ling 2.6 at no cost, 3.3 at +2.6 %, 4.5 at +8.5 %, 5.2 at +17 %

值得了解的限制。Bonsai 是 1-bit 模型,但仍會答錯事實(例如在一項測試中,它說水星是距離地球最近的行星)。實際可用的記憶體上限約為 700 MB:1-bit 權重無法壓縮,因此超過這個上限後,iOS 會開始終止程式;這也是 4B 模型需要使用 512-token 上下文的原因。越獄狀態在重新啟動後不會保留。快速輸出 head 會讓每次啟動後的第一個提示多花 2–3 秒。

內容一覽

適用於 Cortex-A55(ARMv8.2 dotprod,沒有 i8mm)的 kernels,以修補程式形式套用於 llama.cpp v0.8.0,每個 kernel 都會與純量參照實作進行精確度測試:

Kernel 之前 → 之後 位置
Q2_K,重新打包為 8 列 × 4 bytes,以供 vdotq_laneq 使用(上游只會在 x86 / RISC-V 上重新打包 Q2_K) 7.8 → 13.9 G 權重/秒;生成速度 +41 %,提示詞處理速度 2.4× E34
TQ1_0 / TQ2_0 三元量化,重新打包 9.5 → 14.4 / 11.9 → 19.1 G 權重/秒 E38
Ternary Q2_0 在 RAM 中達到 無損的每權重 1.875 位元(採用保留每 64 個權重縮放值的三進位打包) Ternary-Bonsai-4B 從「卡頓」提升至 3.2 tok/s E39, E42
Q1_0 位元平面:vtst 直接將位元平面轉成 vdot 的遮罩,不需要查表;8 位元列仿射縮放值(−5.6 %,誤差 0.07 %) Bonsai-4B 3.02 → 4.22 tok/s;Bonsai-8B 可裝入 0.96 GB E44, E52
融合 Gated-DeltaNet 步驟並直接寫入狀態(Qwen3.5) 2B 6.0 → 6.3-6.7 tok/s E28
DeltaNet 狀態改為依 ID 原地讀取,不再每個 token 都執行一次 1 MB/層的彙集操作;使用fp16 狀態(LLAMA_STATE_F16=1,在 UI 中預設啟用) 0.8B 11.9 → 12.9 tok/s;2B +2.5 %,困惑度增加 0.15 % E56, E61, E65
讓 LM head 使用快速核心:65,668 列的 head 從未重新打包(ggml 只會重新打包列數可被 8 整除的權重),因此新增 4 個 token 列;接著從重新打包的 head 重建嵌入列(反向執行 8 列交錯排列),而非從快閃儲存讀取;將單 token 的 DeltaNet 卷積步驟從 4 個節點融合為一個 NEON 指令 2B +7 %(基準測試與聊天);0.8B +9.5 % E69-E72
以 2 位元欄位儲存三元權重,並每 128 個權重合併縮放值:在順序執行的 A55 上,每個三進位數字需花費約 5 個 NEON 運算處理 16 個權重,而 2 位元欄位只需 2 個,因此多用 13 % RAM 就能換取速度。合併相鄰縮放值會使困惑度增加 0.18 % Ternary-Bonsai-4B 在聊天中的速度從 3.2 → 4.3 tok/s,提示詞處理速度從 7.0 → 9.6 E76, E77
1 位元查詢表核心(Four-Russians / T-MAC 風格):每組 32 列,根據浮點啟用值直接建立每 4 個啟用值使用的 16 項查詢表;每 128 次乘加約需 8 個 NEON 運算與 2 次載入,相較之下原本需 16 個運算與 4 次載入 Bonsai-8B 3.77 → 5.1-5.4 tok/s(搭配 E82、E88) E81
帶門檻的 Q8_0 注意力:先用 sdot 計算所有 K 點積,預先得知 softmax 最大值,接著略過低於最大值 + ln(1e-4) 的列之 expf 與 V 運算 生成 1,000 個 token 的答案不再讓速度減半(結尾速度從 2.50 → 約 4 tok/s) E86
依指引排程矩陣乘法:每個執行緒會取得剩餘列數/(2 × 執行緒數)的列,因此速度較慢或遭搶佔的執行緒只會留下短暫的收尾工作,不再讓核心閒置約 28 ms/token;依欄位拆分單列逐元素運算(ggml 原本將這些工作全交給執行緒 0) 2B 6.26 → 6.54 tok/s;0.8B +1.4 % E63, E64

記憶體技巧:

  • 裁減 LM head:只保留約 49-66 K 個最實用的詞彙列,依據英文、程式碼和另外 7 種語言中的 token 頻率選出。其他 logits 會設為 −inf。可省下 0.2-0.5 GB,並漏掉約 1 % 的英文 token。
  • 在快閃儲存上快取重新打包結果(GGML_REPACK_CACHE):重新打包後的權重只寫入檔案一次,之後以記憶體對映方式載入。模型可在數秒內載入。

無 head 模式(tools/tv-llm-mode.sh on|off):先啟動一個小型前景活動,接著強制停止啟動器、Google 服務和其他耗用大量資源的 App,並讓 svc power stayon 避免動畫螢幕保護程式消耗資源(佔用 17 % 的核心)。除了保持喚醒之外,不會留下任何持續設定,off 會還原此設定。可用記憶體從約 1000 → 約 1300 MB。免分支保護機制(tools/tv-watch.c)取代了每秒啟動約 25 個程式、使速度降低 10 % 的 shell 迴圈。

混合專家模型的專家分頁器(ggml-cpu/moe-pager-tv.inc):

  • 專家權重常駐快閃儲存:每個專家張量都對映到一段空的匿名記憶體;每層完成路由後,系統會立即透過平行 O_DIRECT 將缺少的專家讀入各自的位址;每層的 LRU 快取池(128 個專家中保留 43 個)則存放其餘專家。核心看到的是一般張量。重新打包快取收納 GGUF 中的專家權重後,原始權重位元組會以打洞方式釋出,因此模型在快閃儲存上只佔一份權重副本。
  • 快取感知路由(GGML_MOE_BIAS):對已在 RAM 中的專家給予小幅加成,可將快取未命中率從 13 % 降至約 2 %,代價是品質略有下降(arXiv 2412.00099 在其他模型上提出了這個概念)。每個 token 使用較少專家(LLAMA_MOE_USED=6)則是另一個可調引數。
  • 暖機啟動會載入各層最常使用的專家清單;預先閘控的預取則將第 L+2 層的路由器套用到第 L 層的隱藏狀態,預測路由器實際會選取哪些專家(使用 sigmoid、模型本身的選擇偏差和快取加成),並在快取未命中的專家需要之前,預先載入約 60 %。
  • 答案為何反覆兜圈,以及解決方式:2-bit 專家會在約 250-300 個字後破壞長篇內容的連貫性,而路由偏差會加劇這個問題。DRY 取樣只能掩蓋問題(模型會改述自己重複的內容);在 256 個 token 範圍內使用 1.15 的重複懲罰後,TV 上退化的長答案從 12/13 降至 1/13(E99、E100)。

為大於 RAM 容量的模型串流權重(ggml-cpu/stream-tv.inc):

  • 留在 RAM 中的內容:選定的部分權重會常駐於記憶體中,其餘權重則存放在「串流區」。
  • 預取:每個矩陣乘法都會透過掛鉤記錄權重的使用順序。接著,讀取執行緒會預先擷取串流區的權重,透過平行 8 MB O_DIRECT 讀取,直接寫入權重各自的位址,達到快閃儲存的完整 278 MB/s 速度。
  • 正確性:每個運算執行緒都會等到權重完整載入才開始運算,因此預測錯誤只會耗費時間,不會影響正確性。
  • 使用後釋放:每個串流區的權重會在使用後立即釋放。
  • 驗證模式:GGML_STREAM_VERIFY=1 會將每個串流張量與檔案比對。它找出了兩個未明顯顯示的資料毀損錯誤,並已在 E48 和 E50 中修正及記錄。
  • 推測解碼:使用模型本身的 MTP 頭,在受限於快閃儲存頻寬的情況下,驗證 2 個 token 的成本約等於讀取一次權重,因此有助益(+69 %)。在常駐 RAM 的 2B 模型上則表現較差(E31)。

效能分析(補丁中的環境變數開關):GGML_OPPROF=1 逐項運算表格、GGML_OPPROF=2 單一計算圖(tools/optrace.py)中逐節點、逐執行緒的追蹤記錄、LLAMA_UBATCH_PROF / GGML_CPU_PROF 階段耗時。這些資料顯示了小型模型的時間實際花在哪裡(E57):約 71 % 用於 Q4_K 矩陣乘法,每個 token 的同步屏障和排程則只花約 2 ms。

工具:

  • GGUF 串流改寫工具:在單次循序處理中加入裁剪後的輸出頭、額外張量和中繼資料,讓 Hugging Face → Mac → TV 流程不必將模型儲存在 Mac 上。
  • MTP 擷取工具:只會從 safetensors 範圍讀取 MTP 張量。
  • 記憶體防護:會包裝 TV 上的每次重度運算。
  • 基準測試與困惑度測試工具、可串流任意 Hugging Face GGUF 至 TV 並為其評分的模型篩選工具(tools/screen-small.sh),以及即時 token 串流網頁介面。

快速開始

你需要:TV 盒子(或其他採用 ARMv8.2 的 Android 裝置),並啟用網路 ADB、adb、zig(用於靜態 aarch64 musl 組建)、cmake + ninja、python3,以及 uv(用於 numpy)。

export ADB_SERIAL=<tv-ip>:5555          # every script talks to the box through this
adb connect $ADB_SERIAL

# 1. llama.cpp v0.8.0 + the patch, cross-compiled for the TV
git clone https://github.com/ggml-org/llama.cpp third_party/llama.cpp
cd third_party/llama.cpp && git checkout 8642541 && git apply ../../patches/llama.cpp-v0.8.0-tvbox.patch
cmake -S . -B build-tv -G Ninja -DCMAKE_SYSTEM_NAME=Linux -DCMAKE_SYSTEM_PROCESSOR=aarch64 \
  -DCMAKE_C_COMPILER=$PWD/../../zigcc/cc -DCMAKE_CXX_COMPILER=$PWD/../../zigcc/c++ -DCMAKE_BUILD_TYPE=Release \
  -DCMAKE_EXE_LINKER_FLAGS=-static -DBUILD_SHARED_LIBS=OFF -DGGML_NATIVE=OFF \
  -DGGML_CPU_ARM_ARCH=armv8.2-a+dotprod+fp16 -DGGML_OPENMP=OFF -DLLAMA_OPENSSL=OFF -DLLAMA_BUILD_TESTS=OFF
ninja -C build-tv llama-server llama-cli llama-bench llama-perplexity llama-quantize
cd ../..
adb -s $ADB_SERIAL shell mkdir -p /data/local/tmp/llm/patched25 /data/local/tmp/llm/patched
adb -s $ADB_SERIAL push third_party/llama.cpp/build-tv/bin/llama-{server,cli,bench,perplexity} /data/local/tmp/llm/patched25/
adb -s $ADB_SERIAL push third_party/llama.cpp/build-tv/bin/llama-quantize /data/local/tmp/llm/patched/   # used by tools/tv-quant.sh
zig cc -target aarch64-linux-musl -O2 -static -o gguf_recut tools/gguf-recut/gguf_recut.c && adb -s $ADB_SERIAL push gguf_recut /data/local/tmp/llm/

# 2. models: rebuilt from their Hugging Face sources straight onto the TV (see below)
tools/rebuild-models.sh 2b          # also: 08 4b b8 tb8 q9 mb lm caches

# 3. the live chat page (default: the 2B on patched25 with fp16 state), then open http://<tv-ip>:8090 from any device on the network
tv-llm-ui/start.sh
tv-llm-ui/start.sh stop

其他模型:

# Moon-Beam-8B-A1B MoE, ~7.2 tok/s (first: `tools/rebuild-models.sh mb`, needs a native Mac build and ~9 GB on the Mac while it runs).
# start.sh turns on headless mode, the expert pager, routing bias, prefetch and the repeat penalty; POOL / BIAS / EXPERTS override them.
MODEL=mb-q2-h60.gguf tv-llm-ui/start.sh
# Ling-mini-2.0 16B MoE, ~5.1 tok/s (first: `tools/rebuild-models.sh lm`)
MODEL=lm2-q2-h60.gguf tv-llm-ui/start.sh
# Bonsai-8B 1-bit fully resident, ~5.2 tok/s (first: `tools/rebuild-models.sh b8`; the repack cache is written on first start)
MODEL=b8-q1-hml.gguf tv-llm-ui/start.sh
sh /data/local/tmp/llm/tv-llm-mode.sh off   # on the TV, afterwards: launcher and screensaver back
# Qwen3.5-0.8B, ~16 tok/s (first: `tools/rebuild-models.sh 08`, needs a native Mac build of llama-quantize)
MODEL=q08-q4k-h65p8.gguf tv-llm-ui/start.sh
# The 8B / 9B numbers below were measured with the build of that time (patched16); the current build has the same
# code plus §15-17. GGML_CHUNK_GUIDED=0 in SENV restores the old matmul scheduling. No fp16 state with MTP.
# Bonsai-8B 1-bit with streaming and no headless mode, ~1.2 tok/s (first run: `tools/rebuild-models.sh b8 caches`)
MODEL=b8-q1-hml.gguf BIN=patched25 EXTRA="-ctk q8_0 -ctv q8_0 -fa on -cram 0" \
  SENV="GGML_REPACK_CACHE=/data/local/tmp/llm/cache/b8c GGML_REPACK_RESIDENT_MB=800 GGML_STREAM_MODE=cache GGML_STREAM_WINDOW_MB=64" tv-llm-ui/start.sh
# Qwen3.5-9B with MTP, ~0.27 tok/s
MODEL=q9-iq2-h65-mtp.gguf BIN=patched25 EXTRA="-nr -ctxcp 0 -cram 0 -ub 16 -b 64 --spec-type draft-mtp --spec-draft-n-max 1" \
  SENV="LLAMA_STREAM_RESIDENT_MB=600 LLAMA_STREAM_PIN=output.,blk.32. GGML_STREAM_WINDOW_MB=64" tv-llm-ui/start.sh

盒子上的所有內容都放在 /data/local/tmp/llm,並以 adb shell 使用者身分執行。唯一變更的系統設定是無頭模式下的保持喚醒(svc power stayon),tv-llm-mode.sh off 會將它關閉。adb shell rm -rf /data/local/tmp/llm 會移除所有內容。

模型檔案:不納入 git,可重新建置

模型檔案(每個 0.5-4 GB)不在此儲存庫中。tools/rebuild-models.sh 會從公開的 Hugging Face 檔案重新產生每個模型,並透過 tools/gguf_build.py 串流到電視上。以下 SHA-256 雜湊值對應實驗中使用的檔案。4B、Bonsai-8B 和 9B 檔案的重新建置結果經確認位元組完全相同。

可直接下載的檔案。各尺寸級距中表現最佳的檔案已原樣上傳至 Hugging Face,與電視上執行的版本完全相同。這些檔案需要上方經修補的 llama.cpp;原版 llama.cpp 無法載入經剪枝的注意力頭。每張卡片都附有執行命令和實測資料:

模型 Hugging Face 檔案
Qwen3.5-0.8B,16.8 tok/s hyperionaidev/Qwen3.5-0.8B-tvbox-GGUF q08-q4k-h65p8.gguf
Qwen3.5-2B,7.7 tok/s hyperionaidev/Qwen3.5-2B-tvbox-GGUF w-q4k-h65p8.gguf
Ternary-Bonsai-4B,4.3 tok/s hyperionaidev/Ternary-Bonsai-4B-tvbox-GGUF tb4-q20-hml.gguf
Moon-Beam-8B-A1B(MoE),7.2 tok/s hyperionaidev/Moon-Beam-8B-A1B-tvbox-GGUF mb-q2-h60.gguf + moe-warm-moonbeam.txt
Bonsai-8B(1-bit),5.2 tok/s hyperionaidev/Bonsai-8B-tvbox-GGUF b8-q1-hml.gguf
Ling-mini-2.0(16B MoE),5.1 tok/s hyperionaidev/Ling-mini-2.0-tvbox-GGUF lm2-q2-h60.gguf + moe-warm-ling.txt

使用 hf download hyperionaidev/<repo> --local-dir models/ 下載,再將檔案 adb push 到 /data/local/tmp/llm/,並將 moe-warm-*.txt 放在檔案旁。這會取代 08 / 2b / 4b / mb / b8 / lm 目標。8B 和 16B 模型會在首次啟動時寫入重新封裝快取。

iPad Air 下載專案。列出在 iPad 上執行的每個模型、下載位置及其執行速度。三個 MoE 檔案是我們自行建置的,針對 iPad 的專家分頁器與查詢表核心配置:需要 iOS 12 修補程式(ipad-air/);其他版本的 llama.cpp 雖可載入,但專家會錯亂。其餘模型則依發布時的原樣使用;Bonsai 模型的快速配置會在載入時於 RAM 中建置。總計 53 項實驗(E108-E160,§21):

模型 下載 iPad 速度(tok/s) 峰值 RSS 實驗
Ling-mini-2.0(16B MoE) hyperionaidev/Ling-mini-2.0-ipad-GGUF:lm2-q2-h60-lut.gguf(SHA-256 3e464310…4e50bd) 2.6,無偏差;偏差 0.1 時為 3.3(困惑度增加 2.6 %);偏差 0.3 時為 4.5;加入 --experts 6 後為 5.2 556-576 MB 4(E157-E160)
Moon-Beam-8B-A1B(MoE) hyperionaidev/Moon-Beam-8B-A1B-ipad-GGUF:mb-q2-h60-lut.gguf(SHA-256 acf1cb56…94b976);未重新封裝的專家在後檔案速度約慢 4 %,檔案為 hyperionaidev/Moon-Beam-8B-A1B-ipad-xl-GGUF:mb-q2-h60-xl.gguf(aa919400…871d7e) 3.5-3.6;使用 7 個專家時為 3.7-4.0(增加 0.4-1.9 %);使用 4 個專家時為 5.0(增加 27 %) 600-625 MB 19(E138-E156)
Bonsai-8B(1-bit,密集型) prism-ml/Bonsai-8B-gguf 0.08:無法放入 RAM,從快閃記憶體讀取 629 MB 4(E134-E137,包含最初幾次 Moon-Beam 嘗試)
Bonsai-4B(1-bit),-c 512 -b 64 prism-ml/Bonsai-4B-gguf 9.4-11.4;長時間聊天時為 9.2-10.3 615-682 MB 5(E129-E133)
Bonsai-1.7B(1-bit),預設模型 prism-ml/Bonsai-1.7B-gguf 23.7-25.8;長時間聊天時為 18-22 605 MB 11(E118-E128)
SmolLM2-360M-Instruct Q4_K_M bartowski/SmolLM2-360M-Instruct-GGUF 10.9-12.5 269-316 MB 10(E108-E117:首次執行、小型模型與網頁聊天)
Gemma 3 270M-it Q4_K_M unsloth/gemma-3-270m-it-GGUF 15.4-19.0 248-294 MB
SmolLM2-135M-Instruct Q4_K_M 原版 Q4_K_M 18.6-29.3 141 MB
Qwen3.5-0.8B Q4_K_M unsloth/Qwen3.5-0.8B-GGUF 約 0.2:持續交換記憶體 506 MB
stories15M q4_0 原版 在 llama-simple 中約 290
電視上的檔案 目標 建置來源 SHA-256
w-q4k-h65.gguf(Qwen3.5-2B) 2b unsloth/Qwen3.5-2B-GGUF BF16 + imatrix_unsloth,來自 Qwen/Qwen3.5-2B 的 MTP 區塊,在 TV 上量化,head data/head-ids-ml60k.txt 16057be3…3285b
w-q4k-h65p8.gguf(Qwen3.5-2B,預設) 2b 上方檔案在 TV 上使用 data/head-ids-ml60k-p8.txt 重新切分(65,672 列,因此 head 會重新封裝,§17) 631a27ae…54fd11
w-q4k-h45.gguf(選項) 2b45 相同內容,45,654 列的 head data/head-ids-ml40k.txt(與 E29 的 H45 檔案逐位元組相同) a50eadc5…664d5b
q08-q4k-h65.gguf(Qwen3.5-0.8B) 08 unsloth/Qwen3.5-0.8B-GGUF BF16 + 它的 imatrix_unsloth,純 Q4_K,head data/head-ids-ml60k.txt,在 Mac 上量化 901f3838…8523a6b
q08-q4k-h65p8.gguf 08 上方檔案在 Mac 上使用 data/head-ids-ml60k-p8.txt 重新切分(§17) 7dd2aac5…52fc232
tb4-q20-hml.gguf 4b prism-ml/Ternary-Bonsai-4B-gguf Q2_0_g64,head data/head-ids-qwen3-ml64k.txt a02d805f…3fe24
b8-q1-hml.gguf b8 prism-ml/Bonsai-8B-gguf Q1_0,相同的 head fc297cb3…0d42a
tb8-q20-hml.gguf tb8 prism-ml/Ternary-Bonsai-8B-gguf Q2_0_g64,相同的 head 01b1e0ef…93e06
mb-q2-h60.gguf mb tablinum/Moon-Beam-8B-A1B-GGUF-Preview Q8_0,在 Mac 上重新量化:experts 為 Q2_K,其餘為 Q4_K,使用來自 data/corpus 的專屬 imatrix,head data/head-ids-ling-60k.txt;在寫入重新封裝快取(cache/mbq2.*)後,於 TV 上對 expert 位元組執行打孔 2d78fcdd…1c34ee
lm2-q2-h60.gguf lm bartowski/inclusionAI_Ling-mini-2.0-GGUF Q4_K_M + 它的 imatrix:在 Mac 上將 experts 重新量化為 Q2_K,其餘為 Q4_K,head data/head-ids-ling-60k.txt;在寫入重新封裝快取(cache/lmq2.*)後,於 TV 上執行打孔 c089aeb0…e8d7
q9-iq2-h65-mtp.gguf q9 unsloth/Qwen3.5-9B-GGUF UD-IQ2_XXS,來自 Qwen/Qwen3.5-9B 的 MTP 區塊(Q4_0),65K head 7766478e…8dcbc
cache/b8c.*、cache/tb8.* caches 由第一次執行使用 GGML_REPACK_CACHE 寫入

data/ 中的 head ID 清單由 tools/vocab_select.py(Qwen3.5 tokenizer)和 tools/head_select_tok.py(任何 tokenizer,透過 llama-tokenize)根據 tools/fetch_corpus.py 下載的語料庫(Wikipedia + Project Gutenberg)產生。

配置

路徑 內容
EXPERIMENT.md 完整報告:§1-8 第一個微型模型,§9-10 llama.cpp 與首次 flash 串流,§11 推進至 2B,§13 推進至 4B,§14 推進至 9B,§15 推進 0.8B 速度,§16-17 第 3-4 輪 2B,§18 第 2 輪 4B(arXiv / GitHub 掃描、2 位元三元配置),§19 推進至 8B(無 head 模式、LUT kernel、搭配 expert pager 的 Moon-Beam MoE、長篇回答為何會重複),§20 超過 9B(Ling-mini-2.0 16B,以及 LFM2.5-24B 和 Qwen3.6-35B 為何無法容納)
patches/llama.cpp-v0.8.0-tvbox.patch llama.cpp 的所有變更:為 Qwen3 / Qwen3.5 / Granite 4.0 H 裁剪 head(output_ids)、上述 kernels(ggml-cpu/repack-*-tv.inc)、融合 DeltaNet(依 ID 讀取 state、可選 fp16 state、單 token conv 步驟)、1-bit LUT kernel、Q8_0 attention、帶有 routing bias 和預取功能的 MoE expert pager(ggml-cpu/moe-pager-tv.inc)、為 bailingmoe3 裁剪 head、從常駐 head 取得 embedding 列、重新封裝快取與串流引擎(ggml-cpu/stream-tv.inc、loader hooks)、小批次填補、op profiler、支援裁剪 head 的 perplexity、Mali 的 Vulkan 調校
tools/ GGUF 重寫器/head 裁剪器/重新切分器、詞彙選取、語料庫與 MTP 擷取器、模型重建指令碼、TV 記憶體防護與 RAM 輔助工具、基準測試掃描、kernel 基準測試與精確度檢查(kbench/)、flash 基準測試
tv-llm-ui/ llama-server 的即時 token 串流頁面(信心度顏色、前三名替代選項、速度、方框統計)、其啟動器與基準測試工具
tiny-llm-web/ 首次實驗使用的 llama2.c 故事伺服器 + TV 頁面
bench/ results.jsonl(所有聊天基準測試:提示、輸出、速度)和 raw/(每次實驗的記錄)
data/ head ID 清單與兩份評估文本
zigcc/ 用於交叉編譯靜態 aarch64 二進位檔的 Zig 包裝程式
ipad-air/ 裝置 #2:交叉編譯以支援 iOS 12,smolchat(終端機聊天與 Safari 網頁),部署與基準測試指令碼(README,§21)
screenshots/ 在 TV 上執行的網頁

心得

  • 在這臺裝置上,4 位元的 2B 模型勝過所有以 1-2 位元量化的較大模型。低於約 2.5 位元的訓練後量化會破壞一般模型(E22、E23、E35)。針對 1 位元或三元量化訓練的模型能維持效能,但 4-8 B 的模型若不使用串流就無法容納。
  • 超出 RAM 容量後,速度取決於快閃記憶體頻寬。對於大於快取的迴圈掃描,kernel 的 LRU 是最糟的策略:每個 token 都會重新讀取所有資料。保留固定的常駐集合,其餘部分自行串流。
  • 當瓶頸在快閃儲存時,批次處理不花額外成本。無論提示詞和推測式驗證的大小,成本都約等於讀取一遍權重。
  • 先測量,再驗證。兩個串流處理錯誤造成看似合理的速度和錯誤的數字;只有拿張量與檔案比對,並將困惑度與 Mac 參考值比對,才發現問題。
  • 小型模型的權重大多花在詞彙表。Qwen3.5-0.8B 有 248K 列的輸出層,佔總權重三分之一;將它裁剪至 65K 列並全部使用 Q4_K 後,速度從 7.5 提升至 12.1 tok/s(E55)。小型模型使用 4 位元量化時,效能損失也較大(困惑度增加 7 %,而 2B 為 2.3 %)。
  • 寫核心程式前先做模擬。啟用值稀疏性(E58)和低秩輸出層(E60)在紙面上都很有希望;但在 Mac 上進行品質模擬後,不到一小時就淘汰了兩者。
  • 在順序執行核心上,NEON 運算數量和位元組數都要計算。更緊密的封裝減少了 20 % 的位元組,卻讓運算數量增加 2.5 倍;取消這項最佳化後,4B 在聊天中的速度提升了 33 %(E76、E77)。4 位元核心則相反,瓶頸在 RAM(E27),因此這個技巧對 2B 或 0.8B 沒有幫助。
  • 確認每個大型矩陣都使用快速核心。2B 的輸出層(65,668 列,約佔每個 token 權重的 10 %)因為 ggml 只會重新封裝列數可被 8 整除的矩陣,幾週來一直悄悄使用通用核心;多加四列就提升了 5.8 %(E71、E72)。載入記錄中的重新封裝緩衝區大小可以看出這個問題。
  • 大部分 RAM 用量來自 Android,而非模型。在執行期間強制停止啟動器和 Google 服務(不會永久變更設定),讓 Bonsai-8B 完整載入 RAM:尚未進行任何核心最佳化,速度就從 1.2 提升至 3.6 tok/s(E80)。動畫螢幕保護程式和每秒建立 25 個子程式的監控程式,又分別讓速度下降 10-15 %(E82、E88)。
  • 對混合專家模型而言,快閃儲存讀取是快取未命中,不是串流讀取。每個專家約有 6 ms 的未命中延遲,因此專家池的命中率決定了速度;讓路由優先選取快取中的專家,並預先載入下一個路由器可能挑選的專家,速度便從 4.4 提升至 7.2 tok/s。
  • 困惑度看不出重複迴圈。它會在乾淨文字上逐一評估 token;2 位元模型的分數看似不錯,長篇回答卻有 13 次中的 12 次陷入迴圈。也要評分長篇自由生成內容(tools/loop_stats.py),並以位元/位元組比較使用不同分詞器的模型,切勿用困惑度比較。
  • 超過 9B 後,要計算常駐位元組數,而不是引數量。此處混合專家模型的上限,取決於必須留在 RAM 的非專家權重,以及實用的專家池。Ling-mini-2.0(16B)常駐記憶體用量為 279 MB,速度為 5 tok/s;Qwen3.6-35B-A3B 在快取任何專家之前就需要約 870 MB(§20)。
  • 保護好裝置。早期發生兩次核心程式當機後,現在所有高負載工作都會透過一個包裝程式執行;可用記憶體低於 180 MB 時便會終止工作。

授權

MIT。llama.cpp 修補程式是 llama.cpp(MIT)的衍生作品。模型權重沿用各自的授權;評測文字摘錄自維基百科(CC BY-SA 4.0)。

致謝

以 llama.cpp 和 llama2.c 為基礎建置。模型來自 Qwen、unsloth(GGUF 檔案與重要性矩陣)、PrismML(Bonsai)、Google(Gemma)和 stories260K。評測文字摘錄自維基百科(CC BY-SA 4.0)。🤏 標誌使用 Google Noto Emoji(Apache 2.0)中的捏合手勢表情符號。

讀者討論

理性交流 · 即時討論