smolmaxxing 實測在電視盒與 2013 年 iPad Air 執行大型語言模型
I'm making LLMs work on small and old devices
smolmaxxing 展示如何透過自訂核心、記憶體管理與權重串流,讓大型語言模型在低規格裝置上執行,並逐步記錄硬體實測結果。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
專案以兩款低規格裝置的實測拆解運算、記憶體與快閃儲存瓶頸,並呈現對應最佳化方法及速度變化。
你身邊的每臺裝置,都比看起來更有能力。電視盒、舊手機、單板電腦和路由器都配備了 CPU、RAM 和快閃記憶體,但一天中大部分時間都閒置著。smolmaxxing的目標是釋放這些裝置的能力:找出每臺裝置實際能執行的最大語言模型,再透過自訂核心、更聰明的記憶體使用方式和權重串流,進一步提升效能。每項效能資料都直接在硬體上測量。
裝置 #1 是 Xiaomi TV Box S(第 3 代):Amlogic S7D、4× Cortex-A55 @ 2.5 GHz、1.9 GB RAM(約 1 GB 可用)、eMMC 快閃記憶體、Android 14,未取得 root 許可權。這個儲存庫讓它能執行引數量從 260 K 到 16 B 的模型:
- Qwen3.5-0.8B:16.8 tok/s(是原廠 7.5 的 2.2 倍;測量時間為 11-05 晚間,請見 §17)。
- Qwen3.5-2B:實際聊天速度為 7.7 tok/s。電視盒的速度一天內會波動約 10%,因此每個步驟都會緊接著測量:§16 提升了 11%,§17 又提升了 7%。
- 8B 混合專家模型(Moon-Beam-8B-A1B):實際聊天速度為 7.2 tok/s,需要時才從快閃記憶體載入專家,並提前預取下一層(§19)。
- 密集型 1-bit 8B 模型(Bonsai-8B):實際聊天速度為 5.2 tok/s,原先為 1.2;透過「headless」模式讓模型完整常駐記憶體,再搭配查詢表核心達成(§19)。
- 16B 混合專家模型(Ling-mini-2.0):實際聊天速度為 5.1 tok/s,能連貫地回答長達 600 字的問題,使用相同的專家分頁機制,未做任何修改(§20)。模型大小是 Moon-Beam 的兩倍,但每位元組的效能並未更好:在這臺電視盒上,只有模型本身更好時,較大的模型才有優勢。
- 密集型 9B 模型:0.27 tok/s,大部分權重都從快閃記憶體串流載入。
裝置 #2 是第一代 iPad Air(2013):Apple A7、2 核心、NEON 不支援 dotprod、1 GB RAM、iOS 12.5.7,已越獄,僅使用 CPU。一臺 13 年前的平板能以24-26 tok/s(長時間聊天時為 18-22)執行 1.7B 引數模型;以約 10 tok/s執行 4B 模型;以約 3.5 tok/s執行 8B 混合專家模型(只用一半專家時為 5,但品質會下降);也能以 2.6-4.5 tok/s 執行16B 模型。這些模型的專家會從快閃記憶體分頁載入,並透過平板 Safari 中的聊天頁面執行。請見裝置 #2 的測試結果。
每個步驟都有逐項記錄實驗結果,詳見EXPERIMENT.md(E1-E160)。
裝置
| 裝置 | 狀態 |
|---|---|
| Xiaomi TV Box S(第 3 代):Amlogic S7D、Cortex-A55、2 GB | ✅ 已完成:260K → 16B 引數;8B 為 5-7 tok/s,16B 為 5 tok/s |
iPad Air(2013):Apple A7、2 核心、1 GB、iOS 12.5.7,已越獄(ipad-air/) |
✅ 正在執行:Bonsai-1.7B(1-bit)為 24-26 tok/s,長時間聊天時為 18-22;Bonsai-4B 約 10 tok/s;Moon-Beam-8B-A1B(MoE)約 3.5 tok/s;Ling-mini-2.0(16B MoE)為 2.6-4.5 tok/s;僅使用 CPU |
| 更多電視盒、手機、單板電腦、路由器…… | 🔜 即將推出 |
這些技術不只適用於某一臺電視盒。1-bit 查詢表核心只需要基礎 NEON,iPad 已證明這一點;任何支援 dotprod 的 ARM 晶片都能使用其他核心;而任何模型大小超過 RAM 的 Linux 或 Android 裝置,都能使用串流引擎。
效能排行榜
| 級別 | 最佳模型 | 首次執行 → 目前(tok/s) | 提升幅度 | 每位元組位元數 | 達成方式 | 下載 |
|---|---|---|---|---|---|---|
| 0.8B | Qwen3.5-0.8B | 7.5 → 16.8 基準測試 | ×2.2 | ≈1.00 | 全採用 Q4_K、補齊至 65K 的輸出頭、fp16 DeltaNet 狀態 | HF |
| 2B | Qwen3.5-2B | 0.1 → 7.7 聊天 | ×77 | 0.909 | 全採用 Q4_K、補齊至 65K 的輸出頭、融合 DeltaNet | HF |
| 4B | Ternary-Bonsai-4B | 2.2 → 4.3 聊天 | ×2.0 | ≈0.965 | 三元權重儲存於 2-bit 欄位中,並合併縮放值 | HF |
| 8B 稠密模型 | Bonsai-8B(1 位元) | 1.21 → 5.2 對話 | ×4.3 | 0.974 | 1 位元查詢表核心,在無頭模式下完全常駐於記憶體 | HF |
| 8B MoE | Moon-Beam-8B-A1B | 1.87 → 7.2 對話 | ×3.9 | 0.996 | Q2_K 專家層從快閃記憶體分頁載入、具快取感知的路由、預先擷取 | HF |
| 9B | Qwen3.5-9B | 0.16 → 0.27 對話 | ×1.7 | 0.885 | 權重串流,加上專屬的 MTP 頭 | 重新建置(q9) |
| 16B MoE | Ling-mini-2.0 | 4.1 → 5.1 對話 | ×1.2 | 1.054 | 採用 Moon-Beam 配方,未作更動 | HF |
「首次執行」指各模型第一次在這臺裝置上執行:
- 0.8B:原版 Q4_K_M 檔案。
- 2B:原版檔案,因為無法放入 RAM,所以從快閃記憶體串流載入。第一個能完整放入記憶體的建置版本速度為 4.8,因此從那時起提升了 ×1.6。
- 4B:原版檔案,造成了嚴重的記憶體換頁。
- 8B 稠密模型:最後 0.1 GB 從快閃記憶體串流載入。
- 8B MoE:首次執行專家層分頁載入,未使用路由偏置。
- 9B:以串流方式載入。
- 16B:一開始就採用 Moon-Beam 配方,因此提升幅度較小。
在這臺裝置上,2B 是速度與品質的最佳平衡。Ling-mini-2.0 顯示,模型更大不一定更好:它的大小是 Moon-Beam 的兩倍,但每位元組的評分較差,執行速度也較慢。
我們打造的專案,依所針對的瓶頸分組(詳細資訊與資料見 此處內容):
| 瓶頸 | 創新專案 | 最大幅度的提升 |
|---|---|---|
| 運算(依序執行的 A55,10 項) | 為 vdotq_laneq 重新封裝成 Q2_K 與三元格式、1 位元位元平面、1 位元查詢表核心、以 2 位元欄位表示三元值、帶有跳過門檻的 Q8_0 注意力、融合式 Gated-DeltaNet、依 ID/fp16 讀取 DeltaNet 狀態、在快速核心上執行 LM 頭、引導式矩陣乘法排程 |
Q2_K:7.8 → 13.9 G 權重/秒;Bonsai-8B:3.77 → 5.1-5.4;4B:3.2 → 4.3;長回答不再讓速度減半 |
| RAM(約 1 GB,5 項) | 精簡的 LM 頭、無損 1.875 位元三元格式、無頭模式、無分支的記憶體防護、快閃記憶體上的重新封裝快取 | 每個模型減少 0.2 至 0.5 GB;可用 RAM 約 1,000 → 約 1,300 MB;Bonsai-8B 在尚未進行任何核心最佳化前就從 1.2 提升至 3.6 |
| 快閃記憶體(278 MB/s,5 項) | 使用 O_DIRECT 串流載入權重、受快閃記憶體限制時進行 MTP 推測解碼、專家層分頁載入器、具快取感知的路由、預先閘控的預先擷取 | 9B 提升 69%;專家層快取未命中率從 13% 降至約 2%;Moon-Beam 從 4.4 提升至 7.2 |
| 輸出品質(2 項) | 長回答退化測試、對 256 個 token 套用 1.15 的重複懲罰 | 退化的長回答從 12/13 降至 1/13 |
裝置 #1 的測試結果
品質以固定的 22 KB 文字計算英文困惑度,再換算為每位元組位元數,讓使用不同 tokenizer 的模型能公平比較(數值越低越好)。速度是在電視裝置上生成文字的速度,測量方式為透過 llama-server 傳送實際聊天請求(「對話」),或使用 llama-bench(「基準測試」)。
| 模型 | 裝置上的大小 | 品質(每位元組位元數) | 生成速度 | 提示速度 | 備註 |
|---|---|---|---|---|---|
| stories260K(llama2.c) | 1 MB | 不適用 | 約 650 token/s | 不適用 | 最先成功執行的專案(§1-8) |
| Gemma 3 270M Q4_K_M | 253 MB | 不適用 | 22 tok/s | 73 tok/s | |
| Qwen3.5-0.8B Q4_K_M(原版) | 497 MB | 不適用 | 7.5(基準測試) | 28 tok/s | |
| Qwen3.5-0.8B,全 Q4_K + 65K 頭 | 442 MiB(566 MB RSS) | ≈1.00* | 16.8(基準測試) | 33 tok/s | 目前同等品質下速度最快(§15-17) |
| Qwen3.5-2B,全 Q4_K + 65K 頭 | 0.99 GB | 0.909 | 7.7(對話) | 17.8 | 預設選擇:整體表現最佳(§11、§16、§17) |
| Ternary-Bonsai-4B,合併尺度因子 + 2 位元欄位 | 1.03 GB | ≈0.965 | 4.3(對話)(4.8 基準測試) | 9.6 | 最佳 4B:同一建置版本原先為 3.2(對話)/7.0(提示)(§18) |
| Moon-Beam-8B-A1B(MoE),Q2_K 專家層 + 60K 頭 | 0.48 GB GGUF + 2.6 GB 重打包快取(位於快閃儲存裝置),~1.1 GB RSS | 0.996 | 7.2 對話 | 不適用 | 速度最快的 8B:128 個專家,使用 6 個;專家分頁、快取感知路由、預先閘控預取,以及用於抑制長回答迴圈的重複懲罰(§19,無頭模式) |
| Ling-mini-2.0(MoE,16.3 B),Q2_K 專家 + 60K head | 0.47 GB GGUF + 5.3 GB 重打包快取(位於快閃儲存裝置),~1.13 GB RSS | 1.054 | 5.1 對話 | 不適用 | 速度可用的最大模型:256 個專家,每個 1 MB;使用 8 個,每層有 43 個專家的池,偏差值 0.3(§20) |
| Bonsai-8B,1-bit,LUT 核心 | 0.96 GB,全部常駐 | 0.991(head 上為 0.974) | 5.2 對話(基準測試為 5.1-5.4),上下文約 900 個 token 時為 4.0 | 5.8-6.1 | 最佳密集型 8B:無頭模式、Q8_0 注意力(§19) |
| Bonsai-8B,1-bit + 精簡尺度值 | 0.84 GB + 0.12 GB 串流載入 | 0.991 | 1.21 對話(基準測試為 2.2) | 4.9 | §14,無頭模式之前 |
| Ternary-Bonsai-8B | 0.89 GB + 0.80 GB 串流載入 | 0.919 | 基準測試為 0.31 | 3.45 | §14 |
| Qwen3.5-9B UD-IQ2_XXS + MTP | 0.63 GB + 1.6 GB 串流載入 | 0.885 | 0.16 對話,搭配 MTP 為 0.27 | 0.8 | 品質最佳;受限於快閃儲存(§14) |
* 以修剪後 head 的位置測量(1.3 % 的 token 落在其範圍外),因此無法完全直接比較;原廠完整詞彙表 Q4_0 檔案的分數為 1.024。
其他小型模型,原廠檔案(篩選,§15 E54):
| 模型 | 生成速度(基準測試) | 提示詞 | 位元/位元組 |
|---|---|---|---|
| LFM2.5-350M(QAD Q4_0) | 23.7 tok/s | 104 tok/s | 1.805 |
| LFM2-700M(Q4_0) | 11.5 tok/s | 52.8 tok/s | 1.169 |
| Qwen3-0.6B(Q8_0) | 9.35 tok/s | 50.6 tok/s | 1.059 |
| LFM2.5-1.2B(QAD Q4_0) | 8.3 tok/s | 31.6 tok/s | 1.133 |
| Llama 3.2 1B(Q4_0) | 7.0 tok/s | 29.5 tok/s | 0.998 |
| Ternary-Bonsai-2-2B(Q2_0) | 5.9 tok/s | 15.8 tok/s | 1.124 |
| Gemma 3 1B(Q4_K_M) | 5.7 tok/s | 11.1 tok/s | 1.260 |
| Granite 4.0 H 1B(Q4_0,~1.5 B) | 出廠時太大,無法使用 | 0.916 | |
| ↳ 重新建置:全部採用 Q4_K、Q8_0 embedding、48K head(E62) | 5.29 tok/s(僅在釋放 RAM 後才能載入,950 MB RSS) | 0.919 | |
| LFM3-1.7B(QAD Q4_0) | 無法載入 |
Granite 4.0 H 1B 是唯一品質接近 2B 的模型。依我們的方式重新建置(E62)後,速度為 5.29 tok/s,低於 2B 的 6.55,品質也稍低:它每個 token 使用的權重位元組數約為 0.8B 的兩倍。
裝置的物理限制:單一程式可使用約 0.96 GB,之後 Android 就會開始終止程式(無頭模式下約為 1.15 GB,此時已強制停止啟動器和 Google 服務);快閃儲存讀取速度最高為 278 MB/s,單次約 1 MB 的隨機讀取則需約 6 ms。每個 token 都必須串流載入 X MB 的模型,速度就不可能超過每秒 278 / X 個 token。這才是所有 2B 以上模型的瓶頸,而不是 CPU;MoE 模型每個 token 只會讀取 8 B 權重中的約 1 B,因此能突破這個限制。
8 B 模型能達到 10 tok/s 嗎? 這是實測結果,不是猜測(E98):Moon-Beam 每個 token 使用 2 個專家時可達 10.4 tok/s,但產生的文字會變成亂碼;最流暢且連貫的設定約為 7-8 tok/s。密集型 Qwen3-8B 就是 1-bit 的 Bonsai-8B,而最小的 Qwen MoE(35B-A3B)每個 token 會讀取 Moon-Beam 三倍的權重。
第 2 臺裝置的結果
2013 年款 iPad Air:Apple A7、2 核心、不支援 dotprod 的 NEON、1 GB RAM、iOS 12.5.7,並透過 Amethyst 越獄。所有運算都在 CPU 上以 2 個執行緒執行,上下文為 1,024 個 token,從 Mac 交叉編譯而來。完整報告位於 EXPERIMENT.md 的 §21,建置步驟則見 ipad-air/README.md。
| 模型 | 檔案 | 生成速度(tok/s) | RSS 峰值 | 固定三題測試 |
|---|---|---|---|---|
| Bonsai-1.7B Q1_0(1-bit) | 237 MiB | 23.7-25.8,長時間對話中為 18-22 | 605 MB | 三題全答對,並能寫出正確程式碼:推薦使用的模型 |
Bonsai-4B Q1_0(1-bit),-c 512 -b 64 |
546 MiB | 9.4-11.4,長時間對話中為 9.2-10.3;作為伺服器執行時,iOS 會在幾分鐘內將其重置 | 615-682 MB | 在法國題目答對、潮汐題大多答對,每次都無法回憶;每位元組效率較高(1.073 vs 1.158 bits/byte) |
Moon-Beam-8B-A1B(MoE,Q2_K experts)、專家分頁器、-c 512 -b 64 |
2.6 GiB(對映 474 MB) | 較長回答時為 3.5-3.6;使用 --experts 4 時為 4.9-5.1(perplexity 增加 27 %) |
約 600-625 MB | 三題全答對;適合單次工作階段的模型,對常駐伺服器來說太大 |
| SmolLM2-360M-Instruct Q4_K_M | 258 MiB | 10.9-12.5 | 269-316 MB | 三題全答對;最輕巧的優質選擇 |
| Gemma 3 270M-it Q4_K_M | 241 MiB | 15.4-19.0 | 248-294 MB | 潮汐題答錯,回憶題沒有回覆 |
| SmolLM2-135M-Instruct Q4_K_M | 101 MB | 18.6-29.3 | 141 MB | 法國題和回憶題答對,潮汐題表現不佳 |
| Qwen3.5-0.8B Q4_K_M | 508 MiB | 約 0.2 | 506 MB | 持續大量置換頁面快取,已手動停止 |
只有 Bonsai 和 Moon-Beam 這兩列是在最新版本上測量。其他列是在下方提到的注意力和取樣器改進之前測得。
| 類別 | 最佳模型 | 首次執行 → 現在(tok/s) | 提升幅度 | 改進方式 |
|---|---|---|---|---|
| 1.7B | Bonsai-1.7B(1-bit) | 2.75 → 23.7-25.8 | ×8.6 | 不使用 dotprod 的無乘法與查詢表 1-bit 核心、使用快速核心的 LM head、含剪枝的列順序注意力、單趟取樣器 |
| 4B | Bonsai-4B(1-bit) | 9.4-11.4 | 沿用 1.7B 的核心、每個 K head 對應 4 個 q heads 的注意力、-c 512 -b 64 以維持在約 700 MB 的上限內 |
|
| 8B dense | Bonsai-8B(1-bit) | 0.08 | 無法裝入 RAM;每生成一個 token 都要從快閃記憶體重新讀取大部分檔案 | |
| 8B MoE | Moon-Beam-8B-A1B | 無法載入 → 1.6 → 3.5(使用 4 個 experts 時為 5.0,perplexity 增加 27 %) | ×2.2 | 專家分頁器、Q2_K 查詢表核心、預先擷取、快取偏差 0.03、依頻率淘汰 |
| 16B MoE | Ling-mini-2.0 | 無法載入 → 2.6(增加 2.6 % 時為 3.3,偏差 0.3 時為 4.5) | 新增 | 沿用 Moon-Beam 的做法,並透過 HTTP 組裝模型檔後直接串流至 iPad |
「無法載入」:iOS 12 限制程式最多對映約 1.7 GB,因此標準版 llama.cpp 在執行任何 token 前,就會因 2.6 和 5.5 GB 的檔案而失敗。Moon-Beam 的「首次執行」是指第一次使用專家分頁器執行(pool 8,無偏差)。
我們在 iPad 上打造的功能,依其所解決的瓶頸分類:
| 瓶頸 | 改進專案 | 最大成效 |
|---|---|---|
| 運算能力(雙核心 A7、沒有 dotprod,共 6 項) | 無乘法的 1-bit 核心、將電視的 1-bit 查詢表核心移植至基礎 NEON、繫結 LM head 的查詢表版本、含剪枝的列順序注意力(每個 K head 對應 2 或 4 個 q heads)、使用 40 項堆積結構的單趟取樣器、供 experts 使用的 Q2_K 查詢表核心 | Bonsai-1.7B 從 2.75 → 3.45 → 約 11 → 23.7-25.8 tok/s;取樣時間從每個 token 3 → 0.23 ms;僅靠 Q2_K 核心,Moon-Beam 從 2.94 → 3.06 |
| 位址空間與 RAM(可對映約 1.7 GB、可用約 700 MB,共 4 項) | 只對映非專家部分的專家分頁器(experts-last 檔案)、為 bailingmoe2 和 bailingmoe3 剪枝的 LM heads、小型批次(-c 512 -b 64)、在 iOS 12 上停用編譯 std::filesystem |
8B 和 16B MoE 模型都能載入,記憶體用量為 556-625 MB;Bonsai-4B 可裝入 |
| 快閃記憶體(約 260 MB/s,共 5 項) | 未快取的 pread 搭配 4 個讀取器、依需求時間排入讀取工作、預先閘控的預先擷取、依快取狀況調整的路由偏差、依頻率衰減的淘汰機制 |
Moon-Beam 在不損失品質的情況下,從 1.6 → 3.5 tok/s;僅靠淘汰機制,快取未命中率從 42 % → 38 % |
| 工具(共 5 項) | 附帶頁面錯誤計數的運算元分析器、專家追蹤與快取模擬器、裝置端 perplexity(tinyppl)、透過 HTTP range requests 組裝模型、會終止孤立執行程式的基準測試工具 |
找出未使用快速核心的 LM head(45 of 72 ms);排除軟性錯誤理論;只用 Mac 磁碟上的 1.4 GB 空間就建置出 5.5 GB 模型 |
Bonsai-1.7B 如何從 2.75 提升到約 25 tok/s(全程使用同一個模型檔):
| 步驟 | tok/s | 變更內容 |
|---|---|---|
| 標準版 llama.cpp,2 個執行緒 | 2.75 | 以 widening multiply 模擬 dotprod |
| 不需乘法的 NEON kernel | 3.45 | 權重為 ±1,因此不需要乘法;輸出完全相同 |
| 將裝置 #1 的查表 kernel 移植到基礎 NEON | 約 11 | 結果證明,它對 dotprod 的需求只是假設 |
| 該 kernel 的輸出 head | 18-22 | 151,669 列不是 32 的倍數,因此繫結的 head 從未執行到它:每個 token 有 45/72 毫秒花在這裡 |
| 依序處理列並進行剪枝的 attention,以及不排序詞彙表的 sampler | 23.7-25.8 | KV cache 會將同一列的所有 head 並排儲存,因此一次只處理一個 head 時,幾乎每次都會 cache miss |
在長對話中(回答 400 個 token),單靠 attention 的改進,就讓三輪對話的速度從 15.4 / 7.6 / 8.2 提升到 21.8 / 17.9 / 18.4 tok/s。要讓長對話維持在 17 tok/s 以上所需的剪枝閾值,在 1,024 個 token 的上下文下會讓 perplexity 增加 0.42%,接近 ±0.3% 的雜訊範圍;GGML_FA_EPS=0.0001則能換回約 15 tok/s。
透過專家分頁器執行 8B 模型。iOS 12 將程式可對應的位址空間限制在約 1.7 GB(網頁伺服器使用者的上限為 1.3 GB),因此無法對應 Moon-Beam-8B 的 2.6 GB 檔案;若減少保留的專家數量來讓它塞得下,perplexity 會增加一倍以上(§21.7)。Dense Bonsai-8B 從快閃儲存執行時,速度為 0.08 tok/s。因此,我們將模型檔案重新編排,讓專家位於檔案末端,只對應前面的 474 MB;每一層在 RAM 中保留 14 個專家,路由器選中其他專家時,便透過 pread 從快閃儲存讀取。結果與未分頁的模型完全相同。稍微提高已在 RAM 中的專家之路由偏好(perplexity 增加 0.3%,仍在雜訊範圍內),就能在約 600 MB 記憶體下達到 2.4–2.8 tok/s(§21.8)。第二輪(§21.9)會依需求時間安排快閃儲存讀取、預先載入下一層可能用到的專家,並透過適用於 Q2_K 的查表 kernel 執行專家:3.4 tok/s,是密集型 8B 的 40 倍;完整評估文字的 perplexity 增加 0.7%。快閃儲存仍是瓶頸:每個 token 以 266 MB/s 的速度讀取約 53 MB。將權重接到 RAM 曾讓 iPad 的 kernel 發生 panic;先前使用 16 個專家的記憶體池也遇到相同問題。第三輪(§21.10)改用經衰減的使用頻率取代最近使用時間來淘汰專家,速度達到 3.5 tok/s,品質沒有損失。若要達到 5 tok/s,每個 token 需使用 4 個而非 8 個專家(perplexity 增加 27%);依每個 token 動態選擇專家數量,效果並不比固定數量好。16B 模型(§21.11):Ling-mini-2.0 有 16.3B 個引數,每層包含 256 個小型專家,透過相同的分頁器執行時,在路由方式不變下速度為 2.6 tok/s;perplexity 增加 2.6% 時為 3.3 tok/s;採用強快取偏好時則為 4.5 tok/s,記憶體用量不到 580 MB。它的 5.5 GB 檔案是透過 HTTP range request,從兩個已發布的量化版本組合而成,並直接串流到 iPad,因為 Mac 沒有足夠空間。它的大小是 Moon-Beam 的兩倍,速度卻相同,但並不是更好的模型(perplexity 高 3%)。
值得了解的限制。Bonsai 是 1-bit 模型,但仍會答錯事實(例如在一項測試中,它說水星是距離地球最近的行星)。實際可用的記憶體上限約為 700 MB:1-bit 權重無法壓縮,因此超過這個上限後,iOS 會開始終止程式;這也是 4B 模型需要使用 512-token 上下文的原因。越獄狀態在重新啟動後不會保留。快速輸出 head 會讓每次啟動後的第一個提示多花 2–3 秒。
內容一覽
適用於 Cortex-A55(ARMv8.2 dotprod,沒有 i8mm)的 kernels,以修補程式形式套用於 llama.cpp v0.8.0,每個 kernel 都會與純量參照實作進行精確度測試:
| Kernel | 之前 → 之後 | 位置 |
|---|---|---|
Q2_K,重新打包為 8 列 × 4 bytes,以供 vdotq_laneq 使用(上游只會在 x86 / RISC-V 上重新打包 Q2_K) |
7.8 → 13.9 G 權重/秒;生成速度 +41 %,提示詞處理速度 2.4× | E34 |
| TQ1_0 / TQ2_0 三元量化,重新打包 | 9.5 → 14.4 / 11.9 → 19.1 G 權重/秒 | E38 |
| Ternary Q2_0 在 RAM 中達到 無損的每權重 1.875 位元(採用保留每 64 個權重縮放值的三進位打包) | Ternary-Bonsai-4B 從「卡頓」提升至 3.2 tok/s | E39, E42 |
Q1_0 位元平面:vtst 直接將位元平面轉成 vdot 的遮罩,不需要查表;8 位元列仿射縮放值(−5.6 %,誤差 0.07 %) |
Bonsai-4B 3.02 → 4.22 tok/s;Bonsai-8B 可裝入 0.96 GB | E44, E52 |
| 融合 Gated-DeltaNet 步驟並直接寫入狀態(Qwen3.5) | 2B 6.0 → 6.3-6.7 tok/s | E28 |
DeltaNet 狀態改為依 ID 原地讀取,不再每個 token 都執行一次 1 MB/層的彙集操作;使用fp16 狀態(LLAMA_STATE_F16=1,在 UI 中預設啟用) |
0.8B 11.9 → 12.9 tok/s;2B +2.5 %,困惑度增加 0.15 % | E56, E61, E65 |
| 讓 LM head 使用快速核心:65,668 列的 head 從未重新打包(ggml 只會重新打包列數可被 8 整除的權重),因此新增 4 個 token 列;接著從重新打包的 head 重建嵌入列(反向執行 8 列交錯排列),而非從快閃儲存讀取;將單 token 的 DeltaNet 卷積步驟從 4 個節點融合為一個 NEON 指令 | 2B +7 %(基準測試與聊天);0.8B +9.5 % | E69-E72 |
| 以 2 位元欄位儲存三元權重,並每 128 個權重合併縮放值:在順序執行的 A55 上,每個三進位數字需花費約 5 個 NEON 運算處理 16 個權重,而 2 位元欄位只需 2 個,因此多用 13 % RAM 就能換取速度。合併相鄰縮放值會使困惑度增加 0.18 % | Ternary-Bonsai-4B 在聊天中的速度從 3.2 → 4.3 tok/s,提示詞處理速度從 7.0 → 9.6 | E76, E77 |
| 1 位元查詢表核心(Four-Russians / T-MAC 風格):每組 32 列,根據浮點啟用值直接建立每 4 個啟用值使用的 16 項查詢表;每 128 次乘加約需 8 個 NEON 運算與 2 次載入,相較之下原本需 16 個運算與 4 次載入 | Bonsai-8B 3.77 → 5.1-5.4 tok/s(搭配 E82、E88) | E81 |
帶門檻的 Q8_0 注意力:先用 sdot 計算所有 K 點積,預先得知 softmax 最大值,接著略過低於最大值 + ln(1e-4) 的列之 expf 與 V 運算 |
生成 1,000 個 token 的答案不再讓速度減半(結尾速度從 2.50 → 約 4 tok/s) | E86 |
| 依指引排程矩陣乘法:每個執行緒會取得剩餘列數/(2 × 執行緒數)的列,因此速度較慢或遭搶佔的執行緒只會留下短暫的收尾工作,不再讓核心閒置約 28 ms/token;依欄位拆分單列逐元素運算(ggml 原本將這些工作全交給執行緒 0) | 2B 6.26 → 6.54 tok/s;0.8B +1.4 % | E63, E64 |
記憶體技巧:
- 裁減 LM head:只保留約 49-66 K 個最實用的詞彙列,依據英文、程式碼和另外 7 種語言中的 token 頻率選出。其他 logits 會設為 −inf。可省下 0.2-0.5 GB,並漏掉約 1 % 的英文 token。
- 在快閃儲存上快取重新打包結果(
GGML_REPACK_CACHE):重新打包後的權重只寫入檔案一次,之後以記憶體對映方式載入。模型可在數秒內載入。
無 head 模式(tools/tv-llm-mode.sh on|off):先啟動一個小型前景活動,接著強制停止啟動器、Google 服務和其他耗用大量資源的 App,並讓 svc power stayon 避免動畫螢幕保護程式消耗資源(佔用 17 % 的核心)。除了保持喚醒之外,不會留下任何持續設定,off 會還原此設定。可用記憶體從約 1000 → 約 1300 MB。免分支保護機制(tools/tv-watch.c)取代了每秒啟動約 25 個程式、使速度降低 10 % 的 shell 迴圈。
混合專家模型的專家分頁器(ggml-cpu/moe-pager-tv.inc):
- 專家權重常駐快閃儲存:每個專家張量都對映到一段空的匿名記憶體;每層完成路由後,系統會立即透過平行
O_DIRECT將缺少的專家讀入各自的位址;每層的 LRU 快取池(128 個專家中保留 43 個)則存放其餘專家。核心看到的是一般張量。重新打包快取收納 GGUF 中的專家權重後,原始權重位元組會以打洞方式釋出,因此模型在快閃儲存上只佔一份權重副本。 - 快取感知路由(
GGML_MOE_BIAS):對已在 RAM 中的專家給予小幅加成,可將快取未命中率從 13 % 降至約 2 %,代價是品質略有下降(arXiv 2412.00099 在其他模型上提出了這個概念)。每個 token 使用較少專家(LLAMA_MOE_USED=6)則是另一個可調引數。 - 暖機啟動會載入各層最常使用的專家清單;預先閘控的預取則將第 L+2 層的路由器套用到第 L 層的隱藏狀態,預測路由器實際會選取哪些專家(使用 sigmoid、模型本身的選擇偏差和快取加成),並在快取未命中的專家需要之前,預先載入約 60 %。
- 答案為何反覆兜圈,以及解決方式:2-bit 專家會在約 250-300 個字後破壞長篇內容的連貫性,而路由偏差會加劇這個問題。DRY 取樣只能掩蓋問題(模型會改述自己重複的內容);在 256 個 token 範圍內使用 1.15 的重複懲罰後,TV 上退化的長答案從 12/13 降至 1/13(E99、E100)。
為大於 RAM 容量的模型串流權重(ggml-cpu/stream-tv.inc):
- 留在 RAM 中的內容:選定的部分權重會常駐於記憶體中,其餘權重則存放在「串流區」。
- 預取:每個矩陣乘法都會透過掛鉤記錄權重的使用順序。接著,讀取執行緒會預先擷取串流區的權重,透過平行 8 MB
O_DIRECT讀取,直接寫入權重各自的位址,達到快閃儲存的完整 278 MB/s 速度。 - 正確性:每個運算執行緒都會等到權重完整載入才開始運算,因此預測錯誤只會耗費時間,不會影響正確性。
- 使用後釋放:每個串流區的權重會在使用後立即釋放。
- 驗證模式:
GGML_STREAM_VERIFY=1會將每個串流張量與檔案比對。它找出了兩個未明顯顯示的資料毀損錯誤,並已在 E48 和 E50 中修正及記錄。 - 推測解碼:使用模型本身的 MTP 頭,在受限於快閃儲存頻寬的情況下,驗證 2 個 token 的成本約等於讀取一次權重,因此有助益(+69 %)。在常駐 RAM 的 2B 模型上則表現較差(E31)。
效能分析(補丁中的環境變數開關):GGML_OPPROF=1 逐項運算表格、GGML_OPPROF=2 單一計算圖(tools/optrace.py)中逐節點、逐執行緒的追蹤記錄、LLAMA_UBATCH_PROF / GGML_CPU_PROF 階段耗時。這些資料顯示了小型模型的時間實際花在哪裡(E57):約 71 % 用於 Q4_K 矩陣乘法,每個 token 的同步屏障和排程則只花約 2 ms。
工具:
- GGUF 串流改寫工具:在單次循序處理中加入裁剪後的輸出頭、額外張量和中繼資料,讓 Hugging Face → Mac → TV 流程不必將模型儲存在 Mac 上。
- MTP 擷取工具:只會從 safetensors 範圍讀取 MTP 張量。
- 記憶體防護:會包裝 TV 上的每次重度運算。
- 基準測試與困惑度測試工具、可串流任意 Hugging Face GGUF 至 TV 並為其評分的模型篩選工具(
tools/screen-small.sh),以及即時 token 串流網頁介面。
快速開始
你需要:TV 盒子(或其他採用 ARMv8.2 的 Android 裝置),並啟用網路 ADB、adb、zig(用於靜態 aarch64 musl 組建)、cmake + ninja、python3,以及 uv(用於 numpy)。
export ADB_SERIAL=<tv-ip>:5555 # every script talks to the box through this adb connect $ADB_SERIAL # 1. llama.cpp v0.8.0 + the patch, cross-compiled for the TV git clone https://github.com/ggml-org/llama.cpp third_party/llama.cpp cd third_party/llama.cpp && git checkout 8642541 && git apply ../../patches/llama.cpp-v0.8.0-tvbox.patch cmake -S . -B build-tv -G Ninja -DCMAKE_SYSTEM_NAME=Linux -DCMAKE_SYSTEM_PROCESSOR=aarch64 \ -DCMAKE_C_COMPILER=$PWD/../../zigcc/cc -DCMAKE_CXX_COMPILER=$PWD/../../zigcc/c++ -DCMAKE_BUILD_TYPE=Release \ -DCMAKE_EXE_LINKER_FLAGS=-static -DBUILD_SHARED_LIBS=OFF -DGGML_NATIVE=OFF \ -DGGML_CPU_ARM_ARCH=armv8.2-a+dotprod+fp16 -DGGML_OPENMP=OFF -DLLAMA_OPENSSL=OFF -DLLAMA_BUILD_TESTS=OFF ninja -C build-tv llama-server llama-cli llama-bench llama-perplexity llama-quantize cd ../.. adb -s $ADB_SERIAL shell mkdir -p /data/local/tmp/llm/patched25 /data/local/tmp/llm/patched adb -s $ADB_SERIAL push third_party/llama.cpp/build-tv/bin/llama-{server,cli,bench,perplexity} /data/local/tmp/llm/patched25/ adb -s $ADB_SERIAL push third_party/llama.cpp/build-tv/bin/llama-quantize /data/local/tmp/llm/patched/ # used by tools/tv-quant.sh zig cc -target aarch64-linux-musl -O2 -static -o gguf_recut tools/gguf-recut/gguf_recut.c && adb -s $ADB_SERIAL push gguf_recut /data/local/tmp/llm/ # 2. models: rebuilt from their Hugging Face sources straight onto the TV (see below) tools/rebuild-models.sh 2b # also: 08 4b b8 tb8 q9 mb lm caches # 3. the live chat page (default: the 2B on patched25 with fp16 state), then open http://<tv-ip>:8090 from any device on the network tv-llm-ui/start.sh tv-llm-ui/start.sh stop
其他模型:
# Moon-Beam-8B-A1B MoE, ~7.2 tok/s (first: `tools/rebuild-models.sh mb`, needs a native Mac build and ~9 GB on the Mac while it runs). # start.sh turns on headless mode, the expert pager, routing bias, prefetch and the repeat penalty; POOL / BIAS / EXPERTS override them. MODEL=mb-q2-h60.gguf tv-llm-ui/start.sh # Ling-mini-2.0 16B MoE, ~5.1 tok/s (first: `tools/rebuild-models.sh lm`) MODEL=lm2-q2-h60.gguf tv-llm-ui/start.sh # Bonsai-8B 1-bit fully resident, ~5.2 tok/s (first: `tools/rebuild-models.sh b8`; the repack cache is written on first start) MODEL=b8-q1-hml.gguf tv-llm-ui/start.sh sh /data/local/tmp/llm/tv-llm-mode.sh off # on the TV, afterwards: launcher and screensaver back # Qwen3.5-0.8B, ~16 tok/s (first: `tools/rebuild-models.sh 08`, needs a native Mac build of llama-quantize) MODEL=q08-q4k-h65p8.gguf tv-llm-ui/start.sh # The 8B / 9B numbers below were measured with the build of that time (patched16); the current build has the same # code plus §15-17. GGML_CHUNK_GUIDED=0 in SENV restores the old matmul scheduling. No fp16 state with MTP. # Bonsai-8B 1-bit with streaming and no headless mode, ~1.2 tok/s (first run: `tools/rebuild-models.sh b8 caches`) MODEL=b8-q1-hml.gguf BIN=patched25 EXTRA="-ctk q8_0 -ctv q8_0 -fa on -cram 0" \ SENV="GGML_REPACK_CACHE=/data/local/tmp/llm/cache/b8c GGML_REPACK_RESIDENT_MB=800 GGML_STREAM_MODE=cache GGML_STREAM_WINDOW_MB=64" tv-llm-ui/start.sh # Qwen3.5-9B with MTP, ~0.27 tok/s MODEL=q9-iq2-h65-mtp.gguf BIN=patched25 EXTRA="-nr -ctxcp 0 -cram 0 -ub 16 -b 64 --spec-type draft-mtp --spec-draft-n-max 1" \ SENV="LLAMA_STREAM_RESIDENT_MB=600 LLAMA_STREAM_PIN=output.,blk.32. GGML_STREAM_WINDOW_MB=64" tv-llm-ui/start.sh
盒子上的所有內容都放在 /data/local/tmp/llm,並以 adb shell 使用者身分執行。唯一變更的系統設定是無頭模式下的保持喚醒(svc power stayon),tv-llm-mode.sh off 會將它關閉。adb shell rm -rf /data/local/tmp/llm 會移除所有內容。
模型檔案:不納入 git,可重新建置
模型檔案(每個 0.5-4 GB)不在此儲存庫中。tools/rebuild-models.sh 會從公開的 Hugging Face 檔案重新產生每個模型,並透過 tools/gguf_build.py 串流到電視上。以下 SHA-256 雜湊值對應實驗中使用的檔案。4B、Bonsai-8B 和 9B 檔案的重新建置結果經確認位元組完全相同。
可直接下載的檔案。各尺寸級距中表現最佳的檔案已原樣上傳至 Hugging Face,與電視上執行的版本完全相同。這些檔案需要上方經修補的 llama.cpp;原版 llama.cpp 無法載入經剪枝的注意力頭。每張卡片都附有執行命令和實測資料:
| 模型 | Hugging Face | 檔案 |
|---|---|---|
| Qwen3.5-0.8B,16.8 tok/s | hyperionaidev/Qwen3.5-0.8B-tvbox-GGUF | q08-q4k-h65p8.gguf |
| Qwen3.5-2B,7.7 tok/s | hyperionaidev/Qwen3.5-2B-tvbox-GGUF | w-q4k-h65p8.gguf |
| Ternary-Bonsai-4B,4.3 tok/s | hyperionaidev/Ternary-Bonsai-4B-tvbox-GGUF | tb4-q20-hml.gguf |
| Moon-Beam-8B-A1B(MoE),7.2 tok/s | hyperionaidev/Moon-Beam-8B-A1B-tvbox-GGUF | mb-q2-h60.gguf + moe-warm-moonbeam.txt |
| Bonsai-8B(1-bit),5.2 tok/s | hyperionaidev/Bonsai-8B-tvbox-GGUF | b8-q1-hml.gguf |
| Ling-mini-2.0(16B MoE),5.1 tok/s | hyperionaidev/Ling-mini-2.0-tvbox-GGUF | lm2-q2-h60.gguf + moe-warm-ling.txt |
使用 hf download hyperionaidev/<repo> --local-dir models/ 下載,再將檔案 adb push 到 /data/local/tmp/llm/,並將 moe-warm-*.txt 放在檔案旁。這會取代 08 / 2b / 4b / mb / b8 / lm 目標。8B 和 16B 模型會在首次啟動時寫入重新封裝快取。
iPad Air 下載專案。列出在 iPad 上執行的每個模型、下載位置及其執行速度。三個 MoE 檔案是我們自行建置的,針對 iPad 的專家分頁器與查詢表核心配置:需要 iOS 12 修補程式(ipad-air/);其他版本的 llama.cpp 雖可載入,但專家會錯亂。其餘模型則依發布時的原樣使用;Bonsai 模型的快速配置會在載入時於 RAM 中建置。總計 53 項實驗(E108-E160,§21):
| 模型 | 下載 | iPad 速度(tok/s) | 峰值 RSS | 實驗 |
|---|---|---|---|---|
| Ling-mini-2.0(16B MoE) | hyperionaidev/Ling-mini-2.0-ipad-GGUF:lm2-q2-h60-lut.gguf(SHA-256 3e464310…4e50bd) |
2.6,無偏差;偏差 0.1 時為 3.3(困惑度增加 2.6 %);偏差 0.3 時為 4.5;加入 --experts 6 後為 5.2 |
556-576 MB | 4(E157-E160) |
| Moon-Beam-8B-A1B(MoE) | hyperionaidev/Moon-Beam-8B-A1B-ipad-GGUF:mb-q2-h60-lut.gguf(SHA-256 acf1cb56…94b976);未重新封裝的專家在後檔案速度約慢 4 %,檔案為 hyperionaidev/Moon-Beam-8B-A1B-ipad-xl-GGUF:mb-q2-h60-xl.gguf(aa919400…871d7e) |
3.5-3.6;使用 7 個專家時為 3.7-4.0(增加 0.4-1.9 %);使用 4 個專家時為 5.0(增加 27 %) | 600-625 MB | 19(E138-E156) |
| Bonsai-8B(1-bit,密集型) | prism-ml/Bonsai-8B-gguf | 0.08:無法放入 RAM,從快閃記憶體讀取 | 629 MB | 4(E134-E137,包含最初幾次 Moon-Beam 嘗試) |
Bonsai-4B(1-bit),-c 512 -b 64 |
prism-ml/Bonsai-4B-gguf | 9.4-11.4;長時間聊天時為 9.2-10.3 | 615-682 MB | 5(E129-E133) |
| Bonsai-1.7B(1-bit),預設模型 | prism-ml/Bonsai-1.7B-gguf | 23.7-25.8;長時間聊天時為 18-22 | 605 MB | 11(E118-E128) |
| SmolLM2-360M-Instruct Q4_K_M | bartowski/SmolLM2-360M-Instruct-GGUF | 10.9-12.5 | 269-316 MB | 10(E108-E117:首次執行、小型模型與網頁聊天) |
| Gemma 3 270M-it Q4_K_M | unsloth/gemma-3-270m-it-GGUF | 15.4-19.0 | 248-294 MB | |
| SmolLM2-135M-Instruct Q4_K_M | 原版 Q4_K_M | 18.6-29.3 | 141 MB | |
| Qwen3.5-0.8B Q4_K_M | unsloth/Qwen3.5-0.8B-GGUF | 約 0.2:持續交換記憶體 | 506 MB | |
| stories15M q4_0 | 原版 | 在 llama-simple 中約 290 |
| 電視上的檔案 | 目標 | 建置來源 | SHA-256 |
|---|---|---|---|
w-q4k-h65.gguf(Qwen3.5-2B) |
2b |
unsloth/Qwen3.5-2B-GGUF BF16 + imatrix_unsloth,來自 Qwen/Qwen3.5-2B 的 MTP 區塊,在 TV 上量化,head data/head-ids-ml60k.txt |
16057be3…3285b |
w-q4k-h65p8.gguf(Qwen3.5-2B,預設) |
2b |
上方檔案在 TV 上使用 data/head-ids-ml60k-p8.txt 重新切分(65,672 列,因此 head 會重新封裝,§17) |
631a27ae…54fd11 |
w-q4k-h45.gguf(選項) |
2b45 |
相同內容,45,654 列的 head data/head-ids-ml40k.txt(與 E29 的 H45 檔案逐位元組相同) |
a50eadc5…664d5b |
q08-q4k-h65.gguf(Qwen3.5-0.8B) |
08 |
unsloth/Qwen3.5-0.8B-GGUF BF16 + 它的 imatrix_unsloth,純 Q4_K,head data/head-ids-ml60k.txt,在 Mac 上量化 |
901f3838…8523a6b |
q08-q4k-h65p8.gguf |
08 |
上方檔案在 Mac 上使用 data/head-ids-ml60k-p8.txt 重新切分(§17) |
7dd2aac5…52fc232 |
tb4-q20-hml.gguf |
4b |
prism-ml/Ternary-Bonsai-4B-gguf Q2_0_g64,head data/head-ids-qwen3-ml64k.txt |
a02d805f…3fe24 |
b8-q1-hml.gguf |
b8 |
prism-ml/Bonsai-8B-gguf Q1_0,相同的 head |
fc297cb3…0d42a |
tb8-q20-hml.gguf |
tb8 |
prism-ml/Ternary-Bonsai-8B-gguf Q2_0_g64,相同的 head |
01b1e0ef…93e06 |
mb-q2-h60.gguf |
mb |
tablinum/Moon-Beam-8B-A1B-GGUF-Preview Q8_0,在 Mac 上重新量化:experts 為 Q2_K,其餘為 Q4_K,使用來自 data/corpus 的專屬 imatrix,head data/head-ids-ling-60k.txt;在寫入重新封裝快取(cache/mbq2.*)後,於 TV 上對 expert 位元組執行打孔 |
2d78fcdd…1c34ee |
lm2-q2-h60.gguf |
lm |
bartowski/inclusionAI_Ling-mini-2.0-GGUF Q4_K_M + 它的 imatrix:在 Mac 上將 experts 重新量化為 Q2_K,其餘為 Q4_K,head data/head-ids-ling-60k.txt;在寫入重新封裝快取(cache/lmq2.*)後,於 TV 上執行打孔 |
c089aeb0…e8d7 |
q9-iq2-h65-mtp.gguf |
q9 |
unsloth/Qwen3.5-9B-GGUF UD-IQ2_XXS,來自 Qwen/Qwen3.5-9B 的 MTP 區塊(Q4_0),65K head |
7766478e…8dcbc |
cache/b8c.*、cache/tb8.* |
caches |
由第一次執行使用 GGML_REPACK_CACHE 寫入 |
data/ 中的 head ID 清單由 tools/vocab_select.py(Qwen3.5 tokenizer)和 tools/head_select_tok.py(任何 tokenizer,透過 llama-tokenize)根據 tools/fetch_corpus.py 下載的語料庫(Wikipedia + Project Gutenberg)產生。
配置
| 路徑 | 內容 |
|---|---|
EXPERIMENT.md |
完整報告:§1-8 第一個微型模型,§9-10 llama.cpp 與首次 flash 串流,§11 推進至 2B,§13 推進至 4B,§14 推進至 9B,§15 推進 0.8B 速度,§16-17 第 3-4 輪 2B,§18 第 2 輪 4B(arXiv / GitHub 掃描、2 位元三元配置),§19 推進至 8B(無 head 模式、LUT kernel、搭配 expert pager 的 Moon-Beam MoE、長篇回答為何會重複),§20 超過 9B(Ling-mini-2.0 16B,以及 LFM2.5-24B 和 Qwen3.6-35B 為何無法容納) |
patches/llama.cpp-v0.8.0-tvbox.patch |
llama.cpp 的所有變更:為 Qwen3 / Qwen3.5 / Granite 4.0 H 裁剪 head(output_ids)、上述 kernels(ggml-cpu/repack-*-tv.inc)、融合 DeltaNet(依 ID 讀取 state、可選 fp16 state、單 token conv 步驟)、1-bit LUT kernel、Q8_0 attention、帶有 routing bias 和預取功能的 MoE expert pager(ggml-cpu/moe-pager-tv.inc)、為 bailingmoe3 裁剪 head、從常駐 head 取得 embedding 列、重新封裝快取與串流引擎(ggml-cpu/stream-tv.inc、loader hooks)、小批次填補、op profiler、支援裁剪 head 的 perplexity、Mali 的 Vulkan 調校 |
tools/ |
GGUF 重寫器/head 裁剪器/重新切分器、詞彙選取、語料庫與 MTP 擷取器、模型重建指令碼、TV 記憶體防護與 RAM 輔助工具、基準測試掃描、kernel 基準測試與精確度檢查(kbench/)、flash 基準測試 |
tv-llm-ui/ |
llama-server 的即時 token 串流頁面(信心度顏色、前三名替代選項、速度、方框統計)、其啟動器與基準測試工具 |
tiny-llm-web/ |
首次實驗使用的 llama2.c 故事伺服器 + TV 頁面 |
bench/ |
results.jsonl(所有聊天基準測試:提示、輸出、速度)和 raw/(每次實驗的記錄) |
data/ |
head ID 清單與兩份評估文本 |
zigcc/ |
用於交叉編譯靜態 aarch64 二進位檔的 Zig 包裝程式 |
ipad-air/ |
裝置 #2:交叉編譯以支援 iOS 12,smolchat(終端機聊天與 Safari 網頁),部署與基準測試指令碼(README,§21) |
screenshots/ |
在 TV 上執行的網頁 |
心得
- 在這臺裝置上,4 位元的 2B 模型勝過所有以 1-2 位元量化的較大模型。低於約 2.5 位元的訓練後量化會破壞一般模型(E22、E23、E35)。針對 1 位元或三元量化訓練的模型能維持效能,但 4-8 B 的模型若不使用串流就無法容納。
- 超出 RAM 容量後,速度取決於快閃記憶體頻寬。對於大於快取的迴圈掃描,kernel 的 LRU 是最糟的策略:每個 token 都會重新讀取所有資料。保留固定的常駐集合,其餘部分自行串流。
- 當瓶頸在快閃儲存時,批次處理不花額外成本。無論提示詞和推測式驗證的大小,成本都約等於讀取一遍權重。
- 先測量,再驗證。兩個串流處理錯誤造成看似合理的速度和錯誤的數字;只有拿張量與檔案比對,並將困惑度與 Mac 參考值比對,才發現問題。
- 小型模型的權重大多花在詞彙表。Qwen3.5-0.8B 有 248K 列的輸出層,佔總權重三分之一;將它裁剪至 65K 列並全部使用 Q4_K 後,速度從 7.5 提升至 12.1 tok/s(E55)。小型模型使用 4 位元量化時,效能損失也較大(困惑度增加 7 %,而 2B 為 2.3 %)。
- 寫核心程式前先做模擬。啟用值稀疏性(E58)和低秩輸出層(E60)在紙面上都很有希望;但在 Mac 上進行品質模擬後,不到一小時就淘汰了兩者。
- 在順序執行核心上,NEON 運算數量和位元組數都要計算。更緊密的封裝減少了 20 % 的位元組,卻讓運算數量增加 2.5 倍;取消這項最佳化後,4B 在聊天中的速度提升了 33 %(E76、E77)。4 位元核心則相反,瓶頸在 RAM(E27),因此這個技巧對 2B 或 0.8B 沒有幫助。
- 確認每個大型矩陣都使用快速核心。2B 的輸出層(65,668 列,約佔每個 token 權重的 10 %)因為 ggml 只會重新封裝列數可被 8 整除的矩陣,幾週來一直悄悄使用通用核心;多加四列就提升了 5.8 %(E71、E72)。載入記錄中的重新封裝緩衝區大小可以看出這個問題。
- 大部分 RAM 用量來自 Android,而非模型。在執行期間強制停止啟動器和 Google 服務(不會永久變更設定),讓 Bonsai-8B 完整載入 RAM:尚未進行任何核心最佳化,速度就從 1.2 提升至 3.6 tok/s(E80)。動畫螢幕保護程式和每秒建立 25 個子程式的監控程式,又分別讓速度下降 10-15 %(E82、E88)。
- 對混合專家模型而言,快閃儲存讀取是快取未命中,不是串流讀取。每個專家約有 6 ms 的未命中延遲,因此專家池的命中率決定了速度;讓路由優先選取快取中的專家,並預先載入下一個路由器可能挑選的專家,速度便從 4.4 提升至 7.2 tok/s。
- 困惑度看不出重複迴圈。它會在乾淨文字上逐一評估 token;2 位元模型的分數看似不錯,長篇回答卻有 13 次中的 12 次陷入迴圈。也要評分長篇自由生成內容(
tools/loop_stats.py),並以位元/位元組比較使用不同分詞器的模型,切勿用困惑度比較。 - 超過 9B 後,要計算常駐位元組數,而不是引數量。此處混合專家模型的上限,取決於必須留在 RAM 的非專家權重,以及實用的專家池。Ling-mini-2.0(16B)常駐記憶體用量為 279 MB,速度為 5 tok/s;Qwen3.6-35B-A3B 在快取任何專家之前就需要約 870 MB(§20)。
- 保護好裝置。早期發生兩次核心程式當機後,現在所有高負載工作都會透過一個包裝程式執行;可用記憶體低於 180 MB 時便會終止工作。
授權
MIT。llama.cpp 修補程式是 llama.cpp(MIT)的衍生作品。模型權重沿用各自的授權;評測文字摘錄自維基百科(CC BY-SA 4.0)。
致謝
以 llama.cpp 和 llama2.c 為基礎建置。模型來自 Qwen、unsloth(GGUF 檔案與重要性矩陣)、PrismML(Bonsai)、Google(Gemma)和 stories260K。評測文字摘錄自維基百科(CC BY-SA 4.0)。🤏 標誌使用 Google Noto Emoji(Apache 2.0)中的捏合手勢表情符號。

