LookAtMyQuant 用較小檔案儲存模型表現,並支援 Apple Silicon 執行
Inkling-2-Mini in 5.4 GB Memory
模型檔案縮小後,回答品質可能跟著下降,也很難知道不同壓縮方法差多少。
- 作者推出 LookAtMyQuant,會估算模型各部分壓縮後對輸出的影響,再分配儲存空間。
- 新版也提供可在 Apple Silicon 上執行的模型與工具。以 Inkling-2-Mini 為例,5.38 GB 版本在 GSM8K 解出 134 題、HumanEval 通過 60 題。
- 8.87 GB 版本在 GSM8K 解出 148 題,與原始模型相同。這些比較呈現了縮小檔案後的測試結果,也顯示表現會因模型大小與測試專案而異。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
作者提供多種模型在相同檔案大小下的量化比較,並列出數學、程式測試與文字差異,方便衡量縮小模型後的取捨。
LookAtMyQuant 是一款量化編譯器。它會測量模型中每個儲存單元在壓縮後對輸出造成的影響,再為每個單元選擇編碼方式,讓整個模型在符合容量限制的同時,將損失降到最低。
在 Gemma 4 E2B 上,LookAtMyQuant 的 GGUF 檔案大小相同時,KL 散度比 Q4_K_M 低 12 倍。方法與所有結果都公佈在網站上。
程式碼採用 MIT 授權。
LookAtMyQuant 2:以 1.2 GB 容納 Qwen3.5-4B
LookAtMyQuant 2 將 Qwen3.5-4B 壓縮至 1.23 GB,每個權重 2.3 位元。這個檔案能在 540 道數學題中答對 330 題。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下答對 328 題,原始模型則答對 359 題。在保留測試文字上,它與原始模型的 KL 散度為 0.45 納特,Bonsai 則為 0.59。
這套流程採用訓練後量化與 trellis 編碼,使用模型自行產生的數學解題過程進行校準,並將數字 token 的權重提高 10 倍,再依 Fisher 資訊量逐列分配位元。接著進行 4,000 步蒸餾,每一層都會從原始權重重新量化一次。網頁列出研究結果、完整流程及成本,GPU 運算費約為 $34。
流程程式碼在此,下一節會執行。1.23 GB 檔案本身是lm2-qwen35-4b-1.2gb發行版本,已針對 Apple Silicon 執行環境打包。
以 7.2 GB 容納 Qwen3.8-27B
同一套流程將 Qwen3.8-27B 從 53.7 GB 壓縮至 7.2 GB,每個權重 2.1 位元,並以英文散文與聊天內容、程式碼及數學資料進行校準和蒸餾。這個檔案在 540 道數學題中答對 401 題,與原始模型相同;Unsloth 的同尺寸 UD-IQ2_XXS GGUF 則答對 348 題。在 HumanEval(73.8%,相較於 67.1%)、MMLU(78.8%,相較於 75.0%)和 GSM8K(94.5%,相較於 92.7%)的分數也都高於該 GGUF。
旁邊還有一個 4 位元 DSpine 草稿模型(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 轉換而來,使用 runtime_mlx/convert_dspine.py 並以 pack_drafter.py 打包),在 Apple Silicon 上執行數學與程式碼任務時,解碼速度約可提升一倍。
Inkling-2-Mini:5.4 GB 與 8.9 GB
同一套編譯器與近端微調(SQYFR)延伸應用於實體引數量 26.4B、啟用引數量 5.4B、迴圈執行 3 次的 MoE(L6–17 迴圈 3 次 = 48 次邏輯存取、128 個專家中選取 8 個),將thinkingmachines/Inkling-2-Mini的 18.89 GB 文字權重壓縮至5.38 GB(1.63 位元/權重)與8.87 GB(2.69 位元/權重)。使用 4 KB SRAM 雜湊區塊向量 trellis 編碼(ht2/ht3)、逐列 trellis 編碼(rtr1/rtr4),並在尾端 lm_head 區塊設定 tr2 下限(head.7)。
以相同的 BF16 教師模型進行評測,openai/gsm8k(test[:200],貪婪解碼,reasoning_effort="none")、所有 164 個可執行 openai/openai_humaneval 問題、4 個 Vision VQA 測試(使用未修改的 637 MB BF16 視覺塔),以及涵蓋 16+13 種語言的 TextMix 視窗:
| 模型 | 文字模型容量(GB) | free_KL(en/chat/code) |
all13_KL |
GSM8K(200) | HumanEval(164) | 與教師模型的彙整比較 |
|---|---|---|---|---|---|---|
| 原始 BF16 教師模型 | 18.89 | 0.0000 | 0.0000 | 147 / 200 (73.5%) | 66 / 164 (40.2%) | 100.0% |
LookAtMyQuant 5.4 GB(SQYFR) |
5.38 | 0.0895 | 0.2871 | 134 / 200 (67.0%) | 60 / 164 (36.6%) | 91.2% |
Unsloth UD-IQ1_S |
7.76 | 0.0808 | 0.1236 | 127 / 200 (63.5%) | 46 / 164 (28.0%) | 81.6% |
LookAtMyQuant 8.9 GB(SQYFR) |
8.87 | 0.0208 | 0.0571 | 148 / 200 (74.0%) | 58 / 164 (35.4%) | 96.8% |
Unsloth UD-Q2_K_XL |
9.14 | 0.0486 | 0.0811 | 132 / 200 (66.0%) | 49 / 164 (29.9%) | 85.3% |
Unsloth UD-IQ3_XXS |
11.66 | 0.0189 | 0.0278 | 148 / 200 (74.0%) | 68 / 164 (41.5%) | 101.4% |
在5.38 GB 下,Inkling-2-Mini-LookAtMyQuant-5.4GB的表現勝過 Unsloth 的 9.14 GB UD-Q2_K_XL,GSM8K 和 HumanEval 的分數皆較高,容量也縮小 41%(未微調時分別為 76/200 和 24/164)。在8.87 GB 下,Inkling-2-Mini-LookAtMyQuant-8.9GB的 GSM8K 表現與 BF16 原始模型相當,且在英文/聊天/程式碼上的 KL 降至 2.34×,在 13 種語言上的 KL 則降至 29.6%,均低於 UD-Q2_K_XL。兩者皆可透過 lamq 和 runtime_mlx 直接執行,並使用自訂的 Apple Silicon Metal 核心;也可選擇搭配 178.9 MB 的4-bit DSpark 草稿模型:在 M5 Max 上,5.4 GB 版本的序列解碼速度為 73.2 tok/s,中位數為 125.2 tok/s(數學 141.8 tok/s、推理 129.0 tok/s、程式碼 121.4 tok/s、散文 102.3 tok/s;在 T=512 下,提示預填速度為 1,037 tok/s,使用中的記憶體為 5.83 GB);8.9 GB 版本的序列解碼速度為 63.1 tok/s,中位數為 101.3 tok/s(推理 133.9 tok/s、數學 118.9 tok/s;在 T=512 下,提示預填速度為 838 tok/s,使用中的記憶體為 9.32 GB)。
安裝並使用 Apple Silicon 執行環境
在 Apple silicon 上直接安裝執行環境套件(這會安裝 mlx、mlx-lm、numpy 和 huggingface-hub,不需要 PyTorch 編譯器相依套件):
pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git
從本機複製的儲存庫中,pip install -e .會安裝 lamq 指令;也可以不安裝,直接執行 python -m runtime_mlx。
命令列。提供本機模型資料夾或 Hugging Face 儲存庫 ID:
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
-p "What is 17 times 23? Show the steps."
lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
-p "Write a Python function that merges overlapping intervals." --stats
lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
--drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter
lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
--drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
-p "What is 17 times 23? Show the steps." --stats省略 -p 時,lamq generate會讀取標準輸入,並支援 --raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive 和 --json。lamq info <model>會檢查封裝模型的格式與維度,不載入權重。
Python 整合。runtime_mlx.load會傳回與 mlx_lm.generate 和 mlx_lm.stream_generate 相容的 (model, tokenizer) 配對(可自動偵測 Qwen3.5-4B/Qwen3.8-27B 等 opgraph-packed-1 模型,以及 Gemma 4 E2B 等 lamq.json 匯出格式):
from mlx_lm import generate from runtime_mlx import load model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB") prompt = tok.apply_chat_template( [{"role": "user", "content": "What is 17 times 23? Show the steps."}], add_generation_prompt=True, enable_thinking=False, ) print(generate(model, tok, prompt, max_tokens=200))
若要透過單一介面進行串流、多輪聊天或推測解碼,請使用 Runtime:
from runtime_mlx import Runtime rt = Runtime.load( "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB", drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter", ) for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256): print(chunk.text, end="", flush=True)
用三個指令在 SmolLM2-360M 上執行編譯器
安裝相依套件並下載模型和 WikiText-2。程式啟動時會讀取 SmolLM2-360M 的設定,因此請先完成這些步驟。
pip install -r requirements.txt python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')" python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"
測量。這會逐一壓縮各個區塊,其他部分維持原樣,並記錄相對於原始模型的 KL 散度。此模型的完整測量集共 2,312 筆,在 L40S 上耗時約 50 分鐘。
python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json
配置。這會為各個區塊選擇一種編碼,在預算內使 KL 散度總和最低,不需要 GPU。此指令使用此儲存庫中的 SmolLM2-360M 測量資料,權重位元數預算為 3.044 bits。
python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json產生的計畫與 results/compiler/plans/sm_lin_3044.json具有相同的位元寬度。
建置並評分。這會依照計畫逐一量化模型中的矩陣,接著回報模型在 WikiText-2 測試集上的困惑度,以及相對於原始模型的 KL 散度。
python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json
我們執行該計畫的結果記錄在 results/batch/cc_sm_lin_3044.json。困惑度為 16.64,KL 散度為 0.0926;原始模型的困惑度為 15.31。加上 --layers 1 --calib 8 --eval 2 可快速確認一切正常。
在 Qwen3.5-4B 上執行 LookAtMyQuant 2 配方
每個步驟都是具名工作;python run_batch.py --list會列印對應指令。這些工作需要磁碟區 models/Qwen3.5-4B 中的 Qwen3.5-4B,以及文字混合資料(modal run --detach modal_fetch.py --text)。產生的所有檔案都會存到磁碟區中的 lm2/。
modal run --detach modal_app.py --jobs lm2Text modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions modal run --detach modal_app.py --jobs lm2RowImportance modal run --detach modal_app.py --jobs lm2Build modal run --detach modal_app.py --jobs lm2Finetune modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
| 工作 | 指令碼 | 用途 | 我們的執行結果 |
|---|---|---|---|
lm2Text |
other_text.py |
原始模型會回答科學、程式碼、指令和工具提示,以及 MATH 和 GSM8K 訓練題。此步驟也會下載 MATH | |
lm2Calibration |
math_calibration.py |
校準資料集:原始模型對 384 道 MATH 訓練題的貪婪解答,以 2,048 個 token 為一個視窗 | 15 分鐘,H100 |
lm2Solutions |
checked_solutions.py |
用於微調蒸餾的數學文本:MATH 題目解答,以及來自另一個隨機種子的 math_bench.py 題解答;其中錯誤計算已更正,並只保留正確答案 |
33 分鐘,H100 |
lm2RowImportance |
row_importance.py |
各輸出列在預測數字位置上的 Fisher 資訊量 | 1 分鐘,H100 |
lm2Build |
quantize.py |
訓練後量化:沿列使用 trellis 編碼,在 Hessian 矩陣中將數字 token 的權重提高 10 倍,QEP 設為 α = 0.5,依列配置決定每列位元數,並使用 e-means 碼本 | 37 分鐘,H100 |
lm2Finetune |
finetune.py |
進行 4,000 步蒸餾,讓潛在權重趨近其編碼值,並從原始權重重新量化每一層一次 | 2.7 小時,B200 |
lm2Math、lm2Math216 |
math_eval.py |
包含 540 題的基準測試,以及另一組 216 題,測試原始模型、Bonsai、建置版本與微調後的建置版本 | 每個模型 20 分鐘,H100 |
lm2TextKL |
text_kl.py |
在 WikiText-2 和文字混合資料的 13 個來源上,計算相對於原始模型的 KL 散度 | 每個模型 1 分鐘,H100 |
lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 使用相同程式碼,在兩個層上執行 60 步並測試 36 題,各自在幾分鐘內完成。
列配置。 lm2Build 讀取 results/compiler/rows/q35_rowplan_1p2GB.json,為 1,520 個列群組各配置 1 到 4 個位元。row_allocation.py 負責產生配置。其 build-control 指令會以固定列分配建立並封裝對照組;prepare-rows 使用 rowgroup_alloc.py,在對照組封裝後的位元組內分配各列;build-rows 則依配置建置,並確認封裝後的大小符合預期。
碼本。建置版本解碼時使用的四個 e-means 碼本位於 cache/codes/。--trellis-fit lloyd 提供較早版本的碼本;在變更前建立的配置會沿用這些碼本,除非另有指定旗標。
近期等位元組配方改進。編譯器與微調指令碼提供兩項不增加位元組數的功能:
- Softmax-Fisher token 表格排序(
compiler.py measure和quantize.py中的--embed-order sfisher-mix)。以輸出 Softmax-FisherE[p_v (1 - p_v)]與語料庫頻率各佔 50% 的加權組合,為權重共用的 embedding/輸出桶排序;未共用權重的輸出頭則只依 Softmax-Fisher 排序。 - 訓練中期的等位元組列重新分配(
finetune.py中的--realloc-at 1000)。搭配--rebuild-at 1000使用時,會測量每一層連續值與儲存值之間的 proximal KL 差距KL(all P) - KL(layer = W),將位元移往尚未充分吸收誤差的深層,同時維持檔案大小完全相同(--realloc-max-delta 1)。在 Qwen3.5-4B 上以相同的 1.23 GB(2.297 bpp)搭配sfisher-mix使用後,WikiText-2 的 KL 散度從 0.425 降至 0.387(−9.0%),13 個來源的 KL 散度則從 0.447 降至 0.378(−15.5%,13 個來源全數改善)。
這些工作與我們執行方式的差異。我們較早撰寫 GSM8K 解答,且始終關閉思考模式。我們在 13 個來源上測量文字 KL 時,使用另一個工具從文字混合資料中挑選 52 個視窗;--sources mix 則使用該混合資料本身的評估視窗。在這些視窗上,我們的檔案得分為 0.44,頁面上報告的數值為 0.45。
大型模型透過 Modal 執行,每項工作使用一張 GPU
run_batch.py 列出每項工作,modal_app.py 負責執行。modal_fetch.py 會下載用於校準與評估的模型和文字混合資料。
modal run modal_app.py::setup modal run --detach modal_fetch.py --text modal run --detach modal_fetch.py --models google/gemma-4-E2B-it modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv
網站背後的工作使用以下機器,每臺配有 8 個 CPU 核心:
| 模型 | GPU | 時間 |
|---|---|---|
| SmolLM2-360M | L40S | 測量約需 50 分鐘,分 9 項工作平行執行 |
| Gemma 4 E2B,測量 | H100 | 每項工作 7–26 分鐘,共 4 項工作 |
| Gemma 4 E2B,建立配置 | H100 | 每份配置 28–58 分鐘 |
gguf_compiler.py 根據 llama.cpp 自身的張量型別建立配置,因此產生的結果可直接在 llama.cpp 中執行。public_eval.py 使用與我們的配置相同的方式評分公開量化版本。兩者都在 modal_gguf.py 的映像檔中執行,該映像檔會以 CUDA 建置 llama.cpp。
Apple Silicon 執行環境可讀取 Lloyd–Max 與 trellis 配置
quantize.py --export <folder> 會以 runtime_mlx/ 可讀取的格式寫入配置。使用 trellis 編碼的配置也需要 --trellis-rows 16,8,它會沿矩陣的每一列執行各個 trellis 路徑,因此解碼某個專案時只需讀取該列。在 Apple Silicon 上,pip install . 會安裝 mlx 和 mlx-lm;requirements.txt 則包含 PyTorch 編譯器的相依套件。
在 2.5 GB 的 Gemma 4 E2B 上,trellis 配置的 KL 散度比 Lloyd–Max 配置低 26%,解碼速度則慢約 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 會使用量化器建立的矩陣,檢查 trellis 核心程式。
python runtime_mlx/bench.py lamq path/to/export
撰寫 drafter,讓 1.2 GB 檔案在 Apple 晶片上快 1.5 到 2 倍
runtime_mlx/fast_q35.py 會直接從 trellis 編碼逐一解碼這個打包後的 1.2 GB Qwen3.5-4B 檔案。runtime_mlx/drafter_q35.py 加入推測解碼。小型 drafter 會在單次運算中,提議模型最新 token 後的七個 token。接著,模型會在單次運算中檢查編碼權重的八個位置(runtime_mlx/block_q35.py),並保留符合自身選擇的提案,因此產生的文字與模型自行採用貪婪解碼時完全相同。
在 M5 Max 上,以 30 個最多 256 個 token 的保留提示詞進行測試,使用 drafter 後的生成速度快了 2.0 倍:每秒 176 個 token,相較之下為 88 個;測試於 2026-11-11 在同一個程式中交替進行。每次檢查平均保留 4.3 個 token。以八個日常提示詞測試時,速度快了 1.5 倍。效能提升幅度取決於文字的可預測程度:代數題快 2.5 倍、程式碼快 2.0 倍、聊天快 1.2 倍、故事快 1.05 倍;30 個保留提示詞中,有一個使用 drafter 時反而較慢。所有提示詞產生的文字都與一般貪婪解碼相同。這些速度是從第一個 token 之後開始計算;無論採用哪種方式,讀取提示詞都約需 0.1 秒。
這份程式碼還有兩項後續改進。每項改進都以改進前的版本為基準,在 40 組成對生成測試中測量:從最常見的 96,033 個 token 中提出候選,速度快了 6.0%;在打包運算中挑選勝出 token,速度快了 5.3%。線性模式也預設啟用自我校準的自適應回退功能(adaptive=True;傳入 --no-adaptive 即可停用):當滑動接受率低於實測的損益平衡比率,也就是提案檢查延遲與序列逐步生成延遲的比率(並將快取清除和 drafter 脈絡重播納入計算),系統會暫停提案,改用短暫且精確的序列生成批次;待接受率回升後再恢復提案。如此可維持逐位元完全一致的貪婪解碼結果,同時避免接受率偏低的散文生成速度變慢。
這個 drafter 是 DSpine 模型,使用 SpecForge,以公開發布、供 Qwen3.5-4B 使用的 DFlash drafter 為基礎,並以該 1.2 GB 檔案自行產生的貪婪解碼結果進行訓練。modal_drafter.py 會以單一 Modal 工作執行訓練,費用為 $42。以 300 個保留提示詞測試時,訓練完成的 drafter 每次檢查可取得 4.65 個 token,高於原版 DFlash drafter 的 4.30 個。
pack_drafter.py 使用建置本身的程式碼,以每個權重 4 位元儲存 drafter,無須校準資料:檔案大小為 464 MB,相較之下,16 位元版本為 1.83 GB。以 60 個保留提示詞測試時,4 位元 drafter 每次檢查保留 4.35 個 token,相較之下為 4.38 個,產生的文字則相同。drafter_q35.py 可載入任一版本,並在載入時將打包版本展開為密集格式。4 位元 drafter 是 lm2-drafter-4bit 發行版。它會與打包後的 1.2 GB 檔案一同執行;該檔案是 lm2-qwen35-4b-1.2gb 發行版。
gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit
效能測試預設使用線性驗證。使用 --mode chat-fork,可在較不明確的早期位置測試第二個候選項;使用 --mode copy-wide,則可測試已知的連續複製片段。複製模式會使用來源遊標,並為 16 個位置的檢查調整 gate/up 和 down 投影。兩種模式都會使用打包後的目標模型驗證所有輸出的 token。若要對聊天分支進行效能測試,請執行:
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat
若要測試複製模式,請傳入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 專案會帶有 source、prompt_len 和 input_ids,這些內容來自打包模型的 tokenizer。
檢查工具,以及用於自行訓練 drafter 的打包工具:
python runtime_mlx/test_fast_q35.py LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py python runtime_mlx/check_drafter.py path/to/packed path/to/drafter python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30 python pack_drafter.py path/to/drafter path/to/drafter-4bit
runtime_mlx/pack_dense.py 會使用微調後建置版本的密集權重寫出打包檔案,runtime_mlx/modal_pack.py 則會在 Modal 上執行該檔案。check_drafter.py 會使用由 drafter/reference.py 寫出的參考區塊,比較 MLX 中的 drafter 與 SpecForge 自己的模型。
檔案一覽
| 路徑 | 內容 |
|---|---|
compiler.py |
測量並配置 |
compiler_arch.py |
編譯器如何尋找模型的層、表格與階段,以及文字組合 |
quantize.py |
建置程式或計畫,然後評分 |
row_importance.py、rowgroup_alloc.py、row_allocation.py、compiler_artifact.py |
每列位元:各列的重要性、配置、比較的建置版本,以及為這些配置定價的封裝格式 |
math_calibration.py、checked_solutions.py、other_text.py、calc_check.py、token_kinds.py |
配方用來校準與微調的文字、檢查已列出計算的檢查器,以及各位置預測的 Token 型別 |
finetune.py、finetune_lib.py、fast_delta.py |
以程式碼結尾的微調,以及適用於 Qwen3.5 的快速線性注意力規則 |
math_bench.py、math_eval.py、text_kl.py |
精確答案數學基準測試、用於 Qwen3.5 系列與 Bonsai 的執行程式,以及文字相對於原始版本的 KL 散度 |
gguf_compiler.py、public_eval.py、eval_tasks.py |
llama.cpp 執行方式、公開的量化版本與任務基準測試 |
pyproject.toml、runtime_mlx/runtime.py、runtime_mlx/cli.py |
可安裝的 Apple Silicon 執行環境套件、統一的 load/Runtime Python API,以及 lamq CLI |
lamq_export.py、runtime_mlx/ |
匯出格式與 Apple Silicon 執行環境 |
runtime_mlx/fast_q35.py、block_q35.py、block_argmax_q35.py、pack_dense.py、modal_pack.py |
適用於封裝版 Qwen3.5-4B 與 Qwen3.8-27B 檔案的執行環境:一次一個 Token、單次處理 8 或 16 個 Token 的區塊,以及封裝工具 |
runtime_mlx/inkling/、runtime_mlx/test_inkling.py |
Apple Silicon MLX 執行環境、4 KB SRAM ht2/ht3 Metal 核心,以及適用於封裝版 Inkling-2-Mini 模型的 4 位元 DSpark 區塊 8 推測解碼草稿模型 |
runtime_mlx/drafter_q35.py、draft_vocab_q35.py、convert_dspine.py、check_drafter.py、bench_drafted.py、drafter/、modal_drafter.py、pack_drafter.py |
使用 DSpine 草稿模型進行推測解碼、Tencent DSpine 轉換、草稿模型訓練,以及以 4 位元儲存的草稿模型 |
opgraph/ |
文法:將模型視為張量網路,以及作用於網路的改寫規則與程式碼 |
run_completeness.py、make_report.py |
確認九種已發表方法都能精確重現的檢查 |
analyze_compiler.py |
規劃結果表 |
run_batch.py、modal_app.py、modal_gguf.py、modal_fetch.py |
具名工作與 Modal 執行程式 |
results/compiler/plans/、results/compiler/rows/ |
所有規劃,以及 1.2 GB Qwen3.5-4B 的逐列規劃 |
results/protocols/ |
第二組包含 216 題的數學題集,以及所有未納入訓練文字的題目雜湊值 |
cache/codes/ |
1 至 4 位元的 e-means trellis 碼本 |
results/batch/、results/gguf/ |
網站背後的測量結果與規劃執行紀錄 |
results/COMPILER.md、results/COMPLETENESS.md |
SmolLM2-360M 與 Qwen3.5-4B 編譯器的說明,以及重現檢查的說明 |
site/ |
網站。請在其中執行 python3 -m http.server 8000,接著造訪 http://localhost:8000 |
site2/ |
LookAtMyQuant 2 頁面。執行方式相同 |
tests/ |
文法與程式碼的測試 |
測試需要 SmolLM2-360M 與 WikiText-2
每個測試檔都能在儲存庫根目錄獨立執行,七項測試全部完成不到一分鐘。
python tests/test_frame.py python tests/test_grammar.py python tests/test_codes.py python tests/test_elements.py python tests/test_nested.py python tests/test_rowgroup_alloc.py python tests/test_reallocation.py
runtime_mlx/test_core.py會依據量化器的數學運算檢查執行環境。請先執行 python runtime_mlx/make_ref.py,它會寫入 1.6 GB 的參考檔案。
runtime_mlx/test_fast_q35.py與 runtime_mlx/test_block_q35.py會使用獨立解封裝的程式碼所計算出的 NumPy 乘積,檢查 Qwen3.5 核心,不需要模型。當 LAMQ_Q35_PACKED指定封裝檔案時,第二項測試也會比較一個 Token 區塊與逐一解碼 Token 的結果。當 LAMQ_Q38_PACKED指定封裝版 Qwen3.8-27B 檔案時,測試會對輸出頭與嵌入層分開儲存的模型執行相同檢查。
此儲存庫未包含的內容
- 模型權重。所有內容都從 Hugging Face 下載。Qwen3.5-4B 工作預期該模型位於磁碟區中的
models/Qwen3.5-4B。 - 基準測試副本。
eval_tasks.py會下載基準測試資料。在離線電腦上,它會讀取data/bench/中匯出的副本;這些副本未包含在此處。Modal 映像檔會離線執行,因此請先將基準測試資料快取到磁碟區。 - 組裝
site/data.json的指令碼。這是由一系列一次性步驟組成。來源數值都在results/中。 - LookAtMyQuant 2 的密集權重與結果檔案。1.2 GB 檔案是以封裝格式發布的版本。基準測試所用的密集權重並未發布,
site2/data.json背後逐題的結果,以及根據這些結果產生頁面數值的指令碼也都未發布。 - 16 位元草稿模型。訓練完成的草稿模型大小為 1.8 GB,尚未發布。4 位元版本是發布檔案,而
modal_drafter.py會訓練這個版本。