跳到正文
hackernews100(github.com)· k__·· 1 天前精選品質評分77

LookAtMyQuant 用較小檔案儲存模型表現,並支援 Apple Silicon 執行

Inkling-2-Mini in 5.4 GB Memory

重點導讀

模型檔案縮小後,回答品質可能跟著下降,也很難知道不同壓縮方法差多少。

  • 作者推出 LookAtMyQuant,會估算模型各部分壓縮後對輸出的影響,再分配儲存空間。
  • 新版也提供可在 Apple Silicon 上執行的模型與工具。以 Inkling-2-Mini 為例,5.38 GB 版本在 GSM8K 解出 134 題、HumanEval 通過 60 題。
  • 8.87 GB 版本在 GSM8K 解出 148 題,與原始模型相同。這些比較呈現了縮小檔案後的測試結果,也顯示表現會因模型大小與測試專案而異。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

作者提供多種模型在相同檔案大小下的量化比較,並列出數學、程式測試與文字差異,方便衡量縮小模型後的取捨。

正文 · 中文翻譯

LookAtMyQuant 是一款量化編譯器。它會測量模型中每個儲存單元在壓縮後對輸出造成的影響,再為每個單元選擇編碼方式,讓整個模型在符合容量限制的同時,將損失降到最低。

在 Gemma 4 E2B 上,LookAtMyQuant 的 GGUF 檔案大小相同時,KL 散度比 Q4_K_M 低 12 倍。方法與所有結果都公佈在網站上。

程式碼採用 MIT 授權。

LookAtMyQuant 2:以 1.2 GB 容納 Qwen3.5-4B

LookAtMyQuant 2 將 Qwen3.5-4B 壓縮至 1.23 GB,每個權重 2.3 位元。這個檔案能在 540 道數學題中答對 330 題。Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下答對 328 題,原始模型則答對 359 題。在保留測試文字上,它與原始模型的 KL 散度為 0.45 納特,Bonsai 則為 0.59。

這套流程採用訓練後量化與 trellis 編碼,使用模型自行產生的數學解題過程進行校準,並將數字 token 的權重提高 10 倍,再依 Fisher 資訊量逐列分配位元。接著進行 4,000 步蒸餾,每一層都會從原始權重重新量化一次。網頁列出研究結果、完整流程及成本,GPU 運算費約為 $34。

流程程式碼在此,下一節會執行。1.23 GB 檔案本身是lm2-qwen35-4b-1.2gb發行版本,已針對 Apple Silicon 執行環境打包。

以 7.2 GB 容納 Qwen3.8-27B

同一套流程將 Qwen3.8-27B 從 53.7 GB 壓縮至 7.2 GB,每個權重 2.1 位元,並以英文散文與聊天內容、程式碼及數學資料進行校準和蒸餾。這個檔案在 540 道數學題中答對 401 題,與原始模型相同;Unsloth 的同尺寸 UD-IQ2_XXS GGUF 則答對 348 題。在 HumanEval(73.8%,相較於 67.1%)、MMLU(78.8%,相較於 75.0%)和 GSM8K(94.5%,相較於 92.7%)的分數也都高於該 GGUF。

旁邊還有一個 4 位元 DSpine 草稿模型(1.02 GB,由 tencent/Qwen3.8-27B-DSpine-b16 轉換而來,使用 runtime_mlx/convert_dspine.py 並以 pack_drafter.py 打包),在 Apple Silicon 上執行數學與程式碼任務時,解碼速度約可提升一倍。

Inkling-2-Mini:5.4 GB 與 8.9 GB

同一套編譯器與近端微調(SQYFR)延伸應用於實體引數量 26.4B、啟用引數量 5.4B、迴圈執行 3 次的 MoE(L6–17 迴圈 3 次 = 48 次邏輯存取、128 個專家中選取 8 個),將thinkingmachines/Inkling-2-Mini的 18.89 GB 文字權重壓縮至5.38 GB(1.63 位元/權重)與8.87 GB(2.69 位元/權重)。使用 4 KB SRAM 雜湊區塊向量 trellis 編碼(ht2/ht3)、逐列 trellis 編碼(rtr1/rtr4),並在尾端 lm_head 區塊設定 tr2 下限(head.7)。

以相同的 BF16 教師模型進行評測,openai/gsm8k(test[:200],貪婪解碼,reasoning_effort="none")、所有 164 個可執行 openai/openai_humaneval 問題、4 個 Vision VQA 測試(使用未修改的 637 MB BF16 視覺塔),以及涵蓋 16+13 種語言的 TextMix 視窗:

模型 文字模型容量(GB) free_KL(en/chat/code) all13_KL GSM8K(200) HumanEval(164) 與教師模型的彙整比較
原始 BF16 教師模型 18.89 0.0000 0.0000 147 / 200 (73.5%) 66 / 164 (40.2%) 100.0%
LookAtMyQuant 5.4 GB(SQYFR) 5.38 0.0895 0.2871 134 / 200 (67.0%) 60 / 164 (36.6%) 91.2%
Unsloth UD-IQ1_S 7.76 0.0808 0.1236 127 / 200 (63.5%) 46 / 164 (28.0%) 81.6%
LookAtMyQuant 8.9 GB(SQYFR) 8.87 0.0208 0.0571 148 / 200 (74.0%) 58 / 164 (35.4%) 96.8%
Unsloth UD-Q2_K_XL 9.14 0.0486 0.0811 132 / 200 (66.0%) 49 / 164 (29.9%) 85.3%
Unsloth UD-IQ3_XXS 11.66 0.0189 0.0278 148 / 200 (74.0%) 68 / 164 (41.5%) 101.4%

在5.38 GB 下,Inkling-2-Mini-LookAtMyQuant-5.4GB的表現勝過 Unsloth 的 9.14 GB UD-Q2_K_XL,GSM8K 和 HumanEval 的分數皆較高,容量也縮小 41%(未微調時分別為 76/200 和 24/164)。在8.87 GB 下,Inkling-2-Mini-LookAtMyQuant-8.9GB的 GSM8K 表現與 BF16 原始模型相當,且在英文/聊天/程式碼上的 KL 降至 2.34×,在 13 種語言上的 KL 則降至 29.6%,均低於 UD-Q2_K_XL。兩者皆可透過 lamq 和 runtime_mlx 直接執行,並使用自訂的 Apple Silicon Metal 核心;也可選擇搭配 178.9 MB 的4-bit DSpark 草稿模型:在 M5 Max 上,5.4 GB 版本的序列解碼速度為 73.2 tok/s,中位數為 125.2 tok/s(數學 141.8 tok/s、推理 129.0 tok/s、程式碼 121.4 tok/s、散文 102.3 tok/s;在 T=512 下,提示預填速度為 1,037 tok/s,使用中的記憶體為 5.83 GB);8.9 GB 版本的序列解碼速度為 63.1 tok/s,中位數為 101.3 tok/s(推理 133.9 tok/s、數學 118.9 tok/s;在 T=512 下,提示預填速度為 838 tok/s,使用中的記憶體為 9.32 GB)。

安裝並使用 Apple Silicon 執行環境

在 Apple silicon 上直接安裝執行環境套件(這會安裝 mlx、mlx-lm、numpy 和 huggingface-hub,不需要 PyTorch 編譯器相依套件):

pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git

從本機複製的儲存庫中,pip install -e .會安裝 lamq 指令;也可以不安裝,直接執行 python -m runtime_mlx。

命令列。提供本機模型資料夾或 Hugging Face 儲存庫 ID:

lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    -p "What is 17 times 23? Show the steps."

lamq generate shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter \
    -p "Write a Python function that merges overlapping intervals." --stats

lamq chat shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB \
    --drafter shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter

lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \
    --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \
    -p "What is 17 times 23? Show the steps." --stats

省略 -p 時,lamq generate會讀取標準輸入,並支援 --raw、--system、--thinking、--temp、--mode linear|chat-fork|copy-wide、--no-adaptive 和 --json。lamq info <model>會檢查封裝模型的格式與維度,不載入權重。

Python 整合。runtime_mlx.load會傳回與 mlx_lm.generate 和 mlx_lm.stream_generate 相容的 (model, tokenizer) 配對(可自動偵測 Qwen3.5-4B/Qwen3.8-27B 等 opgraph-packed-1 模型,以及 Gemma 4 E2B 等 lamq.json 匯出格式):

from mlx_lm import generate
from runtime_mlx import load

model, tok = load("shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB")
prompt = tok.apply_chat_template(
    [{"role": "user", "content": "What is 17 times 23? Show the steps."}],
    add_generation_prompt=True,
    enable_thinking=False,
)
print(generate(model, tok, prompt, max_tokens=200))

若要透過單一介面進行串流、多輪聊天或推測解碼,請使用 Runtime:

from runtime_mlx import Runtime

rt = Runtime.load(
    "shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB",
    drafter="shinmegamiboson/Qwen3.8-27B-LookAtMyQuant-7.2GB-drafter",
)
for chunk in rt.stream("Solve 3x + 4y = 31 and 5x - 2y = 17.", max_tokens=256):
    print(chunk.text, end="", flush=True)

用三個指令在 SmolLM2-360M 上執行編譯器

安裝相依套件並下載模型和 WikiText-2。程式啟動時會讀取 SmolLM2-360M 的設定,因此請先完成這些步驟。

pip install -r requirements.txt
python -c "from huggingface_hub import snapshot_download as d; d('HuggingFaceTB/SmolLM2-360M')"
python -c "from datasets import load_dataset as l; l('Salesforce/wikitext', 'wikitext-2-raw-v1')"

測量。這會逐一壓縮各個區塊,其他部分維持原樣,並記錄相對於原始模型的 KL 散度。此模型的完整測量集共 2,312 筆,在 L40S 上耗時約 50 分鐘。

python compiler.py measure --model HuggingFaceTB/SmolLM2-360M --part linear --layers 0-3 --out results/batch/my_measurements.json

配置。這會為各個區塊選擇一種編碼,在預算內使 KL 散度總和最低,不需要 GPU。此指令使用此儲存庫中的 SmolLM2-360M 測量資料,權重位元數預算為 3.044 bits。

python compiler.py allocate --sens 'results/batch/ccSens*.json' --target disk --items linear --bits 3.044 --out results/compiler/plans/my_plan.json

產生的計畫與 results/compiler/plans/sm_lin_3044.json具有相同的位元寬度。

建置並評分。這會依照計畫逐一量化模型中的矩陣,接著回報模型在 WikiText-2 測試集上的困惑度,以及相對於原始模型的 KL 散度。

python quantize.py --program plan --model HuggingFaceTB/SmolLM2-360M --plan results/compiler/plans/my_plan.json --out results/my_run.json

我們執行該計畫的結果記錄在 results/batch/cc_sm_lin_3044.json。困惑度為 16.64,KL 散度為 0.0926;原始模型的困惑度為 15.31。加上 --layers 1 --calib 8 --eval 2 可快速確認一切正常。

在 Qwen3.5-4B 上執行 LookAtMyQuant 2 配方

每個步驟都是具名工作;python run_batch.py --list會列印對應指令。這些工作需要磁碟區 models/Qwen3.5-4B 中的 Qwen3.5-4B,以及文字混合資料(modal run --detach modal_fetch.py --text)。產生的所有檔案都會存到磁碟區中的 lm2/。

modal run --detach modal_app.py --jobs lm2Text
modal run --detach modal_app.py --jobs lm2Calibration,lm2Solutions
modal run --detach modal_app.py --jobs lm2RowImportance
modal run --detach modal_app.py --jobs lm2Build
modal run --detach modal_app.py --jobs lm2Finetune
modal run --detach modal_app.py --jobs lm2Math,lm2Math216,lm2TextKL
工作 指令碼 用途 我們的執行結果
lm2Text other_text.py 原始模型會回答科學、程式碼、指令和工具提示,以及 MATH 和 GSM8K 訓練題。此步驟也會下載 MATH
lm2Calibration math_calibration.py 校準資料集:原始模型對 384 道 MATH 訓練題的貪婪解答,以 2,048 個 token 為一個視窗 15 分鐘,H100
lm2Solutions checked_solutions.py 用於微調蒸餾的數學文本:MATH 題目解答,以及來自另一個隨機種子的 math_bench.py 題解答;其中錯誤計算已更正,並只保留正確答案 33 分鐘,H100
lm2RowImportance row_importance.py 各輸出列在預測數字位置上的 Fisher 資訊量 1 分鐘,H100
lm2Build quantize.py 訓練後量化:沿列使用 trellis 編碼,在 Hessian 矩陣中將數字 token 的權重提高 10 倍,QEP 設為 α = 0.5,依列配置決定每列位元數,並使用 e-means 碼本 37 分鐘,H100
lm2Finetune finetune.py 進行 4,000 步蒸餾,讓潛在權重趨近其編碼值,並從原始權重重新量化每一層一次 2.7 小時,B200
lm2Math、lm2Math216 math_eval.py 包含 540 題的基準測試,以及另一組 216 題,測試原始模型、Bonsai、建置版本與微調後的建置版本 每個模型 20 分鐘,H100
lm2TextKL text_kl.py 在 WikiText-2 和文字混合資料的 13 個來源上,計算相對於原始模型的 KL 散度 每個模型 1 分鐘,H100

lm2BuildSmoke、lm2FinetuneSmoke 和 lm2MathSmoke 使用相同程式碼,在兩個層上執行 60 步並測試 36 題,各自在幾分鐘內完成。

列配置。 lm2Build 讀取 results/compiler/rows/q35_rowplan_1p2GB.json,為 1,520 個列群組各配置 1 到 4 個位元。row_allocation.py 負責產生配置。其 build-control 指令會以固定列分配建立並封裝對照組;prepare-rows 使用 rowgroup_alloc.py,在對照組封裝後的位元組內分配各列;build-rows 則依配置建置,並確認封裝後的大小符合預期。

碼本。建置版本解碼時使用的四個 e-means 碼本位於 cache/codes/。--trellis-fit lloyd 提供較早版本的碼本;在變更前建立的配置會沿用這些碼本,除非另有指定旗標。

近期等位元組配方改進。編譯器與微調指令碼提供兩項不增加位元組數的功能:

  • Softmax-Fisher token 表格排序(compiler.py measure 和 quantize.py 中的 --embed-order sfisher-mix)。以輸出 Softmax-Fisher E[p_v (1 - p_v)] 與語料庫頻率各佔 50% 的加權組合,為權重共用的 embedding/輸出桶排序;未共用權重的輸出頭則只依 Softmax-Fisher 排序。
  • 訓練中期的等位元組列重新分配(finetune.py 中的 --realloc-at 1000)。搭配 --rebuild-at 1000 使用時,會測量每一層連續值與儲存值之間的 proximal KL 差距 KL(all P) - KL(layer = W),將位元移往尚未充分吸收誤差的深層,同時維持檔案大小完全相同(--realloc-max-delta 1)。在 Qwen3.5-4B 上以相同的 1.23 GB(2.297 bpp)搭配 sfisher-mix 使用後,WikiText-2 的 KL 散度從 0.425 降至 0.387(−9.0%),13 個來源的 KL 散度則從 0.447 降至 0.378(−15.5%,13 個來源全數改善)。

這些工作與我們執行方式的差異。我們較早撰寫 GSM8K 解答,且始終關閉思考模式。我們在 13 個來源上測量文字 KL 時,使用另一個工具從文字混合資料中挑選 52 個視窗;--sources mix 則使用該混合資料本身的評估視窗。在這些視窗上,我們的檔案得分為 0.44,頁面上報告的數值為 0.45。

大型模型透過 Modal 執行,每項工作使用一張 GPU

run_batch.py 列出每項工作,modal_app.py 負責執行。modal_fetch.py 會下載用於校準與評估的模型和文字混合資料。

modal run modal_app.py::setup
modal run --detach modal_fetch.py --text
modal run --detach modal_fetch.py --models google/gemma-4-E2B-it
modal run --detach modal_app.py --jobs ccMG4E2Noise,ccMG4E2Spot,ccMG4E2EmbKv

網站背後的工作使用以下機器,每臺配有 8 個 CPU 核心:

模型 GPU 時間
SmolLM2-360M L40S 測量約需 50 分鐘,分 9 項工作平行執行
Gemma 4 E2B,測量 H100 每項工作 7–26 分鐘,共 4 項工作
Gemma 4 E2B,建立配置 H100 每份配置 28–58 分鐘

gguf_compiler.py 根據 llama.cpp 自身的張量型別建立配置,因此產生的結果可直接在 llama.cpp 中執行。public_eval.py 使用與我們的配置相同的方式評分公開量化版本。兩者都在 modal_gguf.py 的映像檔中執行,該映像檔會以 CUDA 建置 llama.cpp。

Apple Silicon 執行環境可讀取 Lloyd–Max 與 trellis 配置

quantize.py --export <folder> 會以 runtime_mlx/ 可讀取的格式寫入配置。使用 trellis 編碼的配置也需要 --trellis-rows 16,8,它會沿矩陣的每一列執行各個 trellis 路徑,因此解碼某個專案時只需讀取該列。在 Apple Silicon 上,pip install . 會安裝 mlx 和 mlx-lm;requirements.txt 則包含 PyTorch 編譯器的相依套件。

在 2.5 GB 的 Gemma 4 E2B 上,trellis 配置的 KL 散度比 Lloyd–Max 配置低 26%,解碼速度則慢約 22%。runtime_mlx/test_trellis_gen.py 和 runtime_mlx/test_trellis.py 會使用量化器建立的矩陣,檢查 trellis 核心程式。

python runtime_mlx/bench.py lamq path/to/export

撰寫 drafter,讓 1.2 GB 檔案在 Apple 晶片上快 1.5 到 2 倍

runtime_mlx/fast_q35.py 會直接從 trellis 編碼逐一解碼這個打包後的 1.2 GB Qwen3.5-4B 檔案。runtime_mlx/drafter_q35.py 加入推測解碼。小型 drafter 會在單次運算中,提議模型最新 token 後的七個 token。接著,模型會在單次運算中檢查編碼權重的八個位置(runtime_mlx/block_q35.py),並保留符合自身選擇的提案,因此產生的文字與模型自行採用貪婪解碼時完全相同。

在 M5 Max 上,以 30 個最多 256 個 token 的保留提示詞進行測試,使用 drafter 後的生成速度快了 2.0 倍:每秒 176 個 token,相較之下為 88 個;測試於 2026-11-11 在同一個程式中交替進行。每次檢查平均保留 4.3 個 token。以八個日常提示詞測試時,速度快了 1.5 倍。效能提升幅度取決於文字的可預測程度:代數題快 2.5 倍、程式碼快 2.0 倍、聊天快 1.2 倍、故事快 1.05 倍;30 個保留提示詞中,有一個使用 drafter 時反而較慢。所有提示詞產生的文字都與一般貪婪解碼相同。這些速度是從第一個 token 之後開始計算;無論採用哪種方式,讀取提示詞都約需 0.1 秒。

這份程式碼還有兩項後續改進。每項改進都以改進前的版本為基準,在 40 組成對生成測試中測量:從最常見的 96,033 個 token 中提出候選,速度快了 6.0%;在打包運算中挑選勝出 token,速度快了 5.3%。線性模式也預設啟用自我校準的自適應回退功能(adaptive=True;傳入 --no-adaptive 即可停用):當滑動接受率低於實測的損益平衡比率,也就是提案檢查延遲與序列逐步生成延遲的比率(並將快取清除和 drafter 脈絡重播納入計算),系統會暫停提案,改用短暫且精確的序列生成批次;待接受率回升後再恢復提案。如此可維持逐位元完全一致的貪婪解碼結果,同時避免接受率偏低的散文生成速度變慢。

這個 drafter 是 DSpine 模型,使用 SpecForge,以公開發布、供 Qwen3.5-4B 使用的 DFlash drafter 為基礎,並以該 1.2 GB 檔案自行產生的貪婪解碼結果進行訓練。modal_drafter.py 會以單一 Modal 工作執行訓練,費用為 $42。以 300 個保留提示詞測試時,訓練完成的 drafter 每次檢查可取得 4.65 個 token,高於原版 DFlash drafter 的 4.30 個。

pack_drafter.py 使用建置本身的程式碼,以每個權重 4 位元儲存 drafter,無須校準資料:檔案大小為 464 MB,相較之下,16 位元版本為 1.83 GB。以 60 個保留提示詞測試時,4 位元 drafter 每次檢查保留 4.35 個 token,相較之下為 4.38 個,產生的文字則相同。drafter_q35.py 可載入任一版本,並在載入時將打包版本展開為密集格式。4 位元 drafter 是 lm2-drafter-4bit 發行版。它會與打包後的 1.2 GB 檔案一同執行;該檔案是 lm2-qwen35-4b-1.2gb 發行版。

gh release download lm2-qwen35-4b-1.2gb --repo ShinMegamiBoson/lookatmyquant -D q35-1.2gb
gh release download lm2-drafter-4bit --repo ShinMegamiBoson/lookatmyquant -D drafter-4bit
python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit

效能測試預設使用線性驗證。使用 --mode chat-fork,可在較不明確的早期位置測試第二個候選項;使用 --mode copy-wide,則可測試已知的連續複製片段。複製模式會使用來源遊標,並為 16 個位置的檢查調整 gate/up 和 down 投影。兩種模式都會使用打包後的目標模型驗證所有輸出的 token。若要對聊天分支進行效能測試,請執行:

python runtime_mlx/bench_drafted.py q35-1.2gb drafter-4bit --mode chat-fork --prompts chat

若要測試複製模式,請傳入 --mode copy-wide --heldout path/to/copy-prompts.json。JSON 專案會帶有 source、prompt_len 和 input_ids,這些內容來自打包模型的 tokenizer。

檢查工具,以及用於自行訓練 drafter 的打包工具:

python runtime_mlx/test_fast_q35.py
LAMQ_Q35_PACKED=path/to/packed python runtime_mlx/test_block_q35.py
python runtime_mlx/check_drafter.py path/to/packed path/to/drafter
python runtime_mlx/bench_drafted.py path/to/packed path/to/drafter --heldout path/to/drafter/heldout/heldout.json --take 30
python pack_drafter.py path/to/drafter path/to/drafter-4bit

runtime_mlx/pack_dense.py 會使用微調後建置版本的密集權重寫出打包檔案,runtime_mlx/modal_pack.py 則會在 Modal 上執行該檔案。check_drafter.py 會使用由 drafter/reference.py 寫出的參考區塊,比較 MLX 中的 drafter 與 SpecForge 自己的模型。

檔案一覽

路徑 內容
compiler.py 測量並配置
compiler_arch.py 編譯器如何尋找模型的層、表格與階段,以及文字組合
quantize.py 建置程式或計畫,然後評分
row_importance.py、rowgroup_alloc.py、row_allocation.py、compiler_artifact.py 每列位元:各列的重要性、配置、比較的建置版本,以及為這些配置定價的封裝格式
math_calibration.py、checked_solutions.py、other_text.py、calc_check.py、token_kinds.py 配方用來校準與微調的文字、檢查已列出計算的檢查器,以及各位置預測的 Token 型別
finetune.py、finetune_lib.py、fast_delta.py 以程式碼結尾的微調,以及適用於 Qwen3.5 的快速線性注意力規則
math_bench.py、math_eval.py、text_kl.py 精確答案數學基準測試、用於 Qwen3.5 系列與 Bonsai 的執行程式,以及文字相對於原始版本的 KL 散度
gguf_compiler.py、public_eval.py、eval_tasks.py llama.cpp 執行方式、公開的量化版本與任務基準測試
pyproject.toml、runtime_mlx/runtime.py、runtime_mlx/cli.py 可安裝的 Apple Silicon 執行環境套件、統一的 load/Runtime Python API,以及 lamq CLI
lamq_export.py、runtime_mlx/ 匯出格式與 Apple Silicon 執行環境
runtime_mlx/fast_q35.py、block_q35.py、block_argmax_q35.py、pack_dense.py、modal_pack.py 適用於封裝版 Qwen3.5-4B 與 Qwen3.8-27B 檔案的執行環境:一次一個 Token、單次處理 8 或 16 個 Token 的區塊,以及封裝工具
runtime_mlx/inkling/、runtime_mlx/test_inkling.py Apple Silicon MLX 執行環境、4 KB SRAM ht2/ht3 Metal 核心,以及適用於封裝版 Inkling-2-Mini 模型的 4 位元 DSpark 區塊 8 推測解碼草稿模型
runtime_mlx/drafter_q35.py、draft_vocab_q35.py、convert_dspine.py、check_drafter.py、bench_drafted.py、drafter/、modal_drafter.py、pack_drafter.py 使用 DSpine 草稿模型進行推測解碼、Tencent DSpine 轉換、草稿模型訓練,以及以 4 位元儲存的草稿模型
opgraph/ 文法:將模型視為張量網路,以及作用於網路的改寫規則與程式碼
run_completeness.py、make_report.py 確認九種已發表方法都能精確重現的檢查
analyze_compiler.py 規劃結果表
run_batch.py、modal_app.py、modal_gguf.py、modal_fetch.py 具名工作與 Modal 執行程式
results/compiler/plans/、results/compiler/rows/ 所有規劃,以及 1.2 GB Qwen3.5-4B 的逐列規劃
results/protocols/ 第二組包含 216 題的數學題集,以及所有未納入訓練文字的題目雜湊值
cache/codes/ 1 至 4 位元的 e-means trellis 碼本
results/batch/、results/gguf/ 網站背後的測量結果與規劃執行紀錄
results/COMPILER.md、results/COMPLETENESS.md SmolLM2-360M 與 Qwen3.5-4B 編譯器的說明,以及重現檢查的說明
site/ 網站。請在其中執行 python3 -m http.server 8000,接著造訪 http://localhost:8000
site2/ LookAtMyQuant 2 頁面。執行方式相同
tests/ 文法與程式碼的測試

測試需要 SmolLM2-360M 與 WikiText-2

每個測試檔都能在儲存庫根目錄獨立執行,七項測試全部完成不到一分鐘。

python tests/test_frame.py
python tests/test_grammar.py
python tests/test_codes.py
python tests/test_elements.py
python tests/test_nested.py
python tests/test_rowgroup_alloc.py
python tests/test_reallocation.py

runtime_mlx/test_core.py會依據量化器的數學運算檢查執行環境。請先執行 python runtime_mlx/make_ref.py,它會寫入 1.6 GB 的參考檔案。

runtime_mlx/test_fast_q35.py與 runtime_mlx/test_block_q35.py會使用獨立解封裝的程式碼所計算出的 NumPy 乘積,檢查 Qwen3.5 核心,不需要模型。當 LAMQ_Q35_PACKED指定封裝檔案時,第二項測試也會比較一個 Token 區塊與逐一解碼 Token 的結果。當 LAMQ_Q38_PACKED指定封裝版 Qwen3.8-27B 檔案時,測試會對輸出頭與嵌入層分開儲存的模型執行相同檢查。

此儲存庫未包含的內容

  • 模型權重。所有內容都從 Hugging Face 下載。Qwen3.5-4B 工作預期該模型位於磁碟區中的 models/Qwen3.5-4B。
  • 基準測試副本。eval_tasks.py會下載基準測試資料。在離線電腦上,它會讀取 data/bench/ 中匯出的副本;這些副本未包含在此處。Modal 映像檔會離線執行,因此請先將基準測試資料快取到磁碟區。
  • 組裝 site/data.json 的指令碼。這是由一系列一次性步驟組成。來源數值都在 results/ 中。
  • LookAtMyQuant 2 的密集權重與結果檔案。1.2 GB 檔案是以封裝格式發布的版本。基準測試所用的密集權重並未發布,site2/data.json 背後逐題的結果,以及根據這些結果產生頁面數值的指令碼也都未發布。
  • 16 位元草稿模型。訓練完成的草稿模型大小為 1.8 GB,尚未發布。4 位元版本是發布檔案,而 modal_drafter.py 會訓練這個版本。
來源: hackernews100 (github.com)
開啟原文

讀者討論

理性交流 · 即時討論