LookAtMyQuant 用較小檔案儲存模型表現,並支援 Apple Silicon 執行
模型檔案縮小後,回答品質可能跟著下降,也很難知道不同壓縮方法差多少。作者推出 LookAtMyQuant,會估算模型各部分壓縮後對輸出的影響,再分配儲存空間;新版也提供可在 Apple Silicon 上執行的模型與工具。以 Inkling-2-Mini 為例,5.38 GB 版本在 GSM8K 解出 134 題、HumanEval 通過 60 題;8.87 GB 版本在 GSM8K 解出 148 題,與原始模型相同。這些比較呈現了縮小檔案後的測試結果,也顯示表現會因模型大小與測試專案而異。
推薦理由:作者提供多種模型在相同檔案大小下的量化比較,並列出數學、程式測試與文字差異,方便衡量縮小模型後的取捨。