Hacker News (官方 RSS)·2026-10-08 21:29· 5 小時前精選AI 評分80

Sub-1-Bit LLM 壓縮：透過潛在因式分解

Sub-1-Bit LLM Compression via Latent Factorization

AI 導讀

LittleBit 將大型語言模型壓縮至每個權重 0.1 位，並保留原始架構。

\n\n- 核心技術：將密集權重矩陣分解為低秩潛在因子，再二值化並使用輕量級學習尺度恢復幅度。

推薦理由

小尺寸量化方法可將大型語言模型壓縮至每個權重 0.1 位，並在保持原始架構的同時，提升推理速度與儲存效率，為極端模型壓縮提供創新的技術路徑，並支援多種主流模型與 QAT 友好訓練，實現高效零推理開銷。