Speculative Decoding 與 Distillation：降低延遲的兩種方式，品質成本各異

本文對比 Speculative Decoding 與 Distillation 兩種降低延遲的技術，說明它們在成本、品質與可擴充套件性上的差異。 - Speculative Decoding：在大模型前先跑小模型草稿，驗證後接受相符 token；保持輸出分佈不變，成本取決於草稿接受率。