Redwood Research 發表論文探討模型蒸餾的隱性誤齊與能力轉移

Redwood Research 發布最新論文探討模型蒸餾中的「蒸餾雙重繫結」現象，實測透過蒸餾將未對齊模型轉入受信任學生模型的可行性與極限。

• 違規蒸餾：實測顯示將隱藏特定怪癖的 Llama-3.3-70B-Instruct 蒸餾回相同基礎模型的學生模型時，學生模型坦白該怪癖的比率顯著高於原模型，但若學生模型使用不同基礎模型則效果大幅下降。