OPD matches GRPO at 50x fewer FLOPs

導語 本文整理了 2026 年 10 月 30 日至 11 月 6 日間發表的多篇關於偏好最佳化、在策略蒸餾與 LoRA 的研究，並對 OPD 與 GRPO 的計算效率、DPO 的對齊稅負以及 LoRA 動態秩調整等實驗結果進行對比。