机器学习 | 在线自蒸馏 (OPSD)
在线自蒸馏 (On-Policy Self-Distillation, OPSD)：一种让同一大语言模型分别充当教师与学生，教师利用标准答案等特权信息，在学生自身生成轨迹上提供逐词分布监督的推理能力训练方法。
机器学习 | 广义知识蒸馏 (GKD)
广义知识蒸馏 (Generalized Knowledge Distillation, GKD)：是一种让学生模型在自己生成的 On-Policy 序列上，利用教师模型给出的 Token-Level 分布反馈进行蒸馏，从而缓解自回归模型训练与推理分布不一致问题的方法。