Skip to content

LLM

约 592 个字 预计阅读时间 3 分钟

相关资料

评测与可解释性

蒸馏与强化学习后训练

  • On-Policy Distillation — Thinking Machines Lab 介绍让学生模型在自身生成的轨迹上接受教师密集监督的蒸馏方法,并讨论推理、个性化和持续学习场景。
  • LLM RL 后训练中的 Score Centering — 从策略梯度与 baseline 推导 score centering、reward centering 和组均值的区别,讨论采样分布偏移时的梯度估计问题。