最近,我在给自己的手搓 LLM 项目补后训练。 做到 DPO 时,训练指标看起来非常舒服: loss 降了约 75%,偏好 score 也大幅上涨。