RLHF 的流程里有一段被公认为最麻烦的部分:先训一个奖励模型,再用强化学习去优化策略。 RLHF 的流程里有一段被公认为最麻烦的部分: 先训一个奖励模型,再用强化学习去优化策略。 麻烦体现在三处: