ChatGPT 为什么不用 Reward-Model 的数据直接 fine-tune，而用 RL？

ChatGPT是用监督学习训练的，监督学习使用了人类专家提供的对话样本作为训练数据。但是监督学习也有一些限制。而使用强化学习（RL）的方法可以提供一种更灵活的训练框架，可以根据对话的结果来自我调整。强化学习可以使用奖励信号来指导学习过程，并根据奖励的不同调整生成对话的策略。