今年谷歌研究的一篇论文提到，当PRM成功发现过程中的第一个错误时，RL训练的效果可以得到显着提升。 .6 关键模型 随着任务复杂性的增加，仅仅依靠模型自身的推理能力可能无法提供有效的奖励信号。这使得模型内复杂推理过程的监督成为可扩展的监督问题。特别是，在训练o的隐含思维链的过程中，还应该引入Critic的方法。通过分解推理过程并使用额外的更强、更专业的批评模型，推理过程的监督可以扩展到更复杂的问题。这也在一定程度上缓解了仅根据推理过程是否能够产生正确结果来确定奖励信号的稀缺问题。
OpenAI 的 CriticGPT 通过 RLHF （模型在训练过程中未遇到的数据）。这种反馈 巴拉圭电话号码表 可以帮助人们做出更准确的判断，从而对复杂的结果实现有效的奖励反馈。 。对技术原理的推测。 OpenAI官方“提示”通过强化学习，o学会细化其推理链并优化其使用的策略。他学会识别和纠正错误，将复杂的步骤分解为更简单的部分，并在当前方法不起作用时尝试不同的方法。
这个过程显着提高了模型的推理能力。 o 模型引入了推理标记。该模型使用这些推理标记进行“思考”，分解其对提示的理解并考虑多种方式来生成响应。生成推理标记后，模型将响应生成为可见推理标记，并从其上下文中丢弃推理标记。以下是用户和助理之间的多步骤对话的示例。每个步骤的输入和输出标记将被保留，而推理标记将被丢弃。 （如何进行推理，OpenAI官网）。张俊林的假设：MCTS搜索技术路线OpenAI o提到了RL在训练和推理过程中的缩放律，并指出它与预训练时的缩放律有不同的特点。