RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

HuggingFace发表了一篇博客，详细讲解了ChatGPT背后的技术原理——RLHF。

笔者读过之后，觉得讲解的还是蛮清晰的，因此提炼了一下核心脉络，希望给对ChatGPT技术原理感兴趣的小伙伴带来帮助。

此外，文末整理了几篇关于 RLHF 最热门的12篇必读论文，卖萌酱打包好挂在公众号后台了，感兴趣的小伙伴可以在公众号“夕小瑶的卖萌屋”后台回复【1212】领取。

在过去几年里，基于prompt范式的AI生成模型取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。

但其实这种生成模型很难训练。以语言模型为例，大多是采用“自回归生成”的方式，通过循环解码的方式来逐字或逐词生成内容。训练时往往简单的基于上下文信息去预测下一个词，然后用交叉熵来计算每个词的loss。显然这种token-level的loss不能很好的从整体输出的层面去指导模型优化方向。

为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。

因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——RLHF（Reinforcement Learning from Human Feedback）：即，使用强化学习的方法，利用人类反馈信号直接优化语言模型。

抱抱脸：ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文_夕小瑶的博客-CSDN博客

从零实现ChatGPT——RLHF技术笔记 - 知乎

Illustrating Reinforcement Learning from Human Feedback (RLHF)

RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】相关推荐

只用1/500数据就打败人类！一种采样高效的强化学习算法 | 报告详解
[栏目:前沿进展]近日,清华大学交叉信息研究院高阳研究组在强化学习领域中取得突破,研究组所提出的模型EfficientZero首次在雅达利(Atari )游戏数据上超过同等游戏时长的人类平均水平.Ef ...
空间简史-人类认识空间的旅程与其对强化学习的启示
来源:混沌巡洋舰摘要:本文是对okeefe 1978(栅格细胞发现者, 2014诺贝尔奖得主)的论文 cognitive map 的总结和延申. 一空间的先验与后验之争对于我们在其中生存和繁 ...
基于文本知识库的强化学习技术——Learning to Win by Reading Manuals in a Monte-Carlo Framework
论文链接:http://people.csail.mit.edu/branavan/papers/acl2011.pdf 文章目录 1. 背景介绍 2. 将攻略文本引入值函数 Q(s,a)Q(s, a ...
基于图神经网络的多智能体深度强化学习
参考文献 [1] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. a ...
基于深度强化学习的机器人运动控制研究进展 | 无模型强化学习 | 元学习
1.基于深度强化学习的机器人运动控制研究进展 1.1 深度强化学习 1.1.1 强化学习简介: 强化学习(Reinforcement Learning, RL)利用试错机制与环境进行交互,旨在通过最大 ...
基于强化学习与深度强化学习的游戏AI训练
github地址一.摘要在本次大作业中由两个项目组成. 第一个小项目即为简单AI走迷宫游戏,通过强化学习的Q-learning算法,对AI进行训练来让其能以大概率找打一条通关路径并基本按照该路径进 ...
[CV] 基于机器视觉和强化学习的导航
本文学习CVPR 2019 论文: 1.Abstract 作者提出视觉导航是目前很火的一个方向,然后提出了基于自然语言理解的导航提到了几个名词: VLN : Vision-language navi ...
论文阅读-Training a Helpful and Harmless Assistant withReinforcement Learning from Human Feedback
一.论文信息论文名称:Training a Helpful and Harmless Assistant withReinforcement Learning from Human Feedback ...
优于人类参考摘要，适用CNN新闻，OpenAI用人类反馈提升了摘要生成质量
选自arXiv 作者:Nisan Stiennon 等机器之心编译编辑:杜伟.小舟.陈萍近日,来自 OpenAI 的研究者利用人类反馈优化了文本摘要生成模型,该模型生成的摘要质量显著提升,并且可 ...

RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】

RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】相关推荐

最新文章

热门文章