文章主题:大型语言模型, 一致性问题, 人类反馈强化学习, ChatGPT

666AI工具大全,助力做AI时代先行者!

自 ChatGPT 发布以来,已经吸引了无数人一探究竟。但 ChatGPT 实际上是如何工作的?尽管它内部实现的细节尚未公布,我们却可以从最近的研究中一窥它的基本原理。

选自Assembly AI,作者:Marco Ramponi,机器之心编译,编辑:王强、蛋酱。

ChatGPT,作为OpenAI公司最新的语言模型,相较于其前身GPT-3有着显著的提升。类似于其他大型语言模型,ChatGPT能够以各种风格、满足不同需求的方式生成文本,同时在准确性、叙述细节以及上下文连贯性方面表现更为出色。作为OpenAI新一代大型语言模型中的代表,ChatGPT在设计上强调交互性,为用户提供了更加自然、流畅的沟通体验。

OpenAI 采用了一种独特的方法来优化 ChatGPT,该方法结合了监督学习和强化学习。在这个方法中,强化学习组件赋予了 ChatGPT 其独有的特性。为了提高模型的性能,OpenAI 采用了「人类反馈强化学习」(RLHF)的训练策略。这种训练方法在训练过程中引入了人类反馈,旨在减少那些无用、失真或者存在偏见的结果。

在本文中,我们将深入探讨GPT-3的不足之处以及其成因,同时解释RLHF的工作原理,并展示ChatGPT如何运用RLHF来解决GPT-3所面临的问题。接着,我们将对其使用的局限性进行分析。

大型语言模型中的能力与一致性

探索大型语言模型的一致性问题及解决方案

「一致性 vs 能力」可以被认为是「准确性 vs 精确性」的更抽象的类比。

机器学习领域中,一个模型的性能表现被定义为其在执行特定任务或一系列任务时的表现。为了衡量模型的这种性能,我们通常会关注模型如何优化其目标函数。举例来说,预测股票市场价格的模型就可能会设定一个衡量预测准确性的目标函数。如果这个模型能够精确地预测股票价格随着时间的变化,那么我们就可以认为这个模型具备了较高的执行能力。

一致性关注的核心在于实际期望中的模型行为,而非经过训练后的结果。其关注的问题在于目标函数是否达到预期,这基于模型目标和人类期望在何种程度上的契合。举例来说,如果正在训练一个鸟类分类器,旨在将鸟鉴别为麻雀或知更鸟,采用对数损失作为训练目标,那么最终的分类精度目标是相当高的。然而,如果该模型在训练过程中能够实现较低的对数损失,也就是说它的能力较强,但在测试集上的表现却并不理想,这就构成了一个不一致的情况。在这种情况下,模型能够优化训练目标,但却与最终的分类精度目标存在偏差。

GPT-3是一种非一致性模型,这一特点使得它与其它基于大量互联网文本数据训练的大型语言模型有所不同。这些模型能够模拟人类文本生成,但其生成的结果并不总是让人满意。这是因为它们的优化目标在于词序列的概率分布,即预测下一个单词的可能性。

在实际运用过程中,这些模型的目标在于执行有价值的认知任务,然而其训练方式和预期使用场景之间存在着显著的差别。虽然从数学角度分析,利用机器对词序列的统计分布进行建模是一种高效的方法,但是人类却倾向于选择最符合特定情境的文本序列来进行语言生成,同时借助已知背景知识和常识来推动这一过程。然而,当语言模型应用于需要高度可信度和可靠性的场景(例如对话系统或智能个人助手)时,这种差异可能会带来一定的困扰。

在过去的几年里,基于海量数据训练的大型人工智能模型取得了显著的进步,然而在现实生活中,它们的性能却并未达到预期。这种现象主要源于大型语言模型所存在的一些共性问题。

提供无效帮助:没有遵循用户的明确指示。内容胡编乱造:虚构不存在或错误事实的模型。缺乏可解释性:人们很难理解模型是如何得出特定决策或预测的。内容偏见有害:一个基于有偏见、有害数据训练的语言模型可能会在其输出中出现这种情况,即使它没有明确指示这样做。

但具体来说,一致性问题源自何处?语言模型的训练方式本身就容易产生不一致吗?

语言模型训练策略如何产生不一致?

Next-token-prediction 和 masked-language-modeling 是用于训练语言模型的核心技术。在第一种方法中,模型被给定一个词序列作为输入,并被要求预测序列中的下一个词。如果为模型提供输入句子:

“The cat sat on the”

它可能会将下一个单词预测为「mat」、「chair」或「floor」,因为在前面的上下文中,这些单词出现的概率很高;语言模型实际上能够评估给定先前序列的每个可能词的可能性。

masked-language-modeling 方法是 Next-token-prediction 的变体,其中输入句子中的一些词被替换为特殊 token,例如 [MASK]。然后,模型被要求预测应该插入到 mask 位置的正确的词。如果给模型一个句子:

“The [MASK] sat on the ”

它可能会预测 MASK 位置应该填的词是「cat」、「dog」。

这些目标函数的优点之一是,它允许模型学习语言的统计结构,例如常见的词序列和词使用模式。这通常有助于模型生成更自然、更流畅的文本,并且是每个语言模型预训练阶段的重要步骤。

然而这些目标函数也可能导致问题,这主要是因为模型无法区分重要错误和不重要错误。一个非常简单的例子是,如果给模型输入句子:

“The Roman Empire [MASK] with the reign of Augustus.”

它可能会预测 MASK 位置应该填入「began」或「ended」,因为这两个词的出现概率都很高。

一般来说,这些训练策略可能会导致语言模型在一些更复杂的任务中出现不一致,因为一个仅被训练来预测文本序列中的下一个词的模型可能不一定会学习其含义的某些更高级表征。因此,该模型很难推广到需要对语言更深入理解的任务。

研究人员正研究各种方法来解决大型语言模型中的一致性问题。ChatGPT 基于最初的 GPT-3 模型,但为了解决模型的不一致问题,使用了人类反馈来指导学习过程,对其进行了进一步训练。所使用的具体技术就是前面提到的 RLHF。ChatGPT 是第一个将此技术用于实际场景的模型。

那 ChatGPT 是如何利用人类反馈来解决一致性问题的呢?

从人类反馈中进行强化学习

方法总体上包括三个不同步骤:

有监督的调优:预训练的语言模型在少量已标注的数据上进行调优,以学习从给定的 prompt 列表生成输出的有监督的策略(即 SFT 模型);模拟人类偏好:标注者们对相对大量的 SFT 模型输出进行投票,这就创建了一个由比较数据组成的新数据集。在此数据集上训练新模型,被称为训练回报模型(Reward Model,RM);近端策略优化(PPO):RM 模型用于进一步调优和改进 SFT 模型,PPO 输出结果是的策略模式。

步骤 1 只进行一次,而步骤 2 和步骤 3 可以持续重复进行:在当前最佳策略模型上收集更多的比较数据,用于训练新的 RM 模型,然后训练新的策略。接下来,将对每一步的细节进行详述。

步骤 1:监督调优模型

第一步是收集数据,以训练有监督的策略模型。

数据收集:选择一个提示列表,标注人员按要求写下预期的输出。对于 ChatGPT,使用了两种不同的 prompt 来源:一些是直接使用标注人员或研究人员准备的,另一些是从 OpenAI 的 API 请求(即从 GPT-3 用户那里)获取的。虽然整个过程缓慢且昂贵,但最终得到的结果是一个相对较小、高质量的数据集(大概有 12-15k 个数据点),可用于调优预训练的语言模型。模型选择:ChatGPT 的开发人员选择了 GPT-3.5 系列中的预训练模型,而不是对原始 GPT-3 模型进行调优。使用的基线模型是最新版的 text-davinci-003(通过对程序代码调优的 GPT-3 模型)。

为了创建像 ChatGPT 这样的通用聊天机器人,开发人员是在「代码模型」而不是纯文本模型之上进行调优。

探索大型语言模型的一致性问题及解决方案

由于此步骤的数据量有限,该过程获得的 SFT 模型可能会输出仍然并非用户关注的文本,并且通常会出现不一致问题。这里的问题是监督学习步骤具有高可扩展性成本。

为了克服这个问题,使用的策略是让人工标注者对 SFT 模型的不同输出进行排序以创建 RM 模型,而不是让人工标注者创建一个更大的精选数据集。

第二步:训练回报模型

这一步的目标是直接从数据中学习目标函数。该函数的目的是为 SFT 模型输出进行打分,这代表这些输出对于人类来说可取程度有多大。这强有力地反映了选定的人类标注者的具体偏好以及他们同意遵循的共同准则。最后,这个过程将从数据中得到模仿人类偏好的系统。

它的工作原理是:

选择 prompt 列表,SFT 模型为每个 prompt 生成多个输出(4 到 9 之间的任意值);标注者将输出从最佳到最差排序。结果是一个新的标签数据集,该数据集的大小大约是用于 SFT 模型的精确数据集的 10 倍;此新数据用于训练 RM 模型 。该模型将 SFT 模型输出作为输入,并按优先顺序对它们进行排序。
探索大型语言模型的一致性问题及解决方案

对于标注者来说,对输出进行排序比从头开始打标要容易得多,这一过程可以更有效地扩展。在实践中,所选择的 prompt 的数量大约为 30-40k,并且包括排序输出的不同组合。

步骤 3:使用 PPO 模型微调 SFT 模型

这一步里强化学习被应用于通过优化 RM 模型来调优 SFT 模型。所使用的特定算法称为近端策略优化(PPO),而调优模型称为近段策略优化模型。

什么是 PPO?该算法的主要特点如下:

PPO 是一种用于在强化学习中训练 agent 的算法。它被称为「on-policy」算法,因为它直接学习和更新当前策略,而不是像 DQN 的「off-policy」算法那样从过去的经验中学习。PPO 根据 agent 所采取的行动和所获得的回报不断调整策略;PPO 使用「信任区域优化」方法来训练策略,它将策略的更改范围限制在与先前策略的一定程度内以保证稳定性。这与其它策略使用梯度方法形成鲜明对比,梯度方法有时会对策略进行大规模更新,从而破坏策略的稳定性;PPO 使用价值函数来估计给定状态或动作的预期回报。价值函数用于计算优势函数,它代表预期收益和当前收益之间的差异。然后使用优势函数通过比较当前策略采取的操作与先前策略将采取的操作来更新策略。这使 PPO 可以根据所采取行动的估计价值对策略进行更明智的更新。

在这一步中,PPO 模型由 SFT 模型初始化,价值函数由 RM 模型初始化。该环境是一个「bandit environment」,它会产生随机 prompt 并期望对 prompt 做出响应。对于给定的 prompt 和响应,它会产生相应的回报(由 RM 模型决定)。SFT 模型会对每个 token 添加 KL 惩罚因子,以尽量避免 RM 模型的过度优化。

探索大型语言模型的一致性问题及解决方案

性能评估

因为模型是根据人工标注的输入进行训练的,所以评估的核心部分也基于人工输入,即通过让标注者对模型输出的质量评分来进行。为避免训练阶段涉及的标注者的判断过拟合,测试集使用了来自其它 OpenAI 客户的 prompt,这些 prompt 未出现在训练数据中。

该模型基于三个标准进行评估:

帮助性:判断模型遵循用户指示以及推断指示的能力。真实性:判断模型在封闭领域任务中有产生虚构事实的倾向。无害性:标注者评估模型的输出是否适当、是否包含歧视性内容。

该模型还针对传统 NLP 任务(如解答问题、阅读理解和摘要)的零样本学习的性能进行了评估,开发人员发现在其中一些任务上模型的表现比 GPT-3 要差一些,这是一个「一致性税」( alignment tax) 的例子,其中基于 人类反馈强化学习的一致性程序是以降低某些任务的性能为代价的。

这些数据集的性能回归可以通过称为预训练混合的技巧大大减少:在通过梯度下降训练 PPO 模型期间,通过混合 SFT 模型和 PPO 模型的梯度来计算梯度更新。

方法的缺点

该方法的一个非常明显的局限性是,在将语言模型与人类意图保持一致的过程中,用于 fine-tuning 模型的数据会受到各种错综复杂的主观因素的影响,主要包括:

生成 demo 数据的人工标注者的偏好;设计研究和编写标签说明的研究人员;选择由开发人员制作或由 OpenAI 客户提供的 prompt;标注者偏差既包含在 RM 模型训练中,也包含在模型评估中。

ChatGPT 的作者也承认一个明显的事实,即参与训练过程的标注人员和研究人员可能并不能完全代表语言模型的所有潜在最终用户。

除了这一明显的「内生」限制之外,该方法还有的一些其它缺点和需要解决的问题:

缺乏对照研究:报告的结果以 SFT 模型为基准衡量最终 PPO 模型的性能。这可能会产生误导:如何知道这些改进是由于 RLHF?因此对照研究非常有必要,包括投入与用于训练 RM 模型的标注工时数完全相同的时间,以创建具有高质量数据的更大的精选有监督调优的数据集。这样就可以客观地衡量 RLHF 方法与监督方法相比的性能改进。简单来说,缺乏这样的对照研究让一个基本问题完全悬而未决:RLHF 在一致性语言模型方面真的做得很好吗?比较数据缺乏基本事实:标注者通常会对模型输出的排名持不同意见。技术上讲,产生的风险是在没有任何基本事实的情况下,向比较数据添加了很大的方差。人类的偏好并非同质:RLHF 方法将人类的偏好视为同质和静态的。假设所有人都有相同的价值观,这明显是不准确的,虽然有大量的公共价值观,但在很多事务上人类还是存在许多不同的认知。RM 模型 prompt 稳定性测试:没有实验表明 RM 模型在输入 prompt 变化方面的敏感性。如果两个 prompt 在句法上不同但在语义上是等价的,RM 模型能否在模型输出的排名中显示出显著差异?即 prompt 的质量对 RM 有多重要?其它问题:在 RL 方法中,模型有时可以学会控制自己的 RM 模型以实现期望的结果,从而导致「过度优化的策略」。这可能会导致模型重新创建一些模式,因为某些未知的原因,这些模式使 RM 模型得分较高。ChatGPT 通过使用 RM 函数中的 KL 惩罚项对此进行了修补。

相关阅读:

关于用于 ChatGPT 的 RLHF 方法的相关的论文:Training language models to follow instructions with human feedback(https://arxiv.org/pdf/2203.02155.pdf),它实际上详细描述了一个名为 InstructionGPT 的模型,OpenAI 称之为 ChatGPT 的「兄弟模型」。Learning to summarize from Human Feedback (https://arxiv.org/pdf/2009.01325.pdf)描述了文本摘要上下文中的 RLHF。PPO(https://arxiv.org/pdf/1707.06347.pdf):PPO 算法论文。Deep reinforcement learning from human preferences (https://arxiv.org/abs/1706.03741)DeepMind 在 Sparrow 中提出了 OpenAI RLHF 的替代方案 (https://arxiv.org/pdf/2209.14375.pdf) 和 GopherCite (https://arxiv.org/abs/2203.11147)文件。

参考内容:

https://www.assemblyai.com/blog/how-chatgpt-actually-works/?continueFlag=1bafdcd5c034def869fecb4f3bdaed70

大型语言模型, 一致性问题, 人类反馈强化学习, ChatGPT

探索大型语言模型的一致性问题及解决方案

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公写作、生活好得力助手!

搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!