ChatGPT是一种自然语言生成模型，它也可以根据输入文字一键生成人类可以接受的自然语言理解导出。这是根据GPT（Generative Pre-training Transformer）模型发展而来，但专门用来对话系统。ChatGPT 根据 GPT 大模型训练、有监管训练原始模型、训练 Reward 模型、增强学习提升模型 等步骤完成自身强大会话作用。

ChatGPT 火了近半年多了，期内各种各样花样会话五花八门，许多室内设计师现在开始用 ChatGPT AI绘图系统来开展 AI 艺术创作，实际效果可以说非常惊艳到了。

在网上相关 ChatGPT 的原理详细介绍文章内容一大堆，要不是以 NLP 历史逐渐说起，要么就是上数 GPT 3 代，具体内容都较为冗杂十分复杂。实际上 ChatGPT 的原理并不难理解，本文用最浅显易懂形式为技术性新手讲解，帮助大家更好的了解这一技术。

ChatGPT 要在 GPT （Generative Pre-training Transformer）模型的前提下根据改善提升所得到的。GPT 是一种大中型语言表达模型，可以形成多种不同的文本类型，而 ChatGPT 乃是对于会话情景尤其提升完的，它也可以根据前后文一键生成跟人类一样的文字会话。如图是 OpenAI 官方网对 ChatGPT 的原理详细介绍，文中都将分这两步给大家讲解

第〇步：文本接龙—— GPT 大模型

GPT 系列产品模型根据那样思路：让 AI 在通用、大量的数据中学习培训文本接龙，即把握根据上文具体内容形成后面文字能力。这种训练不用人类标注数据，只应该给一段话的前文并且把下面遮挡住，将 AI 的回答与语料库中下面内容作比较，就能训练 AI。ChatGPT 便是在 GPT3.5 模型上面做的改善，做为 GPT 系列第三代，GPT3.5 在万亿元英语词汇量通用性文本数据上训练进行，基本上能完成自然语言理解的绝大多数每日任务，比如英语完形填空、阅读和理解、词义推论、计算机翻译、文章生成和自动互动问答等。

例如告知 GPT “花谢花飞花满”，GPT 就可形成最可能是下一个字的结论。但是由于下一个字有各种各样的概率，例如 “花满天”、“花满地”、“花满园” 都觉得得通，因此 GPT 模型每一次导出的结果就是不同类型的。这相近“熟读唐诗三百首，不容易写诗还会吟”。

第一步：人类正确引导接龙方位——有监管训练原始模型

只靠学习培训文本接龙，GPT 仍不知道如何得出有价值的回答。例如问 GPT “世界最高的山是哪座山？”，“你可以告诉我么”、“喜马拉雅山”、“这是一个好问题” 全是前后文通畅的回答，但明显 “喜马拉雅山” 是更加符合人类期待的回答。

因而科研人员让人类“标注员”就一些问题写下人力回答，然后把这种问题及答案扔给 GPT 学习培训。这正是有监管训练，即对指定难题告知 AI 人类认同的回答，让 AI 生搬硬套。此方法能够正确引导 AI 往人类期待的方位去干文本接龙，其实就是得出恰当且有价值的回答。通过各种有监管训练的办法，我们能得到一个简化版的 ChatGPT 模型。

需注意，这儿并不一定人类穷列举全部可能性的问题及答案，这不仅成本很高又不是很实际。事实上科研人员会提供了数万条数据信息让 AI 学习培训，由于 GPT 本身就有水平造成标准答案，仅仅尚未知道这些答案就是人类所需要的；这几万元条数据信息主要目的是告知 AI 人类的爱好，提供一个文本接龙方向上正确引导。

第二步：给 GPT 雇个“优秀老师”—— Reward 模型

怎么让这一简化版的 ChatGPT 模型变得更加强大呢？大家可以参考一下别的 AI 模型的训练构思，前些年轰动一时的围棋人工智能 AlphaGo，是由大量的自身围棋对战提升模型，最后超过人类；能否让 GPT 通过一系列简单对话提高其回答解决问题的能力呢？还可以，但缺少一个 “优秀老师”。

AlphaGo 自身围棋对战，最后输赢根据围棋的规则来确定；但 GPT 回答一个问题，由谁来告知 GPT 回答的好与坏呢？总不可能令人来一一鉴定吧？人时长考虑周全，但 AI 的时间和精力是无限的，如果有一个能鉴别 GPT 回答高低的「教师模型」（即 Reward 模型），以人类的评定标准对 GPT 所给出的答案开展得分，这么着能够帮助 GPT 的回答更符合人类的喜好了吗？

因此科研人员让 GPT 对特定难题得出好几个回答，由人类来对这种回答的好与坏做排列（对比立即揭晓答案，让人类做排列相对简单得多）。根据这种点评数据信息，科研人员训练了一个合乎人类评判标准/喜好的 Reward 模型。

第三步：AI 具体指导 AI ——增强学习提升模型

“大家已是完善的 AI 了，该学会独立具体指导我了”。想要实现 AI 具体指导 AI，得依靠增强学习技术性；简单的说就是让 AI 根据努力尝试，无则加勉、以此为鉴，进而逐渐强大。

前二步训练所得到的模型在这里一步都可以大展身手：大家任意问简化版 ChatGPT 一个问题并获得一个回答，让 Reward 模型（教师模型）给回答一个得分，AI 根据得分来调整主要参数确保在下一次互动问答中获取更高分数。反复这一过程，全版 ChatGPT 就训练好了！

汇总

从原理看，ChatGPT 是一个善于聊天的文本接龙大神，乍一看，它看起来能形成当然顺畅的回答，可事实上这种回答通常缺乏条理性和准确性考虑，从某种意义上来说全是 “一本正经地胡说八道”，因此惹出许多嘲笑。但是目前的模型根本无法对于所有问题也给AI给予正确答案，且对未来难题，人类都难得回答，就更别提应用历史答案数据信息训练出的AI模型。

但是总体来说，ChatGPT 是一种具有前景的自然语言生成技术性，在对话系统、对话机器人、虚拟助手等领域拥有普遍的发展前景（例如文中开始、结尾一部分是 ChatGPT 所写的 ^_^）。期待文中可以帮助阅读者掌握 ChatGPT 的原理，能够更好地使用它去满足我们的需求。