ChatGPT研究框架（2023）-国泰君安-2023.2.7-72页

1 .行业专题研究 2023年02月07日 ChatGPT研究框架（2023） 

2 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 摘要 ChatGPT市场反应热烈，国内外巨头纷纷入场 据统计，ChatGPT日活跃用户数的增速远超Instagram，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的 01 两倍多；国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI，国内厂商（百度、腾讯等）也高度关注ChatGPT， 积极探索前沿技术，相关深度应用也即将推出。 ChatGPT经历多类技术路线演化，逐步成熟与完善 02 ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟 以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵 化出ChatGPT文本对话应用。 03 AIGC跨模态产业生态逐步成熟，商用落地未来可期 AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级，奠定了多场景的商用基础。跨模态生成技术也有望成为真 正实现认知和决策智能的转折点。 ChatGPT乘东风，商业架构日益清晰 04 随着ChatGPT Plus发布，商业化序幕已经拉开。ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大 助益，提升生产力曲线，多维度赋能虚拟经济和实体经济。 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 2 

3 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 目录 / CONTENTS 01 市场概况：ChatGPT——AI平民化里程碑 02 技术路径：基于人类反馈系统，ChatGPT助力跨模态AI生成应用 03 行业进程：AIGC多模态交互功能持续演化，奠定多场景商用基础 03 商业方向：多领域多功能应用密集落地，ChatGPT商用前景可期 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 3 

4 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01市场概况：ChatGPT——AI平 民化的里程碑 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 4 

5 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 OpenAI在成立之初便备受资本瞩目，与微软合作加速商业化进程  ChatGPT是由OpenAI 团队研发创造，OpenAI是由创业家埃隆·马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线 支付平台PayPal联合创始人彼得·蒂尔等人于2015年在旧金山创立的一家非盈利的AI研究公司，拥有多位硅谷重量级人物的资 金支持，启动资金高达10亿美金；OpenAI的创立目标是与其它机构合作进行AI的相关研究，并开放研究成果以促进AI技术的 发展 图1：OpenAI发展势头强劲，商业化趋势明显 2019年3月 2019年7月 2020年6月 2020年9月 OpenAI发展的里程碑 OpenAI宣布从”非盈 微软向OpenAI投资了 OpenAI发布了OpenAI OpenAI授权微软使用 利 “性质过度到”封 10亿美金，并获得了 API，这是OpenAI第 GPT-3模型，微软成 顶盈利“性质，利润 OpenAI技术的商业化 一个商业化产品， 为全球首个享用GPT- 上限为任何投资的100 授权。从此，OpenAI OpenAI正式开始了商 3能力的公司 倍（创立了OpenAI 的一些技术开始出现 业化运作 LP公司） 在微软的产品和业务 上 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 5 资料来源：OpenAI官网，国泰君安证券研究 

6 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 OpenAI 的ChatGPT是生成式人工智能技术（AIGC）浪潮的一部分 图2：随着算法的不断迭代，生成式人工智能技术（AIGC）不断发展 1950年，艾伦·图灵提出 2014年，Lan J. Goodfellow 著名的“图灵测试”，给 提出生成式对抗网络GAN 出判断机器是否具有“智 2007年，世界上 能”的方法 第一部完全由人 工智能创作的小 2018年，英伟达发布 说《1 The Road》 StyleGAN模型用于自动生成 问世 高质量图片 1966年，世界第一 AIGC典型 款可人机对话机器 2019年，DeepMind发布 事件 人“Eliza”问世 DVD-GAN模型用于生成连续 性视频 2012年，微软展 80年代中期，IBM 示语全自动同声传 2022年，OpenAI发布 创造语音控制打字 译系统，可将英文 ChatGPT模型用于生成自然能 机 “Tangora” 语音自动翻译成中 语言文本 文语音 AIGC发展 特点 AIGC从实验性向实用性转变，受 受限于技术水平，AIGC仅限于小 深度学习算法不断迭代，人工智能生成内容 限于算法瓶颈，无法直接进行内 范围实验 百花齐放 容生成 人工智能总 沉淀积累阶段 体阶段 早期萌芽阶段 快速发展阶段 （20世纪90年代-21世纪10年代 （20世纪50年代-90年代中期） （21世纪10年代中期-至今） 中期） 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 6 资料来源：中国信息通信研究院，国泰君安证券研究 

7 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 ChatGPT是在GPT基础上进一步开发的自然语言处理模型  GPT模型是一种自然语言处理（NLP）模型，使用多层变换器（Transformer）来预测下一个单词的概率分布，通过训练在大 型文本语料库上学习到的语言模式来生成自然语言文本  从 GPT-1 到 GPT-3 智能化程度不断提升，ChatGPT 的到来也是 GPT-4 正式推出之前的序章 图3：ChatGPT由GPT-1到InstructGPT模型的不断成熟而逐步形成 2018 GPT-2（15亿参数） 2019 除了理解能力外，GPT-2 在生成方面表现出了 强大的天赋：阅读摘要、聊天、续写、编故事， GPT-1（1.17亿参数） 甚至可以生成假新闻、钓鱼邮件或在线进行角 GPT-1 有一定的泛化能力，能够用 色扮演 于和监督任务无关的 NLP 任务中 2020 InstructGPT ChatGPT GPT-3（1750亿参数） InstructGPT是一个经过微调 ChatGPT 是 InstructGPT 的 GPT-3 作为一个自监督模型， 的新版 GPT-3 ，可以将有害 衍生产品，它将人类的反馈 可以完成自然语言处理的绝大 的、不真实的和有偏差的输 纳入训练过程，更好地使模 部分任务：将网页描述转换为 出最小化 型输出与用户意图保持一致 相应代码、模仿人类叙事、创 2022.01 作定制诗歌、生成游戏剧本， 2022.12 甚至模仿已故的哲学家预测生 命的真谛 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 7 资料来源：CSDN，国泰君安证券研究 

8 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 ChatGPT发布后用户数持续暴涨，市场影响力迅速提升  根据UBS发布的研究报告显示，ChatGPT在1月份的月活跃用户数已达1亿，成为史上用户数增长最快的消费者应用  相比之下，TikTok花了九个月的时间月活跃用户数才破亿，而Instagram则花费了两年半的时间，同时，根据Similar Web的披露信息，Spotify 在四年半后仅积累了1亿月活跃用户  根据Similar Web的数据，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多 图4：ChatGPT日活跃用户数的增速远超Instagram 图5：对比各大热门平台月活跃用户数破亿所需时长，ChatGPT的成长速度惊人 2个月 9个月 30个月 42个月 54个月 54个月 90个月 诚信 · 责任 · 亲和 · 专业 · 创新 资料来源：第一财经，国泰君安证券研究 请参阅附注免责声明 8 资料来源：UBS，Similar Web，ARK Invest，第一财经，国泰君安证券研究 

9 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 ChatGPT已能覆盖较多能力域  由于ChatGPT包含了更多主题的数据，能够处理更多小众主题。ChatGPT能力范围可以覆盖回答问题、撰写文章、文本摘要、语言翻译和生 成计算机代码等任务。 图6：ChatGPT的使用案例如下所示 用鲁迅口吻写一篇评价新冠疫情的散文 用Python写一段CCI量化投资策略 写一篇信创产业的研究报告 用藏文、俄罗斯语、韩语和日文说一句话 用C++写一段爬虫代码 代码阅读理解和Debug 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 9 资料来源：ChatGPT，国泰君安证券研究 

10 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 ChatGPT具备诸多先进性特征  ChatGPT嵌入了人类反馈强化学习以及人工监督微调，因而具备了理解上下文、连贯性等诸多先进特征，解锁了海量应用场景  当前，ChatGPT所利用的数据集只截止到2021年。在对话中，ChatGPT会主动记忆先前的对话内容信息(上下文理解)，用来辅助假设性的问题的 回复，因而ChatGPT也可实现连续对话，提升了交互模式下的用户体验。同时，ChatGPT也会屏蔽敏感信息，对于不能回答的内容也能给予相关 建议。 图7：ChatGPT提升的核心点如下所示 敢于质疑 连续对话能力 ChatGPT 人类意图 承认不知道 用户意图有效捕捉 连续对话 提升准确度 上下文理解 算法屏蔽 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 10 资料来源：知乎，国泰君安证券研究 

11 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 科技巨头不断下注AI行业， ChatGPT带动新一轮AI发展浪潮  2023年初，微软和谷歌均宣布裁员计划，但都加大了在AI行业的投入 图8：科技巨头纷纷加大ChatGPT相关投入  1月18日，微软宣布将于3月底前在全球裁员1万人，约占公司员工总数的5%  1月23日，微软宣布对 ChatGPT 创建者 OpenAI 进行第三轮投资，将向OpenAI进行为期多年、 金额达数十亿美元的投资，以加速其在人工智能领域的技术突破  此外，微软还计划在未来几周内发布其 Bing 搜索引擎的 GPT-4 版本，预计该版本将比 ChatGPT 模型更快、更强大  1月20日，谷歌母公司Alphabet宣布将裁员约1.2万人，占公司员工总数的6%以上，同时公司 CEO表示，公司将会进一步聚焦AI技术核心业务的研发投入  2月4日，谷歌注资3亿美元投资ChatGPT竞品——Anthropic，和Open AI一样， Anthropic也 在开发生成式人工智能 资料来源：UBS，《财富》，华尔街见闻，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 11 

12 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 国内外科技巨头积极布局生成式AI，部分公司已有成型产品  国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI 表1：国内外科技公司积极布局生成式AI 公司名称 相关布局 谷歌 面对ChatGPT构成的威胁，注资3亿美元投资竞品Anthropic 国外公司 微软 作为OpenAI的最大投资方，利用ChatGPT提高产品竞争力 亚马逊 ChatGPT受到重点关注，已广泛运用在各种工作职能中 百度 预计在3月份完成其ChatGPT产品——文心一言（ERNIE Bot）的内测，并面向公众开放 国内公司 腾讯 目前已经公布一项人机对话专利，能够实现机器与用户之间自然且顺畅的沟通 资料来源：各公司公告，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 12 

13 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 谷歌：面对ChatGPT构成的威胁，注资3亿美元投资竞品Anthropic  在ChatGPT发布后，谷歌CEO在公司内部发布了“红色警报” (Code Red)，敦促团队解决ChatGPT对公司搜索引擎业务构成的 威胁，同时批准了在谷歌搜索引擎中加入AI聊天机器人的计划  2月4日，谷歌注资3亿美元投资ChatGPT竞品——Anthropic，谷歌将获得约10%的股份， Anthropic计划将次轮资金用于购买谷歌云计算部 门的计算资源；Anthropic开发了一款名为Claude的智能聊天机器人，据称可与ChatGPT相媲美（仍未发布）  Anthropic和Open AI渊源颇深，其联合创始人曾担任OpenAI 研究副总裁 图9：Anthropic的联合创始人曾担任OpenAI 研究副总裁 图10：聊天机器人Claude据称可与ChatGPT相媲美 诚信 · 责任 · 亲和 · 专业 · 创新 资料来源：新浪财经，国泰君安证券研究 请参阅附注免责声明 13 资料来源：腾讯新闻，国泰君安证券研究 

14 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 微软：OpenAI的最大投资方，开始利用ChatGPT提高产品竞争力  微软将ChatGPT视为新一代技术革命，将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中  微软近期宣布推出视频会议及远程协作平台的高级付费版Microsoft Teams Premium，订阅者可享用OpenAI GPT提供支持的大型语言模 型技术，用AI自动生成会议笔记，此举或对Zoom、谷歌会议等平台形成巨大冲击。 图11：Microsoft Teams Premium 使用 ChatGPT 做笔记，使远程协作更高效 图12：集成了ChatGPT的新版 Bing 曾短暂上线，搜索框类似一个聊天框 资料来源：微软官网，国泰君安证券研究 资料来源：Windows Central，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 14 

15 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 亚马逊：ChatGPT受到重点关注，已广泛运用在各种工作职能中  ChatGPT 已经被亚马逊用于各种不同的工作职能中，包括回答面试问题、编写软件代码和创建培训文档等  公司内部员工在 Slack 表示，亚马逊Amazon Web Services（AWS）云部门已经成立了一个小型工作组，以更好地了解人工智能对其业务的 影响。 图13：ChatGPT 已经被亚马逊用于各种不同的工作职能中 图14：亚马逊AWS云部门的职能与人工智能联系紧密 资料来源： Business Insider，新浪科技，国泰君安证券研究 资料来源：Encaptechno，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 15 

16 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 美国新媒体巨头Buzzfeed踩准ChatGPT风口，两天内股价飙升3倍  1月29日，美国新媒体巨头Buzzfeed宣布计划采用ChatGPT协助内容创作，其股价一夜间暴涨近120%，两天内飙升逾300%， 成交量突破4.38亿股（其月平均成交量不足2500万股）  消息公布后同类型公司股票成交量也迎来历史高峰：C3.ai本月成交量超过7200万股，为自去年6月以来最多；语音AI软件公司SoundHound AI 的成交量约为6450万股，几乎是其月平均值的三倍 图15：Buzzfeed宣布计划采用ChatGPT协助内容创作后，股价一夜间暴涨近 图16：Buzzfeed宣布计划采用ChatGPT协助内容创作后，股票成交量暴涨 120% 资料来源：澎湃新闻，国泰君安证券研究 资料来源：腾讯新闻，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 16 

17 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 Stability AI：Stable Diffusion大热， Open AI在图片生成AI大有可为  Stability AI有着与Open AI相同的创业理念：构建开源AI项目，促进AI发展，其成功证明Open AI在图片生成领域同样大有可为  公司的开源模型Stable Diffusion可以根据文字生成图片，只需要几秒钟，就可以生成分辨率、清晰度高，同时不失真实性和艺术性的图片。 图17：用户使用基于Stable Diffusion算法构建的工具创建了数百万张图像 图18：Stability AI有着与Open AI相同的创业理念，其成功证明Open AI在图片 生成领域同样大有可为 资料来源：网易新闻，国泰君安证券研究 资料来源： Stability AI官网，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 17 

18 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 Jasper： 采用同类底层技术，进一步证明ChatGPT的巨大商业潜力  文案自动生成平台Jasper，其技术底层是 OpenAI 的 GPT-3，在成立仅 18 个月后就达到了 15 亿美元的高估值  IBM、Autodesk等巨头公司均是Jasper的付费用户，足以证明ChatGPT底层技术具备巨大的商业潜力。  ChatGPT出现后，其技术领先性和受欢迎程度对Jasper形成了强烈冲击。 图19：ChatGPT的出现，对采用同类底层技术的热门公司Jasper形成强烈冲击 图20：相比ChatGPT的免费开源，Jasper需要付费使用 资料来源：搜狐新闻， Jasper 官网，国泰君安证券研究 资料来源：Jasper 官网，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 18 

19 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 国内厂商（百度&腾讯）： 高度关注ChatGPT，积极探索前沿技术  百度：1月10日，百度宣布将升级百度搜索的“生成式搜索”能力，智能解答用户的搜索提问；2月7日，百度宣布将在3月份 完成其ChatGPT产品的内测，面向公众开放，该项目名字为文心一言（ERNIE Bot）  百度指出，生成式AI和搜索引擎是互补关系而不是替代；据路透社报道，百度计划于 3 月将类似 ChatGPT 的 AI 对话服务作为独立应用推出， 之后再逐步将其合并到搜索引擎中。  腾讯：2月3日，腾讯公布一项人机对话专利，能够实现机器与用户之间自然且顺畅的沟通 图21：百度研发的ChatGPT产品“文心一言”将于3月份问世 图22：腾讯发布相关专利，积极涉足ChatGPT领域 资料来源：中国经济网，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 19 资料来源：腾讯新闻，国泰君安证券研究 

20 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 AIGC创业公司大比拼，国外ChatGPT的优势遥遥领先并有望延续  国内对比国外AIGC创业公司的相关产品，国外ChatGPT的优势遥遥领先并有望延续 表2：国外创业公司涉及的AIGC产品领域十分丰富，相关应用日渐成熟 公司名称 主要AIGC产品 产品领域 OpenAI GPT-3、ChatGPT 文本、图片 Stability AI Stable Diffusion、Dreamstudio 图片、音频 Midjourney Midjourney 图片 Jasper Jasper 文本 Copi.ai Copi.ai 文本 Copysmith Copysmith 文本 资料来源：各公司官网，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 20 

21 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 01 AI 需要大量资金、人力投入和数据积累，国内市场中巨头更具优势  人工智能不仅需要巨大的投入，还需要庞大的用户数据基础，只有互联网巨头才有这个能力产出伟大的产品  国外是微软、谷歌、亚马逊，而国内则是百度、腾讯等互联网巨头最具潜力；相比国外巨头，国内巨头正投入大量资金和人 力成本快速发展人工智能技术，在没有硝烟的人工智能竞赛中，中国企业也将异军突起 图23：百度构建了云智共生的生态，助力AI发展 图24：腾讯的AI 产品在游戏场景中不断提升人机协作与内容生成能力 资料来源：百度官网，国泰君安证券研究 资料来源：腾讯AI LAB官网，国泰君安证券研究 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 21 

22 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02技术路径：基于人类反馈系统， ChatGPT助力跨模态AI生成应 用 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 22 

23 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 ChatGPT经历多类技术路线演化，逐步成熟与完善  ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累 图25：ChatGPT经过多类技术积累，最终形成针对人类反馈信息学习的大规模预训练语言模型 基于模板和 根据一定范 开始模仿人 对人脑学习 进行海量数据学习训练，人类的反馈信息成 脑进行大量 ChatGPT 规则的前深 围的数据进 过程进行重 为模型学习的内容 度学习阶段 行参数分类 数据的标记 点关注 和训练 2018年 2019年 2020年 2022年 Instruc GPT-1 GPT-2 GPT-3 -tGPT 神经网络 CNN 基于规则 Transfo M2m- Machine T5 BART BigBird 的少量数 -rmer 100 Learning RNN 据处理 GAN BERT RoBERTa XLM ALBERT 1990年开始； 1950年开始 1980年开始 2006年获得突破 2017年 ELECTRA 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 23 资料来源：真格基金，国泰君安证券研究 

24 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 ChatGPT模型在以往模型的基础上有了多方面的显著提升 图26：ChatGPT是基于Transformer架构的语言模型，它在 以往大语言模型（如ELMo和GPT-2）的基础上有诸多性能提 更大的语料库 升 更高的准确性 ChatGPT使用了更大的语料 ChatGPT的训练效果比以往 库，以更好地捕捉人类语言的 的大语言模型更好，因此它的 复杂性。 准确性更高。 更高的适应性 更高的计算能力 ChatGPT具有较高的适应性，可 以根据不同的场景和任务进行微 ChatGPT使用了更高的计算 调，以提高其在特定领域的效果。 资源，以获得更好的训练效果。 更加通用的预训练 更强的自我学习能力 ChatGPT具有自我学习能力，可 ChatGPT的预训练是通用的， 以在不断接触新语料的过程中持 因此它可以更好地适应各种不 续提高自己的性能。 同的任务。 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 24 资料来源：ChatGPT，国泰君安证券研究 

25 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 Transformer的应用标志着基础模型时代的开始  转移学习(Transfer Learning)使基础模型成为可能  技术层面上，基础模型通过转移学习(Transfer Learning)(Thrun 1998)和规模(scale)得以实现。转移学习的思想是将从一项任务中学习到 的“知识”（例如，图像中的对象识别）应用于另一项任务（例如，视频中的活动识别）。  在深度学习中，预训练又是转移学习的主要方法：在替代任务上训练模型（通常只是达到目的的一种手段），然后通过微调来适应感兴趣的 下游任务。转移学习(Transfer Learning)使基础模型成为可能。  大规模化(scale)使基础模型更强大，因而GPT模型得以形成  大规模需要三个要素：（i）计算机硬件的改进——例如，GPU吞吐量和内存在过去四年中增加了10倍；（ii）Transformer模型架构的开发 （ Vaswani et al. 2017 ），该架构利用硬件的并行性来训练比以前更具表现力的模型；以及（iii）更多训练数据的可用性。  基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等，这些例子的逐步形成使 得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。例如，GPT-3（ Brown et al. 2020 ）与GPT-2的15亿参数相比， GPT-3具有1750亿个参数，允许上下文学习，在上下文学习中，只需向下游任务提供提示（任务的自然语言描述），语言模型就可以适应下 游任务，这是产生的一种新兴属性。 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 25 资料来源：《 Attention Is All You Need 》论文，国泰君安证券研究 

26 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 Transformer奠定了生成式AI领域的游戏规则 图27：Transformer模型架构如下所示  Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、 更易于并行化，所需训练时间明显更少  Transformer通过成功地将其应用于具有大量和有限训练数据的分 析，可以很好地推广到其他任务  2017年，在Ashish Vaswani et.al 的论文《Attention Is All You Need》 中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而《Attention Is All You Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。  Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 资料来源：《Attention Is All You Need》,Ashish Vaswani et.al 2017 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 26 

27 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 Transformer实现的不同技术场景对应的不同技术原理  Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图28：Transformer典型技术场景下的原理介绍如下所述 通过随机Mask(即遮挡)数据库文本中的 首先通过词嵌入(Word Embedding)将字、词、 词语或语段，让神经网络自主学习复原被 句进行区分，然后基于特征评分、序列标注、 内容续写 遮挡部分，从而拥有“猜测”缺失内容的 分类模型等提取内容特征计算相关文本单元权 （例如文 能力，产出预训练模型。再通过大规模预 重其次洗择相应的文本单元子集组成摘要候洗 章续写） 训练模型理解上文或给定条件，从概率层 集，完成内容选择，最后针对字数要求等限定 面推测最符合要求的输出结果。其本质是 条件，对候选集的内容进行整理形成最终摘要， 借助超大规模的训练参数猜测上下文的过 完成内容组织。其细分路径又包含生成式文本 程 摘要(AATS)，即形成抽象认知并创造新词灵活 概括，和抽取式文本摘要(EATS)，即直接抽取 原始素材并拼接成简单概要 摘要/标 产品 题生成 文本风格 主流思路是分离文本属性及文本内容 特色 迁移 隐式方法即使用某类无监督学习学习或强化学 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 习模式将文本属性及内容自动分离，常见的有 非任务型人机交互场景，可分类为管道模式及端对端模式。 生成对抗方式，即通过GAN实现目标属性和 结构性的文本生成，首先通过注意力机制、多层感知器等系 文本量性完全由不同的编码控制的状态。 统进行语句内容预选，对数值、时间等类型数据进行推理。 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 整段文本 生成 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 27 资料来源：量子位智库，国泰君安证券研究 

28 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 GPT-1：借助预训练，进行无监督训练和有监督微调  GPT-1模型基于Transformer解除了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学 习的能力，这对于减轻自然语言处理（NLP）中对监督学习的依赖至关重要  GPT（Generative Pre-training Transformer）于2018年6月由OpenAI首次提出。GPT模型考虑到在自然语言理解中有大量不同的任 务，尽管大量的未标记文本语料库非常丰富，但用于学习这些特定任务的标记数据却很少，这使得经过区分训练的模型很难充分执行。 同时，大多数深度学习方法需要大量手动标记的数据，这限制了它们在许多缺少注释资源的领域的适用性。  在考虑以上局限性的前提下，GPT论文中证明，通过对未标记文本的不同语料库进行语言模型的生成性预训练，然后对每个特定任务 进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输， 同时对模型架构的更改最小。 图29：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 有监督微调 （Unsupervised pre-training） （Supervised fine-tunning) 不需要标注数据集，即大规 微调，用来修正模型理解力。 模自学阶段，在保证AI算力 即小规模指导过程，让AI在 充足的条件下，根据 小样本数据下进行调整 attention机制进行自学 结合形成了一种使用无监督预训练和有监督微调相结合的语言理解任务的“半监督方法” 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 28 资料来源：《 Improving Language Understanding by Generative Pre-Training 》论文，稀土掘金，国泰君安证券研究 

29 . ChatGPT——生成式AI迎来拐点，商用落地前景可期 02 GPT-1：模型更简化、计算加速，更适合自然语言生成任务（NLG）  GPT相比于Transformer等 模型进行了显著简化  相比于Transformer，GPT训练了一个12层仅decoder的解码器（原Transformer模型中包含Encoder和Decoder两部分）。  相比于Google的BERT(Bidirectional Encoder Representations from Transformers,双向编码生成Transformer)， GPT仅采用上文 预测单词（BERT采用了基于上下文双向的预测手段）。 注：ChatGPT的表现更贴近人类意图，部分因为一开始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。 图30：GPT-1模型相比于Transformer模型有了显著简化 Transformer架构 GPT-1架构 GPT用于对不同任务进行微调的输入转换的示意图 VS 诚信 · 责任 · 亲和 · 专业 · 创新 请参阅附注免责声明 29 资料来源：《 Improving Language Understanding by Generative Pre-Training 》论文，稀土掘金，国泰君安证券研究