大模型时代的危与机

1 .大模型时代的危与机 张奇 复旦大学 1 

2 .ChatGPT仿佛电影中的AI就在眼前 2 2 

3 .ChatGPT给公众展现出来的是无所不能 3 

4 . 大模型的几个误区 语言模型预训练完成后，所需任务标注数据很少 very low latency (<30 mins) https://scale.com/blog/how-to-label-1m-data-points-week high throughput (~5,000 labels/hr) 4 

5 . 大模型的几个误区 语言模型预训练完成后，所需任务标注数据很少 OpenAI LLC has reportedly hired about 1,000 contractors over the past six months to help hone its artificial intelligence models’ coding capabilities. About 60% of the 1,000 hires reportedly onboarded in the past six months work on data labeling projects. The remaining 40% of the contractors are programmers. A software developer in South America who completed a five-hour unpaid coding test for OpenAI told Semafor he was asked to tackle a series of two-part assignments. First, he was given a coding problem and asked to explain in written English how he would approach it. Then, the developer was asked to provide a solution. If he found a bug, OpenAI told him to detail what the problem was and how it should be corrected, instead of simply fixing it. https://siliconangle.com/2023/01/27/report-openai-hired-1000-contractors-improve-ai-models-coding-capabilities/ 5 

6 . 大模型的几个误区 语言模型预训练完成后，所需任务标注数据很少 GPT-NeoXT-Chat-Base-20B-v0.16 TLDR: As part of OpenChatKit (codebase available here), GPT-NeoXT-Chat-Base-20B-v0.16 is a 20B parameter language model, fine-tuned from EleutherAI’s GPT-NeoX with over 40 million instructions on 100% carbon negative compute. 6 https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-20B 

7 . 大模型的几个误区 任务能力主要依赖涌现 7 

8 . 大模型的几个误区 任务能力主要依赖涌现 8 

9 . 大模型的几个误区 必须要使用千亿大模型 语言知识 世界知识 9 

10 . 大模型真正展现了什么能力？ 超强的文本建模能力：25K英文单词的理解和生成能力 多任务统一学习范式：将所有NLP任务统一到生成式多任务学习框架 任务泛化能力：数千种任务统一框架学习后，部分无标注数据任务上效果很好 10 Chung et al. Scaling Instruction-Finetuned Language Models, arxiv Chung et al. Scaling Instruction-Finetuned Language Models, Arxiv Oct. 2022 

11 . ChatGPT真正做的事情—文字接龙 自 语 然 什么是自然语言处理？ 自 函数 f <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> 然 在 己 什么是自然语言处理？自 …… 然 f <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> END 什么是自然语言处理？自然 END 语言处理旨在探索实现….. f <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> 11 

12 .概率如何得到的？ 用户输入 测试 训练 大量对话文本 人类反馈 以及真实回答 预训练语言模型 f 数千种针对特 <latexit sha1_base64="5MrRdkOzjhKW9Qf2VwT3Cftnp54=">AAAB+HicbVDLSgNBEOyNrxhfUY9eBoPgKeyKqMegF48JmAckS5id9CZDZmeXmVkhLvkCr3r3Jl79G69+iZNkD5pY0FBUdVNNBYng2rjul1NYW9/Y3Cpul3Z29/YPyodHLR2nimGTxSJWnYBqFFxi03AjsJMopFEgsB2M72Z++xGV5rF8MJME/YgOJQ85o8ZKjbBfrrhVdw6ySrycVCBHvV/+7g1ilkYoDRNU667nJsbPqDKcCZyWeqnGhLIxHWLXUkkj1H42f3RKzqwyIGGs7EhD5urvi4xGWk+iwG5G1Iz0sjcT//WCaCnZhDd+xmWSGpRsERymgpiYzFogA66QGTGxhDLF7e+EjaiizNiuSrYUb7mCVdK6qHpXVa9xWand5vUU4QRO4Rw8uIYa3EMdmsAA4Rle4NV5ct6cd+djsVpw8ptj+APn8wcEAJOW</latexit> 大量高质量 指令微调 互联网无监督数据 定任务的有监 督训练数据 12 

13 .小模型时代的工作流程 转换为 提出需求 机器学习问题 甲方 产品经理 标注数据 训练模型 模型评测 模型部署 研发 N个小模型 13 

14 . 小模型时代的难点 任务开发成本高、时间周期长 相同任务的微小需求变化，需要30%-70%的重新开发成本，无法产品化 模型开发和维护成本高 高水平算法研究员稀缺 14 

15 .小模型时代的难点都不再是问题 机遇在哪里？ 15 

16 .将来会演变成什么样子？ 大规模语言模型构建 通用能力注入 特定任务使用 阅读理解 情感分析 信息抽取 分类 任务数据 互联网 任务指令构造 图书 百科 结果 大模型 16 

17 . 任务范式发生巨大变化 使用自然语言对模型进行训练和使用 【句子输入】，上述文字表达了褒义和贬义倾向？ 【文章输入】，上述文章中包含哪些公司主体？ 【文章输入】，从上述文章提取2022年公司主营业务收入 【财报输入】，从上述财报，输出核心提示 大模型 【数据】，根据上述数据，书写2023年第一季度财报摘要 17 

18 . 大模型优势 非常少量算法研究员 新任务可以快速训练，并且不需要模型重新部署 低成本产品化 18 

19 . 可以应用于哪些场景—银行 财务报告自动化解析 NLP-抽取/OCR/表格解折 公司舆情数据智能挖据 NLP-分类/情感/实体识别/事件标签 场景一: 信贷辅助决策 业务部门: 风险/公司/信等 信贷流水材料智能处理 NLP-表格解折/OCR 宏观行业景气度分析 NLP-抽取/事件标签/专家知识 风险事件传导分析 NLP-事件/专家知识 募集债券说明书智能审核 NLP-抽取/审核/比对 场景二: 公司债业务审核业务部门: 投行 审计报告自动化比对 NLP-抽取/比对 智能客户服务 NLP-多轮对话 场景三，智能客服业务部门: 远程银行/信用卡等 工单数据处理 NLP-分类/聚类/0CR/估感 多元营销辅助 NLP-分类/聚类/实体/情感 场景四:企业知识库建设业务部门，科技部门 企业内部数据 NLP·搜索/问答/文本解析 19 

20 . 银行应用方式 问题回答 对话系统 语义匹配 分类 【句子输入】，上述文字表达了褒义和贬义倾向？ 实体识别 情感分析 事件抽取 聚类 【文章输入】，上述文章中包含哪些公司主体？ 【文章输入】，从上述文章提取2022年公司主营业务收入 【财报输入】，从上述财报，输出核心提示 大模型 【数据】，根据上述数据，书写2023年第一季度财报摘要 20 

21 . 增加一个新任务时怎么办？ 转换为 提出需求 机器学习问题 甲方 产品经理 产生训练数据 研发 【句子输入】，上述文本是关于信用卡还是贷款业务？ 大模型 21 

22 . 大模型时代的自然语言处理研究变化 大模型时代从单个小任务的研究，转向一类问题统一框架研究 挑战：赢者通吃，不紧跟步伐就会造成代差，并且不容易弥补 对话交互方式，使得先发优势更加明显，用户数据无法获取的情况下，追 赶代价更大 机遇：NLP从手工作坊转向蒸汽机时代，人工智能的Iphone时代来临 面向B端私有化部署的"小"模型 22 

23 . 大模型时代的NLP研究重点 领域大模型----对话、摘要、改写、 NLP任务集成等 1B-50B模型族 大模型可控文本生成 大模型隐私 大模型鲁棒性评测与提升 超小规模任务模型构建 1M-50M --> 是否可以脱离深度神经网络？ 大模型推理能力构建 大模型可解释性 因果机制与大模型融合 中文开源大模型族 1-20B 23 

24 .怎么搞？ 24 

25 . 不同的业务类型差别很大 模型需求稳定，模型数量少，目前效果较好 模型需求稳定，但效果亟待提升 大模型的长距离建模能力，解决歧义问题 模型需求稳定、模型数量大 大模型的统一任务建模能力，解决模型模型数 量多、管理难问题 小模型不能解决的问题 AIGC：对话、问题、生成等 大模型的领域和任务泛化能力，解决领域迁移问题 模型需求不稳定 特别提醒：大多数情况下仍然依赖一定数量的训练数据 25 

26 .如何搞 26 

27 .如何搞 Megatron-DeepSpeed NVIDIA/Megatron-LM 27 

28 . 如何搞 GPT-1（1亿） GPT-2（15亿） 基础大模型训练 长距离语言建模能力 GPT-3 （1750亿） 代码生成 指令微调 Davinci Codex InstructGPT Code-davinci-001 Text-davinci-001 指令微调 代码生成 理解人类指令能力 Code-davinci-002 基于强化学习的人类 RLHF Text-davinci-002 RLHF 反馈学习 回答符合人类习惯的能力 Text-davinci-003 ChatGPT 28 

29 . 如何搞 大模型需要： 1. 好的基础语言模型 2. 任务训练数据要足够 3. 任务训练方法要合适 29