2017斯坦福人工智能指数（AI Index）重磅年度报告

1 .

2 .人工智能指数 2017 年度报告 指导委员会 Yoav Shoham (主席) 斯坦福大学(Stanford University) Raymond Perrault SRI International Erik Brynjolfsson 麻省理工学院(MIT) Jack Clark Open AI 项目主管 Calvin LeGassick 2 

3 . 人工智能指数 2017 年度报告 「人工智能指数 2017 年度报告」 Yoav Shoham, Raymond Perrault, Erik Brynjolfsson, Jack Clark, Calvin LeGassick「人工 智能指数 2017 年度报告」,中文翻译今日头条、机器之心 由斯坦福大学人工智能百年研究(AI100)推出的「人工智能指数」(AI Index)是一个追踪 人工智能行业动态与发展的非营利性项目，其研究覆盖了百年以来人工智能的总体情况， 目标是基于数据来推动人工智能的广泛交流和有效对话。近日刚刚推出的 2017 版报告是 人工智能指数的首届年度报告，它从多个角度观察和解读了人工智能领域的动态和进展。 经「人工智能指数」项目委员会授权，今日头条联合机器之心对此报告做了中文翻译，译 文错误由翻译方负责。 报告原文链接：https://aiindex.org/2017-report.pdf 报告引用格式： Yoav Shoham, Raymond Perrault, Erik Brynjolfsson, Jack Clark, and Calvin LeGassick, "The AI Index 2017 Annual Report”, AI Index Committee of the One Hundred Year Study on Artificial Intelligence (AI100), Stanford University, Stanford, CA, November 2017. Chinese translation by Bytedance & Synced. © 版权声明： 2017 年斯坦福大学出品，「人工智能指数年度报告」获取创作共用署名-无衍生 品执照（国际）: https://creativecommons.org/licenses/by-nd/4.0/ © Copyrights 2017 by Stanford University, "The AI Index 2017 Annual Report" is made available under a Creative Commons Attribution-NoDerivatives 4.0 License(International)https://creativecommons.org/licenses/by-nd/4.0/ 3 

4 . 人工智能指数 2017 年度报告 目录 领域活力.......................................................................................................................... 8 学术领域................................................................................................................... 8 论文发表数量 .................................................................................................... 8 课程选修人数 .................................................................................................... 9 学术会议出席情况 ........................................................................................... 11 产业领域................................................................................................................. 12 AI 领域创业公司 .............................................................................................. 12 AI 领域风险投资 .............................................................................................. 13 工作机会 ......................................................................................................... 14 开源生态................................................................................................................. 17 GitHub 项目统计.............................................................................................. 17 公众认知及媒体报道 ............................................................................................... 18 舆论倾向 ......................................................................................................... 18 技术性能........................................................................................................................ 19 计算机视觉 ............................................................................................................. 19 物体检测 ......................................................................................................... 19 视觉问答 ......................................................................................................... 20 自然语言处理 ......................................................................................................... 21 解析................................................................................................................. 21 机器翻译 ......................................................................................................... 22 问答................................................................................................................. 23 语音识别 ......................................................................................................... 24 定理证明................................................................................................................. 25 SAT 求解 ................................................................................................................ 26 流行趋势关系研究 ......................................................................................................... 27 学术界-产业界的动态关系 ...................................................................................... 27 人工智能活力指数 .................................................................................................. 28 达到人类水平的性能？ .................................................................................................. 29 查缺补漏........................................................................................................................ 32 专家讨论........................................................................................................................ 34 Barbara Grosz（哈佛大学）................................................................................... 34 Eric Horvitz（微软）............................................................................................... 35 李开复（创新工场） ............................................................................................... 36 4 

5 . 人工智能指数 2017 年度报告 Alan Mackworth（加拿大不列颠哥伦比亚大学） .................................................... 37 吴恩达（Coursera，斯坦福大学） ......................................................................... 39 Daniela Rus（麻省理工学院） ............................................................................... 40 Megan Smith（美国政府第三任 CTO，Shift 7） 和 Susan Alzner （联合国非政府 组织联络服务） ...................................................................................................... 41 Sebastian Thrun （斯坦福大学, Udacity） ........................................................... 44 Michael Wooldridge (牛津大学) ............................................................................ 45 加入行动........................................................................................................................ 46 感谢............................................................................................................................... 48 5 

6 . 人工智能指数 2017 年度报告 人工智能指数 2017 年度报告简介 当下，人工智能已然跃居为全球话题的焦点，来自开发者、业界领袖、政策制定者乃 至大众的关注正与日俱增。一年以来，我们从新闻中看到了各种有关人工智能的言论与争 辩，可以发现，这个领域正在被广泛地考察、研究和应用。然而，由于目前人工智能技术 的发展异常迅速，即便是该领域的专家也很难理解与把握整个行业的面貌。 如果没有研究人工智能技术现状的相关数据，那我们只能在有关人工智能的讨论和决 策中做出盲目的推论。 我们只能在有关人工智能的讨论和决策中做出盲目的推论。 由斯坦福大学发起并实施的「人工智能百年研究计划」(AI100)，是一个旨在追踪人工 智能发展的公开非盈利项目。该项目力图让大家通过数据来了解人工智能，推动有效对 话。这是人工智能指数的第一份年度报告，其从多个角度对人工智能的现状与进展展开了 研究。我们首先整合了散落在网络上的各种原始数据，然后从中提取出了新的人工智能评 价标准。 所有用于生成该报告的数据都将会在 人工智能指数网站上公开（地址： aiindex.org）。然而收集数据仅仅是第一步，人工智能指数需要来自更大范围的社区的帮 助。从根本上来说，这篇报告号召大家参与进来。你们可以提供数据、分析已有数据，也 可以提出意愿，表明自己希望追踪哪些数据。在这里，无论你是否可以提供任何答案或问 题，我们都希望这份报告能让你有兴趣来了解人工智能指数，并且成为其中的一员，为奠 定一个扎实的人工智能发展脉络共同努力。 6 

7 . 人工智能指数 2017 年度报告 报告概览 本报告前半部分展示了人工智能指数团队收集的系列数据，后半部分包含了对重要领 域的讨论、各类专家的评论，以及我们的一项倡议——希望大家支持我们的数据收集工 作、并加入到评估与交流人工智能技术进展的对话中来。 数据部分 本报告中的数据主要分为以下四个部分： 领域活力 技术表现 流行趋势关系研究 达到人类水平的性能？ 「领域活力」这个指标被用来描绘人工智能领域中「量」的一面，如人工智能大会的 参会情况、风险投资资本对人工智能创业公司的投资情况。「技术表现」这个指标力图抓 住领域中「质」的一面，如计算机在理解图像和证明数学定理方面的能力。附录中提供了 收集各个数据库的方法论。 前两部分数据向我们展示了领域现状：所有折线图中的线条都在朝右上方升高，这反 映出人们在人工智能领域内从事的活动和相应技术的发展正在不断提升。在「流行趋势关 系研究」这个部分，我们会考察当前流行趋势之间的关系。此外，我们还会引入一个探究 测量方法，即「人工智能活力指数」(AI Vibrancy Index)，该指数能够结合学术界与产业界 的流行趋势，对人工智能领域的活力进行量化。 在测试人工智能系统的性能时，我们会很自然地将其和人类在相应领域的表现进行对 比。在第四部分「达到人类水平的性能」中，我们会概括那些和人类表现相比有显著进步 或直接超越了人类表现的人工智能系统。我们也会讨论这种对比面临的困难，并适当进行 说明。 讨论部分 在展示完所收集的数据以后，我们会对本报告强调的流行趋势以及报告未提及的重要 领域进行讨论。 部分讨论关注了本篇报告的局限性。由于数据来源以美国为中心，使得报告并非完全 客观，且因只追踪监测了定义清晰的标准，报告也可能高估了技术领域的发展。报告缺乏 数据的人口统计学分类，没有提及由政府和公司联合投资的人工智能研发情况。这些方面 都十分重要并将在以后的报告中有所涉及。我们在本报告的「查缺补漏」章节中会进一步 讨论这些局限性以及其它的问题。 正如报告的局限性所示，人工智能指数并不能十分全面地描绘整个人工智能领域。因 此，我们收集了来自交叉领域的人工智能专家的意见。专家们讨论并完善丰富了数据背后 的故事，同时也补充解释了报告中缺漏的部分。 最后，在专家对话板块结束后，人工智能指数诚挚邀请各位读者参与本报告的更新与 修正。我们需要来自更大范围社区的反馈和参与，来设法解决本报告中提出的问题及补充 遗漏问题，从而在追踪人工智能活力与发展的道路上结出丰硕的果实。 7 

8 . 人工智能指数 2017 年度报告 领域活力 学术领域 论文发表数量 下图统计了 Scopus 学术论文库中标注关键词「人工智能」的计算科学论文数量。 自 1996 年至今，每年发布的 人工智能论文数量增加了 9 倍多。 这里是各类学术论文年发表率与其 1996 年发表率的比较。图表显示了各领域论文、 计算机科学领域论文以及计算机领域内人工智能论文年发表率的增速。 数据揭示了人工智能论文发表率的增长不仅仅是出于对更广泛计算机科学领域兴趣的 增长。具体来说，尽管自 1996 年以来整体计算机科学领域内的论文数量已经增长了 6 倍， 同时期人工智能领域每年发表的论文数量已经增长了 9 倍多。 8 

9 . 人工智能指数 2017 年度报告 课程选修人数 除了论文发表数以外，课程的参与人数也能体现这个领域的活力。以下展示的是斯坦 福大学每年选修人工智能与机器学习导论课程的学生数量。 机器学习是人工智能的子领域。我们着重关注机器学习导论课程的参与度是因为目前人工 智能领域很多成果都基于机器学习的算法与理论。 自 1996 年以来，选修斯坦福大学人工智能导论课程的人数已经增长了 11 倍。 注：斯坦福大学 2016 学年机器学习入学人数的下降是基于当年的行政问题而非学生兴趣。详情请见附录。 9 

10 . 人工智能指数 2017 年度报告 本报告之所以着重突出斯坦福大学导论课程的选修人数是因为其数据最全面。不过如 下所示，其它高校导论课程的选修趋势也与斯坦福相似。 注：许多大学从上世纪 90 年代起开设人工智能课程。上图展示的是可获取数据的年份的情况。 注：许多大学从上世纪 90 年代起开设机器学习课程。上图展示的是可获取数据的年份的情况。 需要注意的是，这些图表展示了高等教育领域中的一个侧面，这些数据并不一定代表 学术机构总体的发展趋势。 10 

11 . 人工智能指数 2017 年度报告 学术会议出席情况 以下展示了人工智能领域有代表性的学术会议的参会情况，其中既有如 AAAI、IJCAI 和 ICML 这样的大型综合性会议（按 2016 年参会人数超过 1000 人为标准），也有像 CVPR、ACL、ICRA 那样专注于计算机视觉、自然语言处理和机器人的小型会议（2016 年参 会人数不足 1000 人）。 注：大多数学术会议自 1980 年代起即开始举办，上图展示的是参会人数有记录的年份的情况。 研究重心转移：上图的参会人数同样表明了研究重点已经从符号推理转向了机器学习与深 度学习。 下图展示了参会人数少于 1000 人的小型学术会议的参会情况，其中需要注意的是 ICLR，该会议专注于深度学习领域，第一次会议于 2013 年由深度学习先驱 Yann LeCun 及 Yoshua Bengio 主办。 稳步前进：尽管学术界研究重点近年来已转移至机器学习及深度学习，仍有一小部分 研究者继续在符号推理方法上进行探索并取得进展。 11 

12 . 人工智能指数 2017 年度报告 产业领域 AI 领域创业公司 下图展示了得到风投资本支持并开发了人工智能系统的美国活跃创业公司的数量。 这一数量自 2000 年以来已增加了 14 倍。 12 

13 . 人工智能指数 2017 年度报告 AI 领域风险投资 下图为风投资本对美国人工智能创业公司所有融资阶段的年投资总额。 这一金额自 2000 年以来增加了 6 倍。 13 

14 . 人工智能指数 2017 年度报告 工作机会 下图分别展示了两个在线招聘网站 Indeed 和 Monster 上需要人工智能技能的工作数量的增 长。我们通过标题和工作描述的关键词区分出需要人工智能技能的工作。 下图是 Indeed 网站上美国需要人工智能技能的工作数量的增长数据。涨幅是基于 2013 年 1 月 Indeed 网站上美国要求人工智能技能的就业岗位所占份额的增长倍数。 自 2013 年以来，在美国需要人工智能技能的工作比重增长了 4.5 倍。 下图为 Indeed.com 平台报告的多个国家需要人工智能技能的工作比重的增长趋势。 注：虽然在加拿大和英国 人工智能就业市场增长很快，但 Indeed.com (http://indeed.com/) 称相对来说它们在 绝对规模上仍然只有美国 AI 就业市场的 5% 和 27%。 14 

15 . 人工智能指数 2017 年度报告 下图为 Monster 平台发布的按照所需的特定技能划分的一年内人工智能工作机会总量。 注：一份与人工智能相关的工作可能出现被计算两次的情况（属于不同的类别）。比如，一份工作可能尤其需 要自然语言处理和计算机视觉两种技能。 15 

16 . 人工智能指数 2017 年度报告 自动化及机器人应用 工业机器人进口到北美和全球的数量。 工业机器人进口到北美和全球的数量增长趋势。 16 

17 . 人工智能指数 2017 年度报告 开源生态 GitHub 项目统计 下图展示了 GitHub 上 TensorFlow 和 Scikit-Learn 软件包被收藏(star)的次数。二者都是深度 学习和机器学习的常用软件包。 软件开发者在 GitHub 上收藏(Star)软件项目以表示感兴趣并希望快速导航至该项目。收藏 可以代表开发者对软件和软件使用的兴趣。 下图展示了 GitHub 上不同人工智能和机器学习软件包被收藏的次数。 注：GitHub 库的 fork 数量遵循几乎同样的趋势（尽管每个库的 fork 量和 star 量不同）。 17 

18 . 人工智能指数 2017 年度报告 公众认知及媒体报道 舆论倾向 下图展示了包含关键词 「人工智能」的大众媒体文章的百分比，文章根据其意见倾向性 被分为正面报道或负面报道。 18 

19 . 人工智能指数 2017 年度报告 技术性能 计算机视觉 物体检测 下图展示了 LSVRC 竞赛 (Large Scale Visual Recognition Challenge)中人工智能系统在物体检 测任务上的性能表现。 图像标注的误差率从 2010 年的 28.5% 降至低于 2.5%。 19 

20 . 人工智能指数 2017 年度报告 视觉问答 下图展示了人工智能系统在针对图像问题提供开放式回答任务上的表现。 注：VQA 1.0 数据集已经被 VQA 2.0 数据集超越，目前尚不明确 VQA 1.0 数据集在未来会 获得多少关注。 20 

21 . 人工智能指数 2017 年度报告 自然语言处理 解析 下图展示了人工智能系统在确定句子句法结构任务上的表现。 21 

22 . 人工智能指数 2017 年度报告 机器翻译 下图展示了人工智能系统在英德新闻互译任务中的表现。 22 

23 . 人工智能指数 2017 年度报告 问答 下图展示了人工智能系统在从文档中找到问题答案任务上的表现。 23 

24 . 人工智能指数 2017 年度报告 语音识别 下图展示了人工智能系统在语音识别上的表现。 24 

25 . 人工智能指数 2017 年度报告 定理证明 可处理度(tractability)是指自动定理证明器在大量定理的数据集上的平均可处理程度。它可 以被用来衡量部分最先进的自动定理证明器。参见附录以获取与「可处理度」有关的更多 信息。 注：引进最先进的证明器虽然可以解决新问题，但由于其在处理其他证明器擅长解决的问题上表现糟糕，平均 可处理度可能会下降。 25 

26 . 人工智能指数 2017 年度报告 SAT 求解 这里指的是 SAT 求解系统解决问题（那些可应用到产业实践中的问题）的百分比。 26 

27 . 人工智能指数 2017 年度报告 流行趋势关系研究 通过研究不同流行趋势之间的关系，我们可以从前述章节中的评估中获得进一步的领 悟。本章展示了人工智能指数收集的数据可以如何被应用到进一步的分析中，以及这些数 据如何推动了一个全新、精确的衡量指标的发展。 由于这是一个案例研究板块，我们会着眼于横跨学术圈与产业界的流行趋势去探究其 之间的动态关系。进一步，我们会将这些标准整合成一个联合的人工智能活力指数。 学术界-产业界的动态关系 为了研究学术界与产业界人工智能相关活动的关系，我们首先从之前章节中选择了部 分具有代表性的评估结果。特别地，我们考察了人工智能论文的发布情况与斯坦福大学人 工智能与机器学习导论课程的修读情况，此外还考察了风投资本对人工智能创业公司的投 资情况。 论文发表数、注册学生数和投资金额这些数量指标并不能直接比较。为了分析这些趋 势之间的关系，我们首先以 2000 年为起始为每个测量指标设定了时间标准。这使得我们 可以来比较这些指标随时间的增长情况变化，而不是仅仅从最后的绝对值入手分析。 注：注册学生数在 2016 年有所下降，这反映了学校行政上的某些问题，并非没有足够的学生对课程感兴趣。 具体细节可参考附录 A2。 数据显示，首先，学术活动数量（论文发表与注册学生数）在稳步上升。在 2010 年 左右，投资者便开始注意到了这个领域，到 2013 年，投资者已经成为了推进该领域发展 的核心驱动力。此后，学术界逐渐赶上了产业界的步伐。 27 

28 . 人工智能指数 2017 年度报告 人工智能活力指数 人工智能活力指数整合了来自学术界和产业界的各类数据（论文发表量、课程注册学 生数、风险资本投资）来量化整个人工智能领域的活力。为了计算人工智能活力指数，我 们按照时间对来自论文发表、学生课程注册和投资领域的数据进行了归一化平均处理。 我们希望这份简要调查可以激发大家在研究如何进一步分析人工智能指数中数据类别 方面的兴趣，也希望可以引起讨论来研究出一个可以长期追踪的有价值的测量方法。 28 

29 . 人工智能指数 2017 年度报告 达到人类水平的性能？ 我们很自然地会将人工智能系统和人类在同样任务上的表现进行比较。显然，在某些 特定任务上计算机的确展现出了远超人类的能力；在 1970 年代，手摇式计算器便可以在 算数运算上击败人类。然而，在执行通用性(general)逐渐增强的任务时，如回答问题、玩 游戏以及医疗诊断，人工智能系统的能力变得越来越难以评估。 一般来说，在建构人工智能系统时，其可执行的任务都被设计得非常有限，因为这样 有助于系统在特定问题或应用层面上取得突破。虽然机器可以在某一特定任务上展现出其 卓越的性能，但只要任务稍加改变，其性能就会严重下降。比如，一个能够阅读汉字的人 多半能理解中文发音，了解一些中国文化，甚至可以在中国餐厅里向别人推荐好吃的菜 肴。相反，机器则需要完全不同的人工智能系统来进行处理这些不同的问题。 即使任务只发生了轻微变化，机器的性能也会大打折扣。 尽管在人类和人工智能系统之间进行比较存在困难，但让机器的性能赶上或超过人类 仍然是件有趣的事。需要记住的重要一点是，已经取得成就并不意味着可以推广这些系统 的能力。我们下面也列举了很多机器在游戏领域内的成就。这些游戏大多相对简单可控， 可以很方地便应用到实验中，因此它们经常被应用于人工智能研究。 里程碑 下方简要列举了一些重要的成就及其产生的背景。部分里程碑事件意味着人工智能领域在 系统性能逼近甚至超越人类水平方面取得了重大进展。 29