发现并解释神经网络的表征瓶颈

活动介绍

上海白玉兰开源开放研究院发起的“青年学者论坛”，意在为国内外大数据及人工智能领域的优秀青年学者，搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者，以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题，促进观点碰撞及交流合作。

此次是“青年学者论坛”第二十期活动，青年学者论坛讲师及志愿者持续招募中。如有意愿，请与我们联系，欢迎广大同学们积极参与。
Email：chengh@baiyulan.org.cn （邮件主题：青年学者论坛）
微信：chhao01 （验证消息：青年学者论坛）

• 摘要

对神经网络表征能力的研究，一直是深度学习领域最核心的问题之一。前人研究通常采用单个量化指标（如准确率、模型复杂度、对抗鲁棒性等）评价神经网络的表达能力。这项研究首次从神经网络中海量交互概念的复杂度出发，探索神经网络在特征表达方面的公共瓶颈。我们发现了神经网络的表征瓶颈现象，即神经网络往往善于建模极为简单和极为复杂的交互概念，而不善于建模中等复杂度的交互概念。这一表征瓶颈普遍存在于不同任务、不同结构下的神经网络。这项研究进一步理论解释了这一表征瓶颈的内在机理。此外，该研究提出了新的方法反馈指导神经网络学习特定复杂度的交互概念，并研究了概念复杂度与表征能力的联系，为神经网络表达能力的研究提供了众多新的视角。

活动安排

讲师介绍

邓辉琦, 上海交通大学张拳石副教授团队的博士后研究员。研究兴趣聚焦于可信机器学习，尤其是神经网络的可解释性与安全性等。2021年于中山大学数学学院获得博士学位，博士期间曾于香港浸会大学和美国德州农工大学访问学习3年。近3年内，在 ICLR, AAAI, KDD, Pattern Recognition等顶级会议和期刊上发表论文多篇。

任启涵，上海交通大学张拳石副教授团队本科四年级学生。主要研究兴趣为人工智能可解释性，目前已在NeurIPS，ICLR等会议上发表论文2篇。

评议人

王韫博，上海交通大学人工智能研究院助理教授。研究方向为深度预测学习、有模型的强化学习与视觉决策。2020年博士毕业于清华大学，为清华大学—麻省理工学院联合培养博士，师从Philip S. Yu、龙明盛、Josh Tenenbaum。获2020年CCF优秀博士学位论文奖。近三年，在NeurIPS、ICML、T-PAMI、CVPR、IJCAI等CCF-A类会议和期刊上发表论文十余篇。

合作媒体

• CSDN
• 思否
• 掘金
• 数据与智能
• 示说

独家报名平台