基于可学习语义先验的图像补全

活动介绍

上海白玉兰开源开放研究院发起的“青年学者论坛”，意在为国内外大数据及人工智能领域的优秀青年学者，搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者，以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题，促进观点碰撞及交流合作。

此次是“青年学者论坛”第十三期活动，青年学者论坛讲师及志愿者持续招募中。如有意愿，请与我们联系，欢迎广大同学们积极参与。
Email：chengh@baiyulan.org.cn （邮件主题：青年学者论坛）
微信：chhao01 （验证消息：青年学者论坛）

• 摘要

图像补全作为图像处理中的基础问题之一有着广泛的应用场景。借助于深度神经网络，近期的图像补全工作已经能对简单的自然场景生成很好的补全效果。但是在更复杂的场景下，由于信息缺失导致的上下文歧义使得已有方法难以恢复出清晰合理的视觉内容。针对这一问题，我们从场景理解入手，尝试引入预训练模型中的语义先验信息帮助缓解缺失区域的上下文歧义，从而提升图像补全，特别是结构性信息的补全效果。具体的，我们提出了一个双路生成网络。首先通过引入语义抽取类任务（分类，检测等）预训练模型的特征图作为重构目标，借助于知识蒸馏的方法，使得网络学习到具有隐式语义的上下文信息，这一信息被称为语义先验（semantic prior）。基于学习到的语义先验，我们提出了一个上下文感知的图像补全模型，我们利用像素级仿射变换模块，将语义先验和图像纹理信息进行融合，实现了利用全局语义信息辅助细粒度纹理恢复的目标。最后我们在三个常用的图像补全数据集上对比了相关的主流方法，我们的模型取得了最好的结果。相关代码和预训练模型已开源。

活动安排

讲师介绍

张文冬，上海交通大学人工智能研究院在读博士生。主要研究兴趣集中于图像生成，图像场景理解及补全。目前已在ACM MM, IJCAI, CVPR, AAAI 等会议和期刊上发表论文5篇。

评议人

陈昕苑，上海交通大学人工智能研究院长聘教轨副教授、博士生导师，2015年博士毕业于上海交通大学自动化系，2015年至2020年于MIT、UC Berkeley人类动力与网络实验室任职博士后研究员，2017年至2018年任职劳伦斯伯克利国家实验室客座博士后，2021年获得上海市浦江人才计划。重点以交叉学科视角，研究城市复杂系统中的人类移动行为、人类与建成环境的交互关系，并以数据驱动的方式对城市复杂系统进行建模与优化。针对城市尺度上的交通拥堵、电力网络、设施规划、大气污染等重大问题提出了一系列创新解决方案。研究成果以一作发表于自然子刊Nature Energy（IF=60）、科学子刊Science Advances（IF=14）、J. R. Soc. Interface、IJCAI等国际顶尖期刊和会议，被Nature Asia、彭博社等多家国际媒体报道。

合作媒体

• CSDN
• 思否
• 掘金
• 数据与智能
• 示说