基于自监督的人体姿态估计、模拟与生成的协同进化研究

活动介绍

上海白玉兰开源开放研究院发起的“青年学者论坛”，意在为国内外大数据及人工智能领域的优秀青年学者，搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者，以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题，促进观点碰撞及交流合作。

此次是“青年学者论坛”第23期活动，青年学者论坛讲师及志愿者持续招募中。如有意愿，请与我们联系，欢迎广大同学们积极参与。
Email：chengh@baiyulan.org.cn （邮件主题：青年学者论坛）
微信：chhao01 （验证消息：青年学者论坛）

• 摘要

现有的自监督三维人体姿势估计方法在很大程度上依赖于consistency loss等弱监督来指导学习，这不可避免地导致在真实场景中，对没有见过的pose的结果较差。在本文中，作者提出了一种新的自监督方法，该方法允许通过self-enhancing dual-loop学习框架显式生成2D-3D pose pair来增强监督。这可以通过引入基于强化学习的imitator来实现，该imitator与pose estimator和pose hallucinator一起学习，这三个组件在训练过程中形成两个循环，相互补充和加强。具体来说，姿态估计器（pose estimator）将输入的2D pose序列转换为低质量的3D pose输出，然后由实施物理约束的imitator进行优化增强。经过优化的3D pose随后被输入到pose hallucinator，以产生更加多样化的数据，而这些数据又被imitator强化，并进一步用于训练姿态估计器。在实践中，这种协同进化方案能够在不依赖任何给定3D数据的情况下，根据自生成的运动数据训练姿势估计器。在各种基准的广泛实验表明，作者的方法产生的结果显著优于现有自监督技术，并且在某些情况下，甚至与完全监督方法的结果一致。

活动安排

讲师介绍

龚克洪，新加坡国立大学电子与计算机工程学院在读博士生，指导老师是王鑫超老师。主要研究兴趣是人体姿态估计与动作生成，以及基于强化学习的动作模拟、基于数据增强的模型泛化性研究。 目前以一作身份发表论文两篇, 分别是CVPR2021的PoseAug (Oral, Best Paper Candidate)和CVPR2022的PoseTriplet (Oral)。

评议人

高忠派，现为Auki Labs 计算机视觉研究员。2018年博士毕业于上海交通大学电子工程系，曾为上海交大人工智能研究院博士后。研究方向包含计算机三维视觉、虚拟/增强现实，三维显示等。博士期间访问哈佛医学院，从事基于三维显示晕动症的问题。在CVPR, AAAI, IJCAI, ACM MM， TNNLS, TMM, TCyb, Display, DSP等会议和期刊上发表论文数十篇。获得DynaVis@CVPR 2020动态场景重建研讨会的最佳论文奖。博士后期间入选国家博士后创新人才支持计划，上海市超级博士后激励计划，获得国家自然科学青年基金项目资助。

合作媒体

• CSDN
• 思否
• 掘金
• 数据与智能
• 示说

独家报名平台