ROMP-单目、多人、实时三维人体形态估计

活动介绍

上海白玉兰开源开放研究院发起的“青年学者论坛”，意在为国内外大数据及人工智能领域的优秀青年学者，搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者，以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题，促进观点碰撞及交流合作。

此次是“青年学者论坛”第十七期活动，青年学者论坛讲师及志愿者持续招募中。如有意愿，请与我们联系，欢迎广大同学们积极参与。
Email：chengh@baiyulan.org.cn （邮件主题：青年学者论坛）
微信：chhao01 （验证消息：青年学者论坛）

• 摘要

近年来，自单张图片估计三维人体形状和姿态的研究火热。但现有方法大多都遵从先检测-再逐人估计的多阶段框架。ROMP是第一个单阶段算法，可在1070Ti上自单个单目摄像头，实时估计多人三维人体网格。为了适应实际场景中普遍存在的多人遮挡问题，不同于多阶段方法的检测框级的模糊表征， ROMP端对端学习像素级的明确表征。并且为了让模型进一步适应严重遮挡的情况，我们在表征学习过程中融入了多人中心碰撞检测机制，促使模型学习更具有区分性的表征。ROMP的模型结构采用了简洁的端对端设计，具有很强的可扩展性，便于借此进一步探索多人场景下更丰富的感知和交互功能。ROMP的训练和测试代码已在Github上开源并积极维护，可以从图片、视频、摄像头中实时提取三维人体形态信息，并应用于虚拟形象驱动。

• 相关论文

1. Y. Sun, et al. " Human mesh recovery from monocular images via a skeleton-disentangled representation." In ICCV. 2019.
2. Y. Sun, et al. "Monocular, One-stage, Regression of Multiple 3D People. " In ICCV. 2021.
3. W. Liu, Q. Bao, Y. Sun, et al. " Recent Advances in Monocular 2D and 3D Human Pose Estimation: A Deep Learning Perspective."

活动安排

讲师介绍

孙宇，哈尔滨工业大学机器人研究所博士生, 导师是王树国教授，目前在京东AI研究院实习, 指导老师是刘武(senior researcher)。主要研究兴趣集中于单目三维人体形态估计。目前以一作身份于ICCV上发表论文2篇, google scholar引用77, 其余信息详见个人主页https://github.com/Arthur151。

评议人

朱程广，现为上海交通大学人工智能研究院博士后，研究方向包括位姿估计、计算机三维视觉、医学图像处理等。博士期间发表相关EI或SCI论文7篇，其中以第一作者发表EI或SCI四篇，作为第一发明人授权发明专利5项，软件著作权2项，获得在中国惯性技术学会2016~2018年优秀论文二等奖，担任IEEE TIM, MST,IEEE Access等期刊的审稿人。入选上海市“超级博士后”资助计划，获得2021年首届上海市博士后创新创业大赛中优胜奖（最高奖）。

合作媒体

• CSDN
• 思否
• 掘金
• 数据与智能
• 示说

独家报名平台