MedicalNet 3D医疗影像专用预训练模型实践与应用

1 .云+社区技术沙龙 

2 .MedicalNet：3D医疗影像专用预 训练模型实践与应用 Whale Chen（陈思宏） 腾讯高级研究员 

3 .SPEAKER Whale Chen（陈思宏） 腾讯视觉算法高级研究员 14年起着手医疗影像AI相关工作，在miccai、tmi等医疗图像顶级 会议期刊发表过论文。主要致力于深度学习在医疗视频影像和3D 影像的研发与应用。 

4 .CONTENTS 01 医疗影像AI概述 02 MedicalNet与医疗影像AI发展的关系 03 MedicalNet技术实现 

5 .什么是医疗影像AI • 市场需求——医疗资源不足 患者：看病一分钟，排队10小时 医生：每天工作十几个小时以上，好累 看病真难！ 

6 .什么是医疗影像AI • 市场需求——医疗资源分布不均 三级/二级医院 基层医院 资深医师 就医人群 资深医师 就医人群 

7 .什么是医疗影像AI • AI的作用 设备 AI助手 资深医师 AI助手 人群基础筛查 提升诊断质量 

8 .什么是医疗影像AI • 深度学习在医疗影像的应用 医疗影像数据库 AI网络 医生诊断信息 患者医疗影像 患处诊断结果 

9 .CONTENTS 01 医疗影像AI概述 02 MedicalNet与医疗影像AI发展的关系 03 MedicalNet的技术实现 

10 .数据驱动下的深度学习 2009 2014 2016 2017 … ImageNet MSCOCO Kinetics YouTube-8M … 二维自然图像 二维自然图像 自然图像场景视频 自然图像场景视频 千万数据量级 十万级数据 十万级数据 百万级数据 万类分类标注 分类、检测、分割标注 百类视频场景分类标注 千类视频场景分类标注 

11 .自然图像与医学影像的差别 自然图像数据 视频数据 V.S. 医疗影像数据 

12 .医疗影像数据量不足 2009 2014 2016 2017 … ImageNet MSCOCO Kinetics YouTube-8M … 二维自然图像 二维自然图像 自然图像场景视频 自然图像场景视频 千万数据量级 十万级数据 十万级数据 百万级数据 万类分类标注 分类、检测、分割标注 百类视频场景分类标注 千类视频场景分类标注 … CAUSE07 SegTHOR Visceral Chaos … 3DMRI数据 3DCT数据 3DCT/MRI数据 3DCT/MRI数据 百位级数据 前列腺分割标注 十位级数据 分割标注 十位级数据 分割标注 十位级数据 分割标注 数据量不足 

13 . 什么是MedicalNet? 区域 模态 数量 开源预训练模型与代码 肝区 CT 544 脑区 MRI 759 前列腺 MRI 32 心区 CT; MRI 140 胰脏区 CT 281 脾区 CT 131 脊柱区 CT 100 管道区 CT 78 肾区 CT; MRI 90 半月板损伤 胃区 CT 30 其他 CT; 3DUS 118 合计：23数据集，2400数据 收集数据集 训练层数不同的预训练模型 新应用迁移学习 

14 .CONTENTS 01 医疗影像AI概述 02 MedicalNet与医疗影像AI发展的关系 03 MedicalNet的技术实现 

15 .技术难点 像素含义不一，范围差异大 同一组织分辨率不一致 伪影频繁，成像质量低 不同源数据，标注缺失 不同组织尺度差异大 边界模糊，对比度低 

16 .数据集筛选方案 

17 .联合训练方案 

18 .结果 

19 . 结果 迁移性能 初始Loss 收敛时间 100 11 10.8 95 95 5 10 91 90.9 90 89.6 89.7 9 90 4.5 4.22 预测正确性 86.6 8 85 4 3.96 7 81.4 79.6 80 78.4 3.5 6 5.6 75 3 2.95 5 72.8 4 3.5 70 2.5 3 66 65 2 2 肺部分割 肺结节分类 肝脏分割 膝盖疾病分类 初始loss 收敛时间 MedicalNet Kinetics 从零训练 Chen S, Ma K, Zheng Y. Med3D: Transfer Learning for 3D Medical Image Analysis[J]. arXiv preprint arXiv:1904.00625, 2019. 

20 . T HANKS MedicalNet 关注云加社区公众号