阿里巴巴 古鉴 - 《在教育领域AR技术如何落地》

1 .AR开发者平台体系及教育领域的探索 阿⾥巴巴⾼级技术专家 古鉴（坎特） 

2 . 1 AR 市场及阿⾥AR开放平台介绍 2 AR教育产品 ⽬录 3 研发中技术难点 4 未来的研发⽅向 

3 .个⼈人介绍 11年AR技术的研究和创业的经验 5年AR的学术研究经验 •  新⻄兰HIT Lab NZ 实验室 •  新加坡国⽴⼤学 6年年AR⼯工业领域经验 •  梦想⼈软件科技有限公司，CTO，联合创始⼈ •  暴⻛魔镜, AR及交互技术负责⼈-主要负责交互产品 •  阿⾥巴巴⼈⼯智能实验室, AR开放平台负责⼈ 

4 .AR市场的分析 •  2019年以后，市场进入到快速发展阶段，越来 •  1999年年开始到2012 属于探索期，2009年年的时 越多的Killer APP涌现出来 候iPhone3G出来后, 带动了了市场，⼀一批AR应 ⽤用上线⼿手机市场。 •  从第三阶段开始进入成熟的市场。AR的市场格 •  AR公司没有找到⾜足够在市场上赚到钱的点 局已经形成。 1999-2012 2019-2022 After 2022 2013-2018 Exploring Rapidly Market Starting Period period Growing Period maturity Period •  2016 Pokemango的出现，使得整个中国 投资AR市场变得⾮非常热，达到巅峰。后⾯面 逐渐冷却。 •  2018年年处在技术在不不断成熟和积累阶段， 硬件和软件都在⾛走向成熟 信息来⾃自易易观智库 

5 .AR 硬件演进⽅方案 •  ⼿手机AR 是现在AR的主流平台 •  可以看到定制AR硬件会是未来⼀一段时间的主流 •  AR 眼镜会是今后的最终形态. Mobile AR AR Customized Equipment Smart Glasses 

6 .AR的价值 AR的价值 •  视觉产⽣的震撼 •  ⾃然交互⽅式产⽣便捷 •  虚拟和现实实时融合产⽣⾼附加价值 AR的问题 •  震撼的效果要求3D的制作成本⽐较⾼ •  AR算法有⼀定的技术⻔槛 •  定制化多，产⽣的价值⽆法被⼤量复制。 •  AR只是附加值，很难成为主要的价值提供者 AR平台能产⽣生的价值 •  降低AR的技术⻔槛：提供AR SDK •  降低AR的制作成本： 标准化3D制作流程 •  更便捷的⽣成AR内容：内容编辑器 

7 .Ali Genie AR 开发者平台 •  2017年年10⽉月，我们发布了了Ali Genie AR 开发者平台 

8 .Ali Genie AR 开发者平台 2D识别追踪 3D识别追踪 内容制作平台 标记物训练工具 Aviex渲染引擎 稳定的云服务 高品质3D素材库 GPU加速 

9 .内容合作模式 

10 .开放平台案例例-阿⾥里里健康 

11 .开放平台案例例 星巴克 阿⾥里里汽⻋车 

12 .AR对各个领域的影响 零售，教育都是AR能产⽣生巨⼤大变⾰革的领域。 Changes Retail Education Industrial Travel training Social Medical Games Marketing & News Live streaming Finance Real Video Estate Time 12 

13 .思考AR开放平台如何产⽣生更更多的价值 选择AR适合的领域：⼤大规模使⽤用，能够快速制作， 同时能够快速复制⾏行行业 深⼊入了了解某⼀一领域的需求。 要以硬件/实体物品为AR载体，同时让算法+软件+内容对⽤用户产⽣生⾼高附加价值。 零售和教育是我们看到的AR能产⽣生⾼高附加价值的领域 + + + 

14 .选择⼉儿童教育作为AR产品切⼊入点 ⼉儿童教育市场中：早教市场前景⼴广阔，估算⽬目前规模1000亿元左右。⽬目 前购买天猫精灵的顾客中，⼤大约 60% 左右已育⼈人群，⼉儿童⽤用户是天猫 精灵重要⽤用户。 AR的强烈烈的和现实的结合性，⽐比如说和实物的结合（书，积⽊木等），导 致它天⽣生会和教育场景结合密切。 

15 .AR在教育领域的应⽤用 Project name AR 放大镜 AR 地球仪 AR 学习课件 AR 涂色 识花 天猫书城 

16 .对教育的投⼊入 教育对于⼉儿童成⻓长和未来终身发展有着重要的意义，教育⽀支出主要集中于 有孩⼦子的家庭，有孩⼦子的家庭教育⽀支出显著⾼高于没有孩⼦子的家庭。 视频来⾃自 i投资 https://xueqiu.com/8107212038/29604918 

17 .设计⽅方向（AR+AI） 目标受众 存在问题 解决问题 设计亮点 产生价值 3-12岁小朋友 学习兴趣浓厚 AI + AR 扫一扫/AR 读书 更结合现实 需要专门的人引导 幼儿和学龄期 每页都可读 AI 分析 更激发兴趣 才能学习 数据统计分析 现有工具使用难度 主动探索时学习 较大，不易上手 可语音交互 内容统计 海量内容资源 可语音交互 物体识别 即时反馈 语音交互 阅读效率提升 

18 .教育产品的探索 国图字帖 天猫图书 和国家图书馆合作的字帖，教⼩朋友学习写字。 和天猫图书合作，通过动态恐⻰的⽅式展现图书 

19 .教育产品的探索 图像识别 物体检测 拟态引擎 多模态交互 情景感知 + = 

20 .天猫精灵⽕火眼+XHolder 

21 .⽤用户反馈 很有魔性，⼩孩很喜欢玩 ⼩孩跟着天猫精灵⽕眼读书超过⼀个⼩时 睡前喜欢听故事，不⽤我在读了 奶奶爷爷发⾳不标准，这个可以更好教他们英⽂ ⽗⺟不在的时候也可以玩识字卡⽚ 

22 .⽤用户反馈 

23 .技术上的探讨 天猫精灵⽕火眼产品的架构 声⾳音和视觉结果的同步 识别追踪算法逻辑图 识别中遇到的⼀一些难点 算法上⼀一些新的探索 内容编辑器器 3D制作标准 

24 .整体设计架构图 通过相机、渲染、算法的分离，并⾏行行处理理，多重缓冲区，实现实时 接口层 UIView Controller 中间层 相机管理 表情状态机 Session 全双工通信 底层 渲染引擎 算法服务 

25 .识别的问题 

26 .基于深度学习的OCR技术⽤用于⽂文本图⽚片检索 同时利利⽤用visual feature + textual feature 提⾼高图⽚片识别的准确率 基于深度学习的OCR技术进⾏行行图⽚片的⽂文本特 征提取，主要分为四步： •  第⼀步：⽂本检测。 •  第⼆步：⽂本字符识别。 •  第三步：⽂本特征提取。 •  第四步：⽂字统计 

27 .后台编辑器器 

28 .AR开发者平台3D模型输出规范 Model of the standard 模型参数 贴图规范 动画规范 l  面数:2.5W-3W三角面 (Triangle) l  纹理贴图 1024*1024 PNG l  世界中心点创建Dummy l  要求：模型结构清晰，模型精致 l  法线贴图 1024*1024 PNG l  命名Dummy为：RootBone l  模型尺寸缩放到30cm的立方体之内 l  材质贴图 1024*1024 PNG l  以RootBone为根节点的骨骼树 u R：金属 l  骨骼树下面不能LINK任何模型 u G：皮革 l  动画必须要通过SKIN绑定实现 u B：棉布等亚光材质 l  骨骼总数不能超过68根 l  每个顶点最多受4根骨骼权重影响 

29 .未来的展望 视频来⾃自 HIT Lab NZ