苏宁 王止观 - 《无人店之人脸识别技术探讨》

1 .苏宁无人店之人脸识别技术探讨 演讲者/王止观 

2 . 什么是人脸识别 ？ 人脸识别，是基于人的脸部特征信息 进行身份识别的一种生物识别技术。 刘亦菲 

3 . 人脸识别历史 Bledsoe,Helen,Charles 提出通过计算机来识别人脸 1964-1990 1964年Bledsoe提出第一个半自动人脸识别系统 基于特征的方法是主流 重点解决的是较理想条件下、用户配合、中小规模人 1991-1997 脸数据库上的人脸识别问题 基于Appearance的2D人脸图像线性子空间分析和统 计模式识别方法是主流 重点研究非理想条件下、用户不配合、大规模人脸数 1998-现今 据库上的人脸识别问题 GPU的应用解决了数据量大的问题，深度学习大规模 训练人脸特征 

4 . 人脸识别的应用领域 公安刑侦 考勤门禁 居民身份证管理 零售安全 机场车站安检 金融领域 政府部 工业级 门及安 应用 防 消费级应 用 智能手机解锁 相片分类 美图 

5 . 人脸识别的优缺点 • 人脸识别的优点 – 可以隐蔽操作，特别适用于安 全问题、罪犯监控与抓逃应用 – 非接触式采集，没有侵犯性， 容易接受 – 方便、快捷、强大的事后追踪 能力 – 符合我们人类的识别习惯，可 交互性强，无需专家评判 • 人脸识别的不足 生物特征识别：未来的身份验证方法！ – 不同人脸的相似性小 – 识别性能受外界条件的影响大 

6 .人脸识别的挑战 ( ) 

7 . 人脸识别分类 人脸验证(verification) 人脸识别(identification) 1:1 身份验证模式本质上是 计算机对当前人脸与人像数 … 据库进行快速人脸比对并得 出是否匹配的过程，可以简 单理解为证明你就是你。 1:N人脸识别，是1:N进行图像匹配比对的过程， “刷脸”登机、验票、支付 从一群人中识别你是谁，一般用于开发“人脸识 都属于1：1的人证核验！ 别门禁系统”和“VIP人脸识别系统”。 

8 .人脸识别系统 

9 . 人脸识别步骤 Ø 人脸检测与对齐校准 Ø 人脸特征提取与特征模 型建立 Ø 人脸特征匹配 Ø 人脸识别结果 

10 .人脸检测与对齐校准 

11 . 人脸检测与对齐矫正 • 人脸识别第一步 • 人脸关键点检测 • 根据参考点，仿射变换对齐 • 人脸水平，居中 • 人脸特征模型输入 人脸检测 人脸关键点检测 人脸对齐 

12 . 人脸检测 基于规则/知识方法 基于模板的方法 人脸模式的变化满足一定的规律，所以可 固定模板法 以归纳描述人脸特征的规 则，如灰度分 布、比例关系、纹理信息等。 可变形模板法 基于外观学习的方法---目前的主流方法 基于不变特征的方法，如彩色信息 将人脸检测视为从非人脸样本中识别人脸 人脸的肤色在彩色空间中的分布相对比较 样本的模式识别问题，通 过对人脸样本 集中，所以可用来检测和 跟踪人脸 集和非人脸样本集的学习产生分类器。 

13 . mtcnn人脸检测结果 FDDB人脸检测准确率：95.04% 

14 .人脸特征提取与特征模型建立 

15 . 人脸特征提取 传统算法 1．基于面部器官的特征提取 人脸检测 人脸关键点检测 仿射变换 特征提取 2．基于模板的特征提取 3．基于代数方法的特征提取 4．基于弹性匹配法的特征提取 深度学习算法 1. 深度卷积神经网络架构 2. 模型训练自我学习特征 

16 . 深度学习的优势 底层感知 预处理 特征选择 预测识别 Ø 良好的特征表达，对最终算法的准确性起了非常关键的作用 Ø 识别系统的计算和测试主要集中在特征提取部分 Ø 特征的样式目前一般都是人工设计的，靠人工提取特征 Ø 深度学习的优势： 1.强调了数据的抽象 2.强调了特征的自动学习 3.自主学习的特征更为可靠 

17 .人脸特征模型之深度神经网络架构 •卷积层（Convolutional layer) •激活函数(Relu) •池化层（Pooling layer） •全连结层（fully connected layer) •损失函数层 (loss function) 

18 . AlexNet § 2012年 Alex Krizhevsky等人提出，相比11年，精度提升近10个百分点 § 历史性突破 § 8层：5卷积层+3层全连接层 § 卷积核大小：11*11， 5*5， 3*3 

19 . AlexNet Relu代替Sigmoid Dropout防止过拟合 Max-pooling 代替 average-pooling 数据增强扩充训练集 引入GPU，多GPU训练模型，提高速度 

20 . 神经网络特征图 • 随着网络加深，特征表征能力越强 

21 . VGGNet Ø 2014年亚军，牛津大学提出 Ø 它的特点也是连续conv多，计算量巨大 Ø 选用3*3卷积核的优点： • 使网络结构更深，学习到的特征更多，结果更具 有判别性（discriminative） • 三层3*3的卷积核比一层7*7的卷积核所需要的 参数更少 

22 .如何训练更深层的网络？ • 随着网络加深，特征表征能力越强 • 梯度计算： ∂Etotal ∂Etotal ∂out o1 ∂net o1 = × × ∂w5 ∂out o1 ∂net o1 ∂w5 • 简单叠加层数会产生梯度消失 

23 .残差神经网络ResNet • 进一步缓解梯度消失问题 • 梯度由“乘”变“加” • 加快收敛速度 • 提高准确率 

24 .Inception-ResNet Ø Inception是GoogleNet中的重要结构 Ø 高效表达特征 Ø 在同一层中使用不同大小的卷积核3*3，5*5 Ø 提升不同尺度图像的检测能力 Ø 1*1卷积核降维 Ø Inception结构加入到ResNet中将多尺度的特征融合 

25 .不同架构对比 

26 . 损失函数 Ø 表示预测结果和真实结果之间的差 正向传播,预测结果y=(w,x) 异， Ø 是需要优化的目标函数 Ø 指导训练： • 输入:原始图像，label • 输出:神经网络的每层权重值w – 初始化权重值w – 通过神经网络计算出预测结果 – 计算出损失函数 – 对w求导得到梯度，更新w 反向传播, 计算梯度 – 梯度下降的方法得出损失函数最小时 的w 

27 .损失函数Softmax 更清晰的描述了预测模型与 理想模型的距离 n WyTi xi +byi 交叉熵： Ls = − ∑ log e n ∑e i=1 WTj x j +b j j=1 特点：不同种类分得比较开 

28 . 加入center loss的Softmax Ø Center loss计算步骤： 1:每个类中⼼心位置cyi 2:类元素离所属class中⼼心位置cyi的距 离 3:求和得到center loss Ø Softmax+center loss WyTi xi +byi λ n n 2 e L = − ∑ log n + ∑ x i − c yi ∑e i=1 WTj x j +b j 2 i=1 2 j=1 特点：不同种类分的很开，并考虑了同类距离 

29 . Angular Softmax n WyTi xi +byi e xi cos(θ yi , i ) + byi L = − ∑ log n WyTi e n L = − ∑ log ∑e WTj x j +b j n ∑e i=1 i=1 WTj xi cos(θ j , i ) + b j j=1 j=1 n xi cos(θ yi , i ) e Lmodified = − ∑ log n xi cos(mθ yi , i ) e n Lang = − ∑ log + ∑e ∑e xi cos(θ j , i ) xi cos(mθ yi , i ) xi cos(θ j , i ) i=1 i=1 e j≠yi 二元化特例： j=1 1: 归一化权重向量w1, w2, bias=0 2: 计算特征向量和权重向量的夹角θ1，θ2 3: 通过夹角判断该特征归属 Modified Softmax决策边界: x ( cosθ1 − cosθ 2 ) = 0 Angular Softmax决策边界: x ( cos mθ1 − cosθ 2 ) = 0 for class 1 x ( cosθ1 − cos mθ 2 ) = 0 for class 2