万字长文 科普人脸识别算法及系统

人脸识别的目的

总结两点，第一，认出同一团体，不论你的形态怎样变，都能知道你就是你。第二、辨别不同的人，或许这两团体长得很像，或许两团体都化装了，但不论形态怎样变动，人脸识别都能知道这是两个不同的人。

人脸识别自身是作为生物识别技术的一种，关键是提供身份认证的手腕，从精渡过去讲，人脸识别并不是最高的。人脸识别遭到很多其余条件的影响，比如说光照。人脸识别的好处在于普通不须要用户做太多的配合，如今各个中央的监控摄像头，包括电脑的摄像头、手机各种视频输入设施，照相设施曾经十分十分的遍及，用这种可见光的设施就可以做人脸识别。所以在引入人脸识别的时刻或许新参与的投资是十分少的，这是它的长处。

人脸识别的流程

人脸识别的外围流程，所谓外围流程就是不论在什么样的人脸识别系统外面基本上都有这个流程。首祖先脸检测，第二步做人脸对齐，第三步做特色提取，这是对每一张照片都要做的这三步，当要去做比对的时刻就把提取的特色做比对，而后确定这两个脸是不是属于同一团体。

人脸检测

人脸检测即判别一个大的场景中能否有人脸,并且要找到这团体脸的位置把它切出来。它是属于物体检测技术的一种，是整团体脸感知义务的基础。人脸检测的基本方法就是在图象金字塔上滑动窗口，用分类器决定候选窗口，用回归模型启动位置批改。

上方画的三个窗口，一个是0.3倍、0.6倍、1.0倍，当人脸位置不定，大小无法识别时可驳回此技术，让这个图自身变得大小不同，而滑动窗口的大小相反。深度网络普通输入的图象大小是固定的，那么前面的滑动窗口基本上也是固定的。为了让固定的滑动窗口能够笼罩不同的范围的话，就对整个图的大小启动缩放，取不同的比例。这边画0.3、0.6、1.0只是举例，实践用的时刻还可以有很多其余不同的倍数。

分类器是指看滑动窗口每一个滑到的位置去判别能否是人脸，由于滑动窗口滑动到的位置有或许不蕴含整团体脸，或许说它比整团体脸大一点。为了找到的人脸能够愈加准确，把滑动窗口放到回归模型里，即可协助批改人脸检测的准确度。

输入的是滑动窗口，输入时假设外面有人脸，应该向哪边批改，以及它须要批改多少，所以Δx, Δy, Δw, Δh，就是它的坐标以及它的宽和矮小概批改多少。有了批改的量和用分类器确定它是人脸的窗口，把这两个结合在一同，就能获取一个比拟准确的人脸位置。

以上是人脸检测的流程，同时也可实用于其余的物体检测

人脸检测的评价目的

不论什么样的模型都是分速度和精度两个方面

一、速度

（1）速度是指定分辨率下的检测速度

因此评价一个算法或许模型的好坏，就得在固定的分辨率上方去看它的检测速度究竟是多少。普通来说这个检测速度会是什么样的值，或许就是做一张图的人脸检测所破费的期间，比如说100毫秒、200毫秒还是50毫秒、30毫秒之类的。

另外一种示意速度的方法就是多少fps，如今普通的网络摄像头往往是25fps或许30fps，意思是每秒钟能处置多少张图，用fps的好处可以判他人脸检测能否可以做到实时检测，只需人脸检测的fps数大于摄像头的fps数就能够做到实时，否则就做不到。

（2）速度能否受一致个画面中的人脸个数影响

从咱们实践操作来说，大部分来说是不受影响的，由于关键是受滑动窗口的次数影响，命中的次数倒不是特意重，但是稍微有那么一点影响。

二、精度

精度，基本上用召回率、误检率、ROC曲线这些来判定。召回率即指这张照片是人脸，真正的模型判别出来是人脸这个比例，误检率、负样本失误率即指这张照片不是人脸，但是误判别成人脸的比例。

ACC精度

ACC计算方法是正确的样本数除以总的样本数，比如说拿一万张照片去做人脸检测，这一万张照片外面有的是有人脸的，有的是没有人脸的。而后判别对的比例是多少。

但是这个精度存在一个疑问，假设用它去判别，它关于正负样本的比例是齐全有关的，即他不关心在正样本外面正确率是多少，在负样本外面正确率是多少，只关心总的。当此模型准确度是90%时，他人不知道在正负样本上方区别是多少。包括分类，包括回归，普通来说分类模型，会先用一个回归获取一个所谓置信度，置信度大于多少数值时以为他是，而后置信度小于同一个数值时以为他不是。

ACC统计模型是可调理的，即调整置信度，精度就会变动。

所以ACC值自身受样本的比例影响很大，所以用它来表征一个模型的好坏的话有点疑问，当测试目的说到达了百分之九十九点几，单看这个值，是比拟容易受骗或许说这个统计是有偏的。为了处置这个疑问，普通如今会用一个叫做ROC的曲线来表征这个模型的精度

ROC受试者上班特色曲线

横坐标：FPR(False Positive Rate)即负样本失误率

纵坐标：TPR(True Positive Rate)即正样本正确率

可以辨别算法在正样本和负样本上的性能，并且曲线形态与正负样本比例有关。

ROC(Receiver Operating Characteristic)曲线就是把横坐标、纵坐标用这个负样本失误率和正样本正确率两个标出来，这样的话同一个模型在这个图上方看到的不是一个点，或许说不是一个繁多的数据，而是一条线。这条线即置信度的阈值，你调的越高就越严厉，越高攀越不严厉。在这个上方的话就能反响出这个置信度的阈值的变动对它的影响。

大家最好不要间接问说你的精度是多少，而是看ROC曲线，这样更容易判别模型的才干究竟怎样样。

人脸对齐

人脸对齐的目的使人脸纹理尽或许调整到规范位置，降落人脸识别器的难度。

为了用人为的方式降落它的难度，就可以先把它做对齐，就是让检测到这团体的眼睛、鼻子、嘴巴所有归到同一个位置去，这样的话模型在比对的时刻，就只需找雷同位置左近，相互是不是相反还是相近，还是有很大不同。所以就是会做对齐的这么一步，这一步的话，咱们如今罕用的做法就是二维的做法，就是到这个图外面去找到关键特色点，普通如今就是五点的、十九点的，六十几个点，八十几个点的各种都有。但人脸识别的话五个基本上就够了。

这五个点之外的其余点的图象，可以以为它是做一个相似于插值的运算，而后把它贴到那个位置去，做完了，就可以送到前面的人脸识别器外面去做识别了。这个是普通的做法，还有更前沿的做法，有的钻研机构在经常使用所谓的3D人脸对齐，就是我通知你说一张正脸是什么样子的，比如旋转45度的时刻长什么样子，那么用这种图给他训练过了，他就知道我看到一张向左右旋转了45度这张图，大略转正了有很大或许性是什么样子的，这个模型能去猜。

人脸特色提取算法

以前的传统方法是所谓的部分纹理模型，全局纹理模型，形态回归模型之类的这些都有。如今比拟盛行的就是用深度的卷积神经网络或许循环神经网络，或许3DMM参数的卷积神经网络。所谓3DMM参数的话就是有三维的信息在外面，而后有级联的深度神经网络。

级联的深度神经网络，即拿到人脸，首先要推测五个点的位置，假设用一个繁多的模型一次性就要做到这一点的话，这个模型会须要很复杂。

但是怎样能够降落这个模型的复杂水平呢？

即做屡次输入，第一次性输入这个网络先做一次性推测，这个推测是一个可接受的不那么准确的推测，大略知道人脸的五个点在哪。而后把这五个点和那张原图放到第二个网络外面去，获取大略的批改量，有了一个基础五个点再求批改量的话会比间接从原图上方找准确的五个点要稍微容易一些。所以用这种逐渐求精的方式用多个网络级联在一同就能够做到一个速度跟精度的比拟好的平衡，实践如今做的时刻基本上用两层就大略差不多了。

人脸特色点提取的评价目的

NRMSE(Normalized Root Mean Square Error)即归一化均方根误差

用于权衡各个特色点坐标与标注坐标的差距。

精度

为了能够让不同大小的人脸也能够放在一同相互比拟，驳回统计学上叫做归一化均方根误差。举个栗子：咱们在纸上画五个点，而后让机器来说这五个点的相互距离，所给出的数值越凑近真实距离，则说明预测越精准。普通来说预测的数值必定会有些偏向，那么怎样表述这个精度值呢？咱们通常就用距离的平均值或许均方根值来表白。但是疑问来了，相反的机器预测不同大小的图像，精度值会显得不同，由于越大的图误差的相对值会越高。换到不同大小的人脸情理也是一样。因此，咱们的处置方法是把人脸原本的尺寸数值思考出来，普通分母是人的双眼距离或许人脸的对角线距离，再用距离差值除以双眼之间的距离，或许是除以人脸的对角线，这样的话就可以获取一个基本上不随着人脸大小而变动的一个值，用它来评测。

人脸比对

（1）目的：即判别曾经对齐好的两张人脸，能否属于同一团体

（2）难点：同一张人脸在不同状况下会出现不同的形态，比如说特意受光照、烟雾、化装等等的影响。第二个就是映射到二维照片上的不同参数形成的，所谓映射到二维参数上就是说原自己脸长这样，拍摄设施去拍的时刻，跟他出现的角度，离他的距离，对焦能否准确，拍摄视角等等光线沉淀这个都有影响，会让同一团体脸发生出不同的形态。第三就是年龄和整容的影响。

人脸比对的方法

（1）传统方法

1、由人工去抽取一些特色HOG、SIFT、小波变换等，抽取的这种特色普通来说或许是要固定参数，即不须要训练，不须要学习，经常使用一套固定的算法，再对这个特色启动比拟。

（2）深度方法

干流的方法就是深度的方法，即深度卷积神经网络，这个网络普通来说是用DCNN去替代前面的那些特色抽取方法，即把一张图上方，一团体脸上方的一些各个不同的特色弄出来，DCNN外面有很多参数，这个参数是学出来的，不是人通知他的，学出来的话相当于能比人总结出来的这些会更好。

而后获取的一组特色普通如今的维度或许是128维、256维或许512维、1024维，而后做对比. 判别特色向量之间的距离,普通经常使用欧氏距离或余弦相似度。

人脸比对的评价目的雷同分为速度与精度，速度包括单张人脸特色向量计算期间和比对速度。精度包括ACC和ROC。由于前面已引见过，这里着重引见一下比对速度。

普通比对是一个繁难的运算，是做两个点的距离，或许只须要去做一次性内积，就是两个向量的内积，但当人脸识别遇到1：N对比时，当那个N库很大的时刻，拿到一张照片要去N库外面做搜查的时刻，搜查的次数会十分多，比如N库一百万，或许要搜查一百万次，一百万次的话就相当于要做一百万次的比对，这个时刻的话关于总期间还是有要求的，所以就会有各种各样的技术对这种比对启动减速。

人脸识别关系的其余的算法

关键有人脸追踪、品质评价、活体识别。

● 人脸追踪

在监控等视频人脸识别的场景下，假设对走过的同一团体的每一帧都口头整套人脸识别流程，不只糜费计算资源，而且有或许由于一些低品质的帧形成误识别，所以有必要判别哪些人脸是属于同一团体的。并筛选出适宜的照片做识别，大大优化模型的全体性能。

如今不止人脸追踪，还有各种各样不同的物体追踪或许是车辆追踪等等，都会经常使用到追踪算法，此类算法不依赖于或不会不时依赖于检测。例如在最开局检测到一个物体后，接上去就齐全不检测了，只经过追踪算法去做。同时为了做到十分高精度，为了做到不失落，每一次性的追踪花的期间是比拟多的。

为防止追踪到的人脸和人脸识别器范围不吻合，普通来说还是会拿人脸检测器做一次性检测，这种检测方法是依赖于人脸检测做的比拟轻量化的追踪，在某些场景下，可以做到一个速度和品质上方的一个平衡。

这种检测方法叫做Tracking by Detection，即每一帧依然去做人脸检测，检测到人脸，依据每一团体脸的四个值，即他的坐标位置，他的宽、高，去比拟前后两帧的人脸的位置和大小，大略可以推测出这两团体脸究竟是不是属于同一个移生物体。

● 可选的距离全画面检测

是指当去做Tracking by Detection的时刻，前后两帧，一种做法是都做全画面的检测，所谓全画面检测即把全画面所有扫一遍，但是此方法耗时重大，因此有时会驳回另一种方法，距离几帧做一次性全画面，普通预测一个下一帧，位置变动不会太多，只需把前一帧的位置高低左右稍微扩展一点，再去检测一次性，往往大略率时机是可以检测到，大少数的帧可以跳。

为什么必定要距离几帧再做一次性全画面检测呢？

是为防止有新的物体出去，假设只依据前一个物体的位置来找的话，或许有新的物体出去的时刻就没检测到，防止这种状况的话可以隔个五帧、十帧再去做一次性全画面检测。

● 人脸品质评价

由于人脸识别器训练数据等的限度，无法能对一切形态下的人脸性能都很好，品质评价会判别检测出来的人脸与识别器特性的吻合水平，只选取吻合水平高的人脸送去做识别，提高系统的全体性能。

人脸品质评价蕴含以下4因素

① 人脸的大小，决定太小的脸做识别成果会大打折扣。

② 人脸姿态，就是指三个轴方向的旋转角度，普通来说跟识别器训练用的数据有关。假设训练的时刻大部分用的是姿态不太大的人脸的话，在真正做识别的时刻也最好不要挑那种偏转很大的，否则会不实用。

③ 含糊水平，此因素很关键，假设照片曾经失落掉信息了，再做识别会存在疑问。

④ 遮挡，假设眼睛、鼻子等被盖住了，这块的特色就无法拿到，或许说拿到的是错的，是一个遮挡物的特色，对前面的识别有影响。假设能判别出来是被遮挡的，而后弃用，或许做一些不凡处置，例如不把它放到识别模型外面去。

● 活体识别

这是一切的人脸识别系统都会遇到的疑问，只识他人脸的话，照片也可以蒙混过关。为了让系统不被攻打就会去做一些判别，这个究竟是一个真脸还是假脸。

基本上目前的方法大略有三种：

① 传统的灵活识别，很多银行的取款时机有这种要求用户做一些配合，例如让用户眨眼、转头，以此来判别用户是不是依据眨眼、转头做了雷同的配合。因此灵活识别存在一个疑问，即须要用户的配合较多，这样用户经常使用体验会有点不好。

② 静态识别，即不依据举措来判别，只是依据这个照片自身来判别能否是真实人脸，还是一个假脸。它的依据是普通如今用的攻打的手腕，是比拟繁难的，例如拿手机，或许是拿一个显示屏，就用屏幕做攻打。

这种屏幕的发光才干跟实践的光照条件上方人脸的发光才干是不一样的，例如显示器有1600万发色数，是无法做到可见光的发光才干，即所有是延续的一切的波段都能收回来。因此当再对这种屏幕做拍摄时，和真正人造环境上方的一次性成像对比，人眼也能看出来会有一些变动，会有一些不人造。经过这种不人造放到一个模型外面训练过，还是可以依据这种纤细的差异判别出到来底是不是真脸。

③ 平面识别，假设用两个摄像机或许一个带深度信息的摄像机，就能知道拍到的各个点离摄像机的距离是多少，相当于对人物做3D成像，这样用一个屏幕去拍摄，屏幕必需是个平面，看法到是一个平面的，平面的必需不是一个真的人。这个就是用平面的识别方式去扫除平面人脸。

人脸识别的系统形成

首先做一个分类，从对比如式来看，有1：1的识别系统，1：N的识别系统；从对比的对象来看，有照片的比对系统以及视频的比对系统；按部署方式的话，有私有部署，有云部署或许移动设施部署。

照片1：1的识别系统

1：1的识别系统最繁难，拿两张照片，每一张照片去生成一个特色向量，而后去比一下这两个特色向量是不是同一团体，就可以识别了。

照片1：N的识别系统

1：N的识别系统，即判别照片素材在不在一个样本库里。此样本库是预先预备好的，或许会有白名单或许黑名单，外面有每团体的一张照片，拿这张照片生成了一系列的特色向量。这个作为一个样本库，用上行的照片跟样本库外面的一切的特色去比，看跟哪个最像，就以为他是这团体，这个是1：N的识别系统。

视频1：1的识别系统

视频1：1识别系统，和照片的1：1系统相似，但是比对的对象不是照片，而是视频流。拿到视频流会做检测，做追踪，做品质评价，等拿到适宜的照片才去做比对。

视频1：N的识别系统

视频1：N适配系统和1：N照片的系统相似，只不过拿来做识别的是视频流，雷同也是要做检测、追踪、品质评价。

普通所谓系统形成不必定是人脸识别系统，各种AI系统大略都会如此。首先是计算资源层，在CPU或GPU上运转，在GPU上运转或许还有CUDA，CUDN等的允许。

其次是运算工具层，包括深度学习前向网络运算库、矩阵运算库和图象处置工具库。由于无法能每一个做算法的人都自己去写数据运算，因此都会用一些已有的数据运算库，例如TensorFlow或许MXNET或许Caffe等都会提供，或许自己写一套也是可以。