斯坦福在校生攻破约会软件！用GAN模型女扮男装骗过人脸识别系统

真的有人能模拟你的脸，还绕开了人脸识别系统！

最近斯坦福大学的钻研人员在arxiv上颁布了一篇论文，虽说是斯坦福CS236G的课程作业，不过论文中提出了一个十分幽默的思绪，用反抗生成网络GAN生成一个面部图像来模拟目的人脸，看看人脸识别系统能否正确验证。

由于人脸的关键特色消息都保管了上去，所以论文的结果显示，生成的人脸图像依然可以经过人脸验证，关于那些仅靠平面图像识别的系统来说，简直破大防。

钻研人员在两个约会app的人脸验证系统中黑盒测试了一下，轻松攻克面部验证环节，甚至在把女性人脸转换为男子之后，依然可以经过人脸验证。

据作者称，这项上班是初次尝试应用生成的图像绕过面部验证，原始的人脸图像领有特定的识别特色，但另一个、经过大幅扭转的身份也能经过验证。

这是谁的脸？

在线验证系统被攻破后，各种欺诈行为都会带来十分负面的结果，所以人们对检测和打击鱼目混珠者尤其感兴味。

与普通的身份验证不同的是，人脸验证触及到依据人脸图像验证申明的身份，人脸和身份都是一对一的婚配，但一旦有另一张齐全不同的人脸可以和你关上同一把锁，那你该如何证明「我是我」？

目前很多手机app都宣称人脸验证技术很安保，可以包全用户的身份，比如Bumble和Tinder等约会软件的识别流程就是用户经常使用运行内置的相机拍摄一张照片，而后与用户团体资料中的照片启动对比。

这类经常使用照片启动人脸检测存在一个很大的疑问：用一张能绕过人脸识别系统的假照片就可以经过验证。

想要一张人脸特色和原始人脸相反，但看起来又不同的话，反抗生成网络模型就再适合不过了。

但自GAN降生以来，如何控制生成图像与预期分歧，或许经过一个特色向量来疏导GAN模型的生成环节，不时是关于GAN潜空间的关键应战。

虽然诸如梯度加权类激活映射（Grad-CAM）等技术和工具可以协助建设类之间的潜在方向，并成功转换，但假设进一步观察生成图像的话，就可以发现这类模型关于转换的精细水平的控制十分有限。

实验方法

作者经常使用了两个数据集作为实验基础：

一个是人类用户数据集，由310张论文作者的脸部图像组成，期间跨度为四年，光线、年龄和视角各不相反，经过Caffe提取了剪裁后的脸部；

另一个是FairFace数据集中类别平衡后的108501张图像，雷同启动了提取和剪裁。

为了在本地验证明验成果，钻研人员在本地建设了一个面部验证模型，关键就是在FaceNet和DeepFace的基础上经常使用了一个ConvNet Inception预训练模型，图像向量的训练经常使用三元组损失，其中A是anchor图像，P是正例，N是反例，α为距离。

这个验证模型经常使用了来自FairFace的训练子集的面部图像，为了经过面部验证，输入图像与数据库中的目的用户之间计算Frobenius norm距离，任何低于0.7阈值的图像都同等于相反的身份，否则验证就被以为是失败的。

图像生成模型，作者间接经常使用StyleGAN模型，在团体数据集上微调了一下，随机生成的图像可以间接经过本地的人脸验证系统，并且图片看起来和训练数据集中的图片确实不一样。

微调时将前四层的权重启动解冻，以防止数据的适度拟合生成与训练数据集过于相似的人脸图像。

虽然用基本的StyleGAN模型可以取得不同于原始人脸的图像，但基线模型的结果从品质上看与训练数据集的图像比拟相似（多样性较差），而且分辨率较低（保真度低）。

作者第二次尝试经常使用StarGAN v2模型，可以针对目的脸部训练种子图像。

为了防止过拟合，StarGAN v2模型经常使用FairFace验证集启动了大概10个小时的预训练。为了生成图像，作者还尝试经常使用训练数据作为种子图像（reference），以人类用户数据集的解决过的图像作为源图像（source）。

作者还尝试经常使用团体用户数据集的解决过的图像作为种子图和源图像，但结果优化不大。

到了验证环节，作者先是随机挑了1000团体脸图像，找出哪些在本地测实验证经过的人脸，而后再测试经常使用GAN生成的图像能否再婚配成功。

下图左为作者照片，两边为验证失败的照片，右为验证成功的照片。

实验的目的是在保管目的身份的选择性特色的同时，在感知的视觉身份之间发明尽或许大的差距，经常使用Mahalanobis距离作为评价目的，也是图像解决中罕用于形式和模板搜查的一个目的。

关于基线生成模型，虽然经过了部分面部验证，但取得的低分辨率结果显示出多样性比拟低，而StarGAN v2则能够创立更多样化的验证经过图像。

生成的图像在约会软件Bumble和Tinder的面部验证系统启动了测试，以作者的身份图像为基线，并成功经过了验证。

作者脸部的「男子」版本也经过了Bumble的验证环节，虽然在生成的图像中必定调整光线才干被接受，而Tinder则比拟痴呆，没有被骗。

这些都是在GAN潜空间操作的背景下启动的身份投射的开创性实验，这在图像分解和深度伪造钻研中依然是一个特殊的应战。这项上班也开拓了在不同的身份中继续嵌入高度详细的特色的概念，以及发明「代替」身份来「浏览」他人的身份。

魔高一尺，道高一丈

如今，在人们的日常生存中，「刷脸」十分普遍，比如商铺的客流统计、无人售货柜的刷脸支付、单位门禁、家庭门锁、公交/路线的安保监控、公司人脸识别考勤、快递包裹取件、银行开卡、网上支付、入住酒店等畛域都在宽泛运用「人脸识别」技术，且呈扩展趋向。

而人脸识别技术目前可以分为两大类：基于2D人脸图像和基于3D人脸图像。2D人脸识别经过2D摄像头拍摄平面成像，所以即使算法和软件再先进，在有限的消息下，安保级别终究不够高，经过照片很容易被破解。

早在2019年，就有小在校熟手举照片「破解」了丰巢的人脸识别系统。

安保级别较高的3D人脸识别系统经过3D摄像头平面成像，普通会有4个探头，其中两个大的是摄像头，另外两个一个是红内线探头，用于补光，一个是可见光探头，两个摄像头相互配合构成3D图像，从而还原完整的三维环球。目前3D人脸识别配置技术可以准确分辨出照片、视频、面具和双胞胎。

目前普遍运行的人脸识别身份认证系统中还有一项至关关键的技术——活体检测，即系统摄像头在正确识他人脸能否自己的同时，测验能否有人应用照片等手腕混充非法用户。这也是为什么在银行「刷脸」时刻，经常要让用户成功「左看右看」、「眨眨眼」等举措。

魔高一尺，道高一丈，只要不时的反抗，技术才会继续向上开展。