如何在淘宝人生2一键定制你的专属3D数字人

捏脸玩法是装扮类运行的一个外围配置。本文关键引见了捏脸的AI关系玩法之一即基于用户上行的照片在淘宝人生2（又名：第二人生）一键生成专属3D数字人，论述了淘天FC淘宝人生技术团队在图片捏脸上探求的心路历程，外围原理以及技术框架。本文的视角也不局限于图片捏脸自身，也引见了其余AI类关系玩法在装扮类运行落地的状况，宿愿能对大家有所启示和协助。

一、背景

淘宝人生是国际用户规模较大的装扮类运行之一，在淘宝中表演了用户的第二人生的关键作用。淘宝用户在淘宝既能购物，又能自在捏脸，打造自己的虚构笼统和装扮自己的小屋。

淘宝人生系列运行也内置了很多互动类玩法，经过提供多元的玩法体验让用户在逛淘宝时感觉好逛又好玩。

淘宝人生1和淘宝人生2格调对比

淘宝人生先后推出了两个版本，淘宝人生1和淘宝人生2（又名：第二人生），淘宝人生2作为淘宝人生1的间断，相比于之前的卡通格调更倾向于超写实格调，同时淘宝人生2也是市面上少有的将超写实格调落地到移动端的装扮类运行。

淘宝人生2的AI玩法

虚构服饰资发生成

左：AI 算命师 中：照片格调化 右：照片捏脸

淘宝人生2提供了很多AI关系的玩法。比如购置淘宝实在的衣服为你生成一套该样式的虚构服饰资产并穿搭到自己捏好的虚构笼统中，AI星象占卜师涂山赫言经过提供财运占卜等服务迎合当下年轻人的精气需求，同时照片格调化可以将捏好的笼统二次创作，发生更多好玩的格调。

用户还可以经过上行图片一键生成带有自己特色的虚构数字笼统，大幅优化用户的捏脸效率。

本文将具体引见照片捏脸的配置。

二、照片捏脸背景引见

捏脸玩法是淘宝人生2中用户刚需且高频经常使用的一个外围配置。用户在玩捏脸时普通会倾向于应用提供的捏脸滑杆DIY一个相似自己或许自己喜欢的idol的3D虚构笼统。

依据提供的捏脸滑杆手动捏脸且要与自己心目中的笼统到达必定的相似度是一个十分耗时的环节。

整个捏脸的调理项有80多个，用户须要每次进入各个五官调理项的界面去调理每个值，同时每个五官调理项对应还有各个细分区域的子调理项。

全体捏一张比拟像的人脸不算上细节上的微调，大略须要半小时左右。

三、照片捏脸处置的痛点

为了谋求超写实格调的3D数字人笼统，咱们不可对八十多个五官捏脸调理项启动精简去优化用户的捏脸效率，不然会影响捏脸的表白才干。然而整个复杂的专业捏脸系统很容易消耗用户的耐烦，用户往往在捏个10分钟由于不可失掉满意的笼统而被劝退，给用户带来不好的产品体验。

为了优化用户的捏脸体验，缩小用户的捏脸期间，有没有什么方法可以让用户更快的生故意目中的3D数字人笼统呢？

回到文章的题目，如何在淘宝人生2中一键定制3D数字人，处置用户侧手动捏脸耗时较长的痛点？

经过重复讨论，咱们的处置方案是用户上行自己的照片或许自己idol的照片经过AI算法一键生成用户的专属3D数字人。

经过上行用户照片智能捏脸可以带来的好处有：

四、业界3D照片捏脸运行

2D的照片格调化运行较多， 基于输入照片重建3D卡通笼统由于技术难度较高关系运行较少。

普通业界基于照片智能重建3D卡通笼统的运行有三个方向：

五、照片捏脸技术目的

淘宝人生2的照片捏脸更倾向于第二个方向，为淘宝用户提供一个既像又美的数字分身，技术同窗关键的担任的是“像”，美术同窗担任让笼统更“美”。那么如何设置一个牢靠的技术目的去评价最终的成果有没有到达“像”的预期呢？经过团队重复的讨论与调研，淘宝人生2的照片捏脸驳回了业界3D人脸重建畛域罕用的评价模式之一NME目的并结合客观评测打分的模式评价3D数字人笼统与输入图片的相似度。

NME目的

公式参考：

NME目的全称是normal mean error，该目的用来评价3D重建的人脸与实在人脸的重建误差，业界评价基于图片重建3D人脸的NME罕用的做法是将照片建模的3D人脸投影到2D平面上并计算该人脸轮廓关键点和用户照片的人脸关键点的距离，来权衡捏脸的面部五官和输入照片的相似度。这里的d普通取人脸框的对角线距离。

NME越大，代表重建误差越高。

实在人脸重建算法对应目的

基于卡通笼统的基础模型的3D数字人有必定的格调化特色，所以基于图片捏脸的卡通笼统重建都会比实在人脸重建的重建误差要高一些。

淘宝人生2捏脸驳回的评价模式

NME目的 + 客观评测打分评价3D格调化捏脸

淘宝人生2的照片捏脸驳回量化目的加客观评判的模式相结合，量化目的笼罩的只是人脸关键点局部的误差，更并重于“形”，在全体“神”的相似度上还须要结合不同的人的客观打分来评价。

六、照片捏脸难点

超写实人脸重建

用户上行的是2D照片，如何把2D的人脸特色迁徙到3D的人脸模型上

格调人脸重建

岂但要映射到3D数字人的基础模型（简称基底）上还要有必定的格调化特色，比如说有些3D笼统的基础模型是偏卡通的格调，或许是偏武侠的格调，如何坚持整个基底的格调化同时又很像用户是整个名目的外围难点

团圆属性婚配对相似度的影响

除了脸型轮廓鼻型眼型还有哪些特色会影响到像的评判？

--- 发型，眼镜，胡型等其他人脸属性都会对像有影响

做照片捏脸重建要处置的关键难点有3个，第一个是如何将用户上行的2D照片的特色映射到3D人脸模型上。第二个是岂但要将2D人脸的特色映射到3D人脸模型上，还要基于该格调的卡通笼统有必定的格调化特色同时不失落用户的2D特色。第三个是除了脸型以外如何经过其余面部非脸型属性去优化用户的重建数字人的相似度。

七、淘宝人生2照片捏脸技术框架

为了处置上述照片捏脸的难点，整个照片捏脸技术框架分为四个模块，预处置模块，面部人脸属性&非面部人脸属性模块以及数字人笼统生成模块。

预处置模块

针对用户输入的图片启动合格性校验以及剔除敏感人物，同时会检测用户输入的人脸五官关键点以及发型的mask，为接上去的面部人脸属性模块和非面部属性模块提供有效消息。

面部人脸属性模块

为了处置难点一基于单张照片启动3D实在人脸重建的疑问，淘宝人生2经常使用的是基于3DMM(3D Morphable Model)重建人脸的方案。

基于3DMM技术将2D照片转换到3D人脸的外围现实是任何一张3D人脸都可以由一张3D平均人脸与一系列人脸正交基相加组合而成。所以可以将基于单张照片重建3D人脸的疑问转化为求解目的3D人脸投影到2D人脸上并经过迭代求解始终贴合输入2D图片对应的人脸正交基系数的疑问。

3DMM人脸状态基底和纹理基底

3DMM求解环节

基于3DMM重建后的3D实在人脸的特色会经过图形学的变形操作迁徙到淘宝人生2的3D卡通笼统的基础模型上，这样就奇妙的处置了难点二的疑问，既保管了用户特色又有了必定的格调特色。然而由于图形学对人脸网格形变全体的耗时较慢，咱们是应用一个MLP（多层感知机）训练了一个实在人脸系数到淘宝人生2捏脸系数的映射模型，优化了全体照片捏脸的性能，争取给用户带来更好的经常使用体验。

非面部属性模块

为了增强一些团圆属性（普通眼镜类型，发型，眉毛种类以及胡型在捏脸系统都由一些团圆的素材ID来示意，所以普通称为团圆属性）的表白来优化全体的相似度，咱们对用户的眼镜，发型，眉型以及胡型都启动了细粒度的分类，优化用户的非面部属性特色与捏脸系统素材的婚配度，最终使得全体重建的笼统愈加平面丰满。

数字人笼统生成模块

经过上述模块失掉的淘宝人生2捏脸系数，以及对应的素材ID会经过引擎渲染失掉淘宝人生2的3D数字人笼统。

这四个模块相互配合，最终成功了用户上行一张图片，一键定制用户的专属3D数字人的配置。此外每个重建的3D数字人都带有用户的特色，到达了生成笼统的千人千面。

八、照片捏脸成果

九、总结以及后续布局

算法仅支持女版的卡通笼统，基于淘宝人生2的男版卡通笼统的照片捏脸正在同步研发，等候后续尽快落地。同时在眼型嘴型等五官细节拟合上仍须要优化，后续随着捏脸自在度的优化和算法的迭代会进一步优化这一块的相似度。

从友商的测试结果来看，受限于base格调的损失，业界的大少数照片捏脸运行也不可做到对用户特色的百分百的恢复，然而输入的捏脸笼统都比拟好看，置信这也是经过了算法同窗和美术产品同窗的少量的联调失掉了一个合乎群众审美的捏脸笼统，只要这样才干成功出圈，在用户侧打造很好的口碑。

淘宝人生2照片捏脸的迭代会间断既像又美的技术路途继续深耕，给用户带来更好的产品体验。同时方案引入更多模态的捏脸支持，使得用户可以经过文字或许语音自在捏脸。

十、援用

[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.

[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression>[3] Paysan P, Knothe R, Amberg B, et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]. advanced video and signal based surveillance, 2009: 296-301.

十一、附：照片捏脸秘籍

十二、团队引见

咱们是淘天FC淘宝人生技术团队，咱们肩负着淘宝人生各类数字人玩法和为淘宝用户提供数字分身的使命，是淘天团体3D数字人业务的主阵地。淘天FC淘宝人生技术团队本着让用户在逛淘宝“好玩”的初心，构建了以3D捏脸为外围、互动类AI玩法(AI写真，淘宝购后链路虚构服饰生成，AI占卜师等)相结合的玩法体系，为业务打造出笼罩千万级的淘宝人生用户的内容社区，经过3D和AI技术相结合，为淘宝用户提供既像又美的数字分身，降落3D内容的消费老本，优化淘宝人生的用户黏性和成就更高的商业价值。

原文链接：​ ​​ ​