高保真换脸让沈腾重回颜值巅峰！重建人脸3D信息，浙大、厦大、腾讯优图联合出品

明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI

能让沈腾减肥成功、重回颜值巅峰：

让安妮·海瑟薇变身帅气小哥：

还能让Yoshua Bengio奔驰在绿茵草地上：

你没猜错，这又是换脸的“魔法”。

而且这效果也太自然了吧！

即便是不同性别、不同脸型，换脸后也毫不违和。

除了脸型以外，面部的线条感也能被自然复现。

把赫敏换脸成卷福，看起来都没什么违和感。

甚至脸上有遮挡也没关系，马斯克摇身一变成为异域女郎：

不止是图片，在视频里的效果也非常自然：

用3D信息重塑面部结构

以上这些效果，都是用HifiFace这种新型换脸方法实现的。

而它的秘诀就在于利用三维几何结构信息。

以往的换脸方法主要是重建面部的纹理，而不是结构；

这会导致在一些情况下，下颌线或颧骨的部分会出现不自然的效果，仿佛戴了个面具一样。

想要解决这些问题，面部的3D信息就变得非常重要。

因此，HifiFace的框架中主要增加了一个3D轮廓识别提取器（3D Shape-Aware Identity Extractor）和一个语义面部融合模块（Semantic Facial Fusion Module，SFF）。

它主要用3D重建模型对源脸和目标脸的系数进行回归，将其重组成几何信息后，与人脸识别网络中的特征向量信息连接。

然后把得到的几何数据输入到编码器-解码器模型中，与目标面部的表情、特征融合。

与此同时，SFF模块还能把生成人脸的质量进一步提升。

它主要用编码器来保留源脸的空间、纹理等低级特征，以保留更多信息。

这样一来，HifiFace就不用以源脸的轮廓作为强制边界，而是在面部边缘自适应融合。

从而能很好解决面部被遮挡或光线上的问题，最后达到高保真的效果。

△模块细节

光说不练假把式。

在与一些现有换脸方法的对比中，我们能看到HifiFace的效果有了明显的提升。

从对比中可以看出：

FSGAN在脸型上实现的效果不错，但是在面部光线的处理上不尽人意。

SimSwap则并没有很好将源图中的面部特征转换出来。

FaceShifter相较于上两个模型效果略好，但是在表情和肤色的还原上，还是不如HifiFace。

在数据上，HifiFace换脸后保留的身份信息在几个方法中最多，脸型上的差距也是最小的。

而在HifiFace和FaceShifter生成样本的脸型差异对比中，当源脸和目标脸在轮廓上差异很大时，HifiFace明显优于Facehifter。

目前HifiFace专注的方向为面部线条上优化，还未开发全头替换（包含头发）的功能。

它由腾讯优图实验室、浙江大学、厦门大学联合开发，现已被IJCAI 2021成功收录。

论文地址：
https://arxiv.org/abs/2106.09965

参考链接：
https://www.unite.ai/new-deepfake-method-hififace/

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

免费报名 | 快速入门NLP、让你的文字会说话！

7.28晚8点，英伟达专家将在线讲解“语音合成技术”的工作流程与原理、深度学习模型在语音合成中的应用，并代码实战演示如何快速实现自然语言生成。扫码-关注，根据提示即可报名~

点这里

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/