酷应用

脑洞大开！Adobe等新研究把「自拍」变「他拍」，魔幻修图效果感人

百家作者：机器之心 2020-08-04 15:43:21

选自arXiv

作者：Liqian Ma、Zhe Lin等

机器之心编译

编辑：蛋酱、张倩、杜伟

自拍也能变为他拍，魔幻修图界又出新招式，但效果实在感人。

智能手机的出现，让摄影变成了一项大众艺术，也让越来越多的人爱上「自拍」。但自拍照常常存在构图问题，比如不自然的肩膀姿势、占据一小半镜头的手臂，或者极其诡异的视角。

要想解决这个问题，可以选择随身携带三脚架或自拍杆，也可以选择随身携带一个朋友作为摄影师（该方法对单身狗极其不友好）。

或者，你还可以选择相信后期修图的艺术。近日，来自 Adobe 研究院、UC 伯克利、鲁汶大学的研究者开发了一种「自拍」变「他拍」的新技术，通过识别目标的姿势并生成身体的纹理，在给定的自拍背景中完善和合成人物。

在这篇论文中，研究者提出了一种叫做「Unselfie（非自拍）」的图片转换方法，能够将自拍照中的人物，转变为手臂、肩膀、躯干都比较放松舒展的“他拍图像”。它会把所有举起的手臂调整为向下，然后调整服装细节，最后填充好所有暴露出来的背景区域。

论文链接：https://arxiv.org/pdf/2007.15068.pdf

除了用来修饰社交媒体上的自拍照，这项技术还有很多应用方式，如果你急需一张证件照，而无人能帮你拍摄，那这项技术就能派上用场。

当然，这个方法目前还不太成熟，除了效果一般之外，偶尔还有翻车的时候，比如生成这样的图像：

「自拍」转「他拍」的三大挑战

总的来说，「自拍」转「他拍」存在三大挑战：

没有成对的训练数据（自拍 - 他拍图像对）；
一个自拍姿势可能对应多个他拍姿势；
改变姿势会在背景中留下空洞，因此在转换过程中要填补这些空洞。

研究者尝试用之前的几种方法来解决挑战，但实验结果表明，这些方法会产生明显的伪影，其纹理细节也会由于外观信息的高度压缩而丢失。

因此，他们提出借助合成「自拍 - 他拍」图像对和自监督学习的方法来解决上述问题。

具体来说，研究者提出了一种利用他拍图像合成对应自拍图像的方法，他们利用非参数化最近姿态搜索模块来检索最接近给定他拍图像的自拍图像，然后合成对应的自拍照。他们还在推理过程中应用了一个最近姿态搜索模块。给定一个自拍姿态输入，模型会检索出与之匹配度最高的他拍姿态，然后利用这个姿态来合成最后的他拍效果。合成的输出的结果不止一个，用户可以从中选择，这就解决了上面提到的挑战 2。

利用上述步骤合成的成对数据可以直接用来训练一个有监督的人像生成网络，但实验结果显示，明显的伪影问题依然没有解决。之前的各种方法对于合成的成对训练数据与真实自拍测试数据之间的像素级 domain gap 非常敏感（如下图 3 所示）。

受到 CVPR 2019 论文《Coordinate-based texture inpainting for pose-guided image generation》的启发，研究者使用基于坐标的修补方法在 UV 空间中修补身体纹理，空间中大部分是不变的原始身体姿态，因此在面临合成数据的瑕疵时更具鲁棒性。此外，基于坐标的修补方法可以重新利用可见像素，从而获得更清晰的结果。

为了应对挑战 3，研究者使用了一个基于合成网络的门控卷积层来完善身体外观和填补背景空白，并保持人体与背景之间的平滑过渡。

总的来说，为了解决「unselfie」任务，研究者提出了下图所示的三段式 pipeline：

首先在数据库中搜索最相近的他拍姿势，然后执行基于坐标的身体纹理修补，最后使用合成模块来细化结果，并在背景上合成它们。