Deepfake让罗伯特·德尼罗用流利的德语表演台词！差点忘了他是美国人

丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

当电影用另一种语言配音时，演员的面部动作、口型在新的语言下会非常违和。

不信你看，当章子怡的《卧虎藏龙》被配音成英语后：

观看起来是不是非常奇怪？

现在，最新的技术可以帮大家免除这种“尴尬”：

使用Deepfake来操纵演员的嘴唇和面部表情，使之匹配新语言配音。效果非常逼真！从口型看起来就像演员刚刚学会了一门外语，然后重新拍了一版一样。

影帝罗伯特·德尼罗在《双面劫匪》里有模有样地“说”起了德语：

德语、日语、西班牙语的《阿甘正传》：

如果你没看过这两部电影，会怀疑它们其实都不是原声吗？

Deepfake的“用武之地”又多一个

事情是这样的，电影《双面劫匪》的导演在看了它的外国版后非常震惊，表示与人物口型对不上的配音毁了电影里不少精心制作的场景。

要知道，在对电影进行其他语言版本的配音时，为了使对话更接近演员的唇部动作，有时甚至会大幅改变人物对话。

该导演说：“当时我非常伤心。你在一句台词词或一个表演上做一个小的改变，就可能对故事节奏中的一个角色产生大的改变，进而对整个电影产生影响。”

最后，他实在受不了在自己的电影里看“变味儿”的外国配音，表示还是别配了，听原声看字幕得了，开始“盯”上了最新的Deepfake技术。

他开始研究并参加了一个AI配音项目，该项目由德国马克斯-普朗克研究所的一位教授领导。（该研究所出过18个诺贝尔科学奖获得者）

他们的这项AI配音工作比传统的Deepfake复杂得多。需要捕捉一个场景中演员的面部表情和动作，以及用另一种语言说同样台词的人。然后将这些信息结合起来创建一个3D模型，将演员的面部和头部与配音者的嘴唇动作结合起来。

由这位导演和他参与创立的Flawless公司最终从该项目汲取了灵感，和制片厂讨论决定将该技术应用到多种语言版本的电影中。

然后就有了前面我们看到的那个demo效果，人物对话使用德语等语言配音，演员的口型和面部动作却与该语言紧密贴合，让观众根本无法意识到原版其实是用英语拍的。

演员看完表示很不安

这项技术可以帮电影公司制作多语言版本时，避免昂贵的重拍。但是有演员看到自己被AI操纵、“说”出一口流利的外语后，同时表现出了惊喜和担忧这两种反应。

不难理解，Deepfake一直存在争议。

这项触手可及的换脸技术曾被用来合成名人色情片，以及基于报复或其他目的的素人色情视频。在政治领域也有被用来合成名人视频发表不恰当言论，影响选举等政治事件。对社会和伦理造成来很恶劣的影响。

现在在电影行业使用Deepfake的面部操纵，也可能引起争议。

一家也在搞AI配音的公司负责人表示，没法确定一些演员看到自己的表演发生这样的变化会有什么反应，尤其是他们不清楚这是电脑做的情况下。一些名气更大的演员可能根本就不赞同这样做吧。

美国银幕演员公会（SAG）总顾问表示，这项技术可以被合法和合乎道德的使用。任何此类技术的使用都必须获得相关演员的同意，并给予他们适当的补偿后才能进行。

不知道大家期待这项技术被合法利用在电影行业吗？

参考链接：

[1]https://www.wired.com/story/ai-makes-de-niro-perform-lines-flawless-german/