酷应用

Adobe又逆天！不用机器学习，用13.5M软件把《长安十二时辰》变成水墨动画

百家作者：大数据文摘 2019-07-14 07:07:06

大数据文摘出品

作者：曹培信

用过修图软件的同学们应该都知道，利用强大的GAN，已经可以实现一键转换照片风格的功能，比如将你拍的风景照转换成一副印象派的画作。

现在，轻松转换视频风格的软件也诞生了！

Secret Weapons发布了一款简单而又强大的软件EbSynth，由布拉格捷克技术大学和Adobe共同研发。这款只有13.5M的免费工具，轻松几步就可将视频素材转换为各种你想要的风格“动画”。

该软件将一个或多个手动生成的key帧的样式应用的视频的每一帧上，从而完成整个视频的风格迁移。

简单来说，就是从一段视频中选出几幅图，换成你想要的风格，录入程序，整个视频就能全部变成你想要的画风了。

像这样?

想想看，各种特效制作、或者动画画师如果有了这一技术的加持，可以只挑选其中某个镜头进行特效处理，然后用这个软件瞬间获得大片视频，五毛也能做出酷炫特效！

Secret Weapons目前免费开放下载，文摘菌也亲自试了下这款神奇的软件，挑选了目前超火的视频《长安十二时辰》视频片段，看看能否把它变成更加中国风的水墨画。

先来看看最后的效果，非常不错?

更有趣的是，Adobe这次的研究没有使用机器学习，到底如何操作？一起看看。

文摘菌实测，看水墨风《长安十二时辰》

软件下载链接：

https://ebsynth.com/

有Windows版本和IOS版本，会根据你的机型自行下载适配的软件。文摘菌用的是Windows系统。下载之后是个压缩包，解压即可。

这个软件的使用需要一段视频，文摘菌决定使用现在大火的电视剧《长安十二时辰》里的一个片段。

视频下载后就要将素材转化为一帧一帧的图，这里文摘菌用的是Premiere来实现这一步，推荐转换成PNG格式。

生成帧图的教程可以查看链接：https://blog.csdn.net/qq_28372745/article/details/80743531

这样就得到了一系列的PNG图片，存放到一个文件夹中。

然后我们要将其中的某几张图改为参照的Key图，这里又要向大家安利一个免费网站——Fotor。

我们运行ebsynth软件，界面如下：

在Keyframes中选择刚才制作的key图（至少一张），Video中选择刚才制作的一系列PNG图，下面的Stop填写开始图片序号和结束图片序号，Keyframe填写Key图的序号。

点击Run all，就开始渲染啦，渲染结束后就会自动输出一个文件夹Out，里面就是渲染好的所有PNG图，再将这些图用Premiere做成视频就OK了！

生成视频的教程可以查看链接：

https://zhidao.baidu.com/question/1574197317740227060.html

下面是文摘菌得到的结果，效果还不错！

为了让大家更清楚地了解Key图的作用，文摘菌在这里使用了两张Key图，可以看到视频中间风格的变化。

EbSynth是基于布拉格捷克技术大学和Adobe共同的研究，该项目由Secret Weapons创始人Ondřej Jamriška领导。

EbSynth网站显示了该团队最新论文“Stylizing Video by Example”的演示视频。

论文链接：

https://dcgi.fel.cvut.cz/publications/2019/jamriska-tog-ebsynth

视频链接：

https://www.youtube.com/watch?v=0RLtHuu5jV4

与该领域的其他研究不同，它不是基于机器学习，而是基于最近在风格迁移和纹理合成方面的研究，使用的是非参数纹理合成算法。

早在2013年，已经有人提出了关键帧程式化范式，艺术家在其中绘制一个或多个关键帧一个Key图，然后算法将绘制的样式同步到序列的其余部分。

EbSynth与上述方法主要区别在于，它不需要知晓目标场景的底层3D结构。相反,EbSynth通过获得输入视频的原始颜色信息和近似位置信息进行转换，再加上patch-based合成算法,EbSynth在保持艺术意图的同时，视觉效果也相当卓越了。

该算法主要由五个引导模块组成（如上图所示）：

尽管已经达到了这样的效果，作者在论文中还是说明了这种算法有一定的局限性，比如人物身上光照的变化可能会对Color guide引起误导，从而出现文摘菌在实测视频中出现的由于更换Key帧引起的结构变化，作者表示这是他们下一步努力的方向。