顷刻之间，就能从视频里抹杀一个人，仿佛ta从没存在过

凭借精准的技艺，AI登上了计算机视觉顶会ECCV 2020。

不论是从视频里抹杀一个人物，还是修补一个残缺视频，AI依靠的是都是光流大法。

光流（Optical Flow），描述的是观察者眼里物体的运动情况，观察者可以是肉眼，也可以是摄像头。

视频里每个像素点，在帧与帧之间发生的位移都会被记录。光流法便是依靠这些，来判断物体到底发生了怎样的运动（有时也可以用来抠掉物体）：

光流界大前辈FlowNet 2.0的作品丨参考资料2

当物体从背景里消失之后，修补空白部分才是重头戏。随性脑补自然不可取，还要借助光流的力量：参照背景中已有的光流，把空白处的光流平滑地推测出来，再在完整光流的指导下修复色彩，这才科学。

其实，以上只是标配流程，而这只新的AI和从前那些光流修复术相比，还是有些不同。

首先，从前的算法常常困惑物体的边界到底在哪，为此科学家们给AI增加了额外的步骤：从光流当中提取出轮廓线，如果提取出的边界不完整，就把被遮挡部分平滑地修复出来（下图红线）。

图丨参考资料1

然后，根据修补完整的边界和破损的光流，来估计出完整的光流，再用完整的光流指导填色，AI便会少一丝困惑。

第二，新的算法不只是借助相邻几帧的信息，来修复某一帧画面的色彩；它还会从相距更远的画面里，找到相关的像素：

图丨参考资料1

这样一来，AI就有了更多依据，来检查自己修复的画面到底科不科学。

第三，假如在修复过程当中，AI只是把其他帧当中的色彩，直接传递给空白部分，可能会让画面产生裂缝（如下图a）。因为，就算在同一个视频里，像光线变化这样的因素也可能导致不同帧之间，物体的色彩出现不同：

图丨参考资料1

于是，科学家们没有直接让AI取用色彩值，转而用色彩梯度来取平均值。这样一来，画面当中的接缝便消失了（如上图c）。

总结一下，这项新研究的重点不在于使用了光流（生成光流用的是前人的算法），而在于后面这几点改进，让光流大法的力量能在视频PS当中更充分地释放。

图丨参考资料1

有了这个算法，你可以把街面上的车都融化掉，这样就不会堵车了（误）：

图丨参考资料1

如果你嫌镜头拍下的画面不够宏大，还可以向外不断扩张，直到拥有整个世界（误）：

图丨参考资料1

抛开这些中二的念头，回归淳朴，去水印大概是这只AI最基本的一项工作：

图丨参考资料1

假如你还有更大胆的想法，只等团队哪天开源了代码，就可以去实践一下啦。

身为一作的少年高谌表示，正在努力清理代码中。

图丨高谌微博

[1]?Gao, C., Saraf, A., Huang, J. B., & Kopf, J. (2020). Flow-edge Guided Video Completion.?arXiv preprint arXiv:2009.01835.

[2] Sun, D., Yang, X., Liu, M. Y., & Kautz, J. (2018). Pwc-net: Cnns for optical flow using pyramid, warping, and cost volume. In?Proceedings of the IEEE conference on computer vision and pattern recognition?(pp. 8934-8943).

作者：栗子

编辑：Odette

本文来自果壳，未经授权不得转载.

如有需要请联系sns@guokr.com