雨天美图大法：单图去雨的RESCAN新方式

大数据文摘编辑组出品

最近一周的南北方降雨量可能不相上下，不仅雨量大，而且每场雨都在瓢泼。

南方台风中的画风是这样的?

而北京进入“看海”节奏，根本不需要台风?

雨滴会严重降低能见度，除了给日常出行造成各种不便，也导致许多当前的计算机视觉算法都无法工作。特别是在大雨中，来自各个方向的雨水积累和使背景场景朦胧，严重影响比如视频监控，物体检测，以及在自动驾驶跟踪等方向的准确性。

因此，除去雨水并从雨水图像中恢复背景，是一项重要的任务。

其实在过去十年中，图像去除已经有了不少有趣的研究。

现有方法可以分为两类，包括基于视频的方法和单图去除方法。基于视频的方法可以利用视频中图片的关系框架，因此相对容易；相对而言，单图像去除更具挑战性。

在今年的雨季，来自北京大学和上海交通大学的几位研究者，针对“单图去雨”任务进行了研究，他们基于深度卷积和循环神经网络，建立了一种新颖的神经网络架构，并获得了不错的结果。

这一成果在ArXiv上发表，并已被ECCV（欧洲计算机视觉国际会议，计算机视觉三大会议之一）采纳。

除了论文成果，里边对之前各种关于单图去雨的历史研究论述总结颇为详细，在今天读来是个很应景的话题，感兴趣的同学可以自行下载?

大数据文摘微信公众号后台回复“下雨”获得本论文哟~~~

我们对论文的精华编译如下：

对于单图像去除，传统方法，例如判别稀疏编码、低秩表示以及高斯混合模型，都可以应用于这项任务，并且有不错的表现。最近，基于深度学习的消除方法，由于其强大的特征表示能力而受到广泛关注。但是所有这些相关方法仍有很多空间需要改进。

现有方法主要有两个局限。

一方面，根据之前的研究，空间背景信息对于雨点的消除非常有用。然而，许多当前的方法基于图像补丁去除雨条纹，忽略了大区域的背景信息。

另一方面，由于大雨中的雨滴会呈现各种各样的方向和形状，它们会以不同的方式让背景模糊不清。

分解整体，通过不同的阶段去除雨水条纹，是一种常见的方法，这种方法可以将问题分解为多个阶段，以便我们可以迭代地去除雨条纹。然而，现有方法只对每个阶段独立除雨，而不考虑它们的相关性。

我们提出了一种新颖的深度网络架构，基于深度卷积和递归神经网络对单张图像的雨水进行去除。

在大雨中，雨滴有各种各样的方向和形状，由于雨条纹层各自重叠，在一个阶段去除雨水并不容易。所以我们进一步分解雨水为多个阶段。利用循环神经网络以保留前几个阶段的有用信息，有利于后期去雨。我们在合成和真实数据集上进行了大量实验，所有评估指标的表现都优于先前的方法。

在解决上述两个局限性后，我们提出了一种新颖的深层网络，从而用于单个图像的除雨。例如上图，体现了逐步消除雨条纹的阶段。

在每个阶段，我们都使用有多个卷积层的集成网络对背景图像的雨水条纹进行消除。由于雨条纹有各种方向和形状，我们让每个网络层对应一种雨条纹，并根据其在每个卷积层中的相互依赖性为其赋值。

受益于指数级增加的卷积层，这一神经网络接受域大且深度低，可以获取更多的背景图信息。我们接下来利用三种不同的循环神经网络（RNN），进一步最大限度的利用之前几个阶段搜集到的背景信息，来指导后期的雨滴去除。

我们将这一方法命名为REcurrent SE Context Aggregation Net（RESCAN）。

本文的主要贡献如下：

1、对于单图除雨提出了一种新颖的集成深度网络。

2、据我们所知，这是首篇考虑不同阶段除雨相关性的论文。通过RNN体系结构的三种不同循环单元，可以结合前几个阶段的来指导后期阶段。这一神经网络适用于复杂的下雨环境。

3、与最先端的方法相比，我们的深度网络在不同数据集上展现了更卓越的性能。

【今日机器学习概念】

Have a Great Definition