酷应用

不可错过的7篇深度学习综述

百家作者：AI100 2020-01-13 12:25:04

译者 | 凯隐

出品 | AI科技大本营（ID:rgznai100）

随着深度学习在各个领域的井喷式进展，一些学术领域显得有些混乱。因此survey就显得至关重要。一篇好的survey能提供该领域的全面视角，还能帮助其他领域的学者更好的了解该方向，同时也能对该领域现存的问题进行收集总结等等。

这里收集了7篇近年来机器学习各个领域的survey，希望能帮助大家。

1、联邦学习相关进展以及显存问题 Advances and Open Problems in Federated Learning (Peter Kairouz, H. Brendan McMahan, et al. arxiv, 2019)

联邦学习是一种供多用户进行协作的训练方法，通过这种方法，多个终端用户（例如移动设备用户或整个组织）可以在中央服务器（例如服务器提供商）的协同调度下共同合作训练同一个模型，同时保证训练数据的去中心化（来自各个用户）。

联邦学习体现了专注于数据收集和成本最小化的原则，因此可以减轻传统的中心化机器学习以及数据科学方法中存在的系统性隐私风险和成本。在联邦学习相关研究爆炸性增长的推动下，本文讨论了该领域今年来的相关进展，并提出了大量开放式问题与挑战。

2、基于深度学习的时间序列分类综述 Deep learning for time series classification: a review (Hassan Ismail Fawaz et al. DATA MIN KNOWL DISC, 2018)

时间序列分类（TSC）是数据挖掘中一个既重要又富有挑战性的任务。随着时间序列数据的可用性增加，大量的TSC算法被提出。然而在这些方法中，只有少部分是通过深度神经网络（DNN)来完成该任务的，对比DNN在近年来的大量成功应用，着实让人惊讶。DNN确实是彻底改变了计算机视觉领域，尤其是随着一些新颖的更深层架构，例如残差网络和卷积神经网络的出现。除了图像外，序列结构数据，例如文本和音频等，也能经由DNN处理，从而在文本分类和语音识别任务中达到最优。

本文通过对TSC任务中基于最新DNN结构的方法进行实证研究，从而探究深度学习相关方法在TSC任务中的最优效果。通过同一的DNN分类，我们给出了深度学习在时间序列相关领域的各个应用概览。同时我们也提供了用于构建TSC生态的开源深度学习框架，包含所有参与对比的方法的实现，以及他们在TSC 基准数据集和其他12个时间序列数据集上的验证结果。通过在97个时间序列数据上训练了8730个模型，我们提供了目前为止DNN在TSC任务上最详尽的研究。

3、深度学习最优化理论及算法 Optimization for deep learning: theory and algorithms (Ruoyu Sun, arxiv, 2019)

本文主要探讨在什么条件下能成功训练，以及为什么这样能成功训练神经网络。本文给出了训练神经网络有关的最优化算法和理论的概论。

第一，首先讨论了梯度爆炸/消失的问题，以及更广义的预料之外的情况，接着讨论了一些实用解决方案，包括仔细的初始化和规范化方法。第二，评述了一些通用的优化方法，例如SGD，适应梯度下降，和分布式方法，以及这些方法的现有理论成果。第三，我们评述了用于解决训练过程中全局优化问题的现有方法，包括局部极值，模式连接，彩票假设，以及无限宽度上的结果分析。

4、标准化流相关方法的介绍与综述 Normalizing Flows: An Introduction and Review of Current Methods(Ivan Kobyzev, Simon Prince, Marcus A. Brubaker. arxiv, 2019)

标注化流是一种生成模型，其能产生可处理数据分布，并且能高效地进行进行采样和概率密度评估。本文的目标是对标准化流在分布式学习中的建立和使用，进行连贯和全面的回顾。

我们希望能提供相关模型的上下文理解和解释，回顾目前的最优工作，并提出一些开放式问题和未来的研究方向。

5、标准化流：概率建模与推理 Normalizing Flows for Probabilistic Modeling and Inference (George Papamakarios, Eric Nalisnick, et al. arxiv, 2019)

标准化流提供了一种生成机制来定义具有表达力的概率分布，并且只需要指定一个(通常很简单的)基本分布和一系列双射转换。进来有许多研究标准化流的工作，包括提高模型表达能力，以及扩展应用范围等。因此我们相信该领域的研究已经渐趋成熟，需要一个统一的视角。

在本文中，我们力图通过概率建模以及推理的视角来描述标准化流，从而提供一个全局视角。此外，我们特别强调流设计的基本原则，同时讨论了一些基本话题，例如模型表达能力和计算开销之间的平衡。我们还通过将标准流与更一般的概率转换联系起来，拓展了流的概念框架。最后，我们总结了流在多种任务中的应用，包括生成模型，近似推理，和监督学习。

6、流行的泛化方法以及如何寻找他们 Fantastic Generalization Measures and Where to Find Them (Yiding Jiang, Behnam Neyshabur, Hossein Mobahi, Dilip Krishnan, Samy Bengio. arXiv, 2019)

深度网络的泛化在近年来非常流行，产生了许多理论或经验驱动的复杂方法。然而大部分文章提供的方法都只在一小部分模型上测试过，而是否能在其他模型或环境设置下得到相同结论，仍然是未知的。因此我们提供了首个深度网络泛化能力的大规模研究。

我们调查了40多种复杂方法，包括理论范围和实证研究。我们训练了超过一万个卷积网络，并且系统性地变动他们的常用超参数。为了探究每一种方法和泛化性之间的潜在因果关系，我们仔细分析了控制变量实验，由此揭示了一些方法的无效性，和另一些可能对未来研究有用的方法。

7、神经风格转换综述 Neural Style Transfer: A Review (Yongcheng Jing, Yezhou Yang, Zunlei Feng, Jingwen Ye, Yizhou Yu, Mingli Song. 2017)

Gatys 等人近期的研究证明了CNN具有创造艺术作品的能力，其能分离和重组图像内容和风格。这种使用 CNN 将一张图片的语义内容与不同图像风格结合起来的过程称为神经风格迁移（Neural Style Transfer）。从那以后，NST成为了学术研究和工业应用中流行的研究主题。在不断受到CV研究者关注的同时，一些提升和扩展该算法的方法也被提出。

本文的目标是全面概述NST方向的研究进展。我们首先对该领域的算法进行分类，然后提供了多种评估方法来对不同NST算法进行定性和定量的比较。最后本文讨论了NST的各种应用，以及未来的一些开放式问题。讨论涉及的相关文献和代码，预训练模型和结果等可以在: https://github.com/ycjing/Neural-Style-Transfer-Papers找到。

来源：

https://www.reddit.com/r/MachineLearning/comments/ehptx3/d_7_really_neat_recent_survey_papers_in_deep/

（*本文为AI科技大本营编译文章，转载请微信联系1092722531）

◆

精彩推荐

◆

人工智能数学基础系列公开课通过人工智能热点问题开始，引出其中蕴涵的数学原理，然后构建解决实际问题的数学模型和方法，兼具趣味性与实用性。

1月16日晚8:00, 哈工大屈教授在线直播课---『看得见』的数学，带大家解密计算机视觉背后的数学知识！

点击阅读原文，或扫描海报二维码免费报名

加入公开课福利群，每周还有精选学习资料、技术图书等福利发送、60+公开课免费学习