资源 | 2017深度学习优秀论文盘点(建议收藏)
本文是伦敦帝国学院博士生Pierre Richemond所写的年度深度学习论文盘点,他属于该大学的BICV计算机视觉团队。这些论文在他们每周的Imperial Deep Learning Reading Group上经过大量的讨论,但作者表示他这里的梳理仍不够全面,因为今年仅仅是有关GAN的论文就超过了1660篇,他努力将内容范围缩小到每两周一篇,具体的论文如下所列:
体系结构/模型
今年关于网络架构的文章已经少得多了,好多东西都或多或少的稳定了。尽管有些论文肯定还是想要推动这个框架发展。首当其冲的是安德鲁·布鲁克(Andrew Brock)的破解SMASH网络结构,它是在1000个GPU上来进行神经架构的搜索。
SMASH : one shot model architecture search through Hypernetworks
https://arxiv.org/pdf/1708.05344.pdf
DenseNets(2017年更新的修订版本)是一个对内存需求很大(memory-hungry),但非常干净利落的想法。 简单的说就是“在计算机视觉中,眼睛+毛皮=猫,所以想法就是连接所有的东西(和连接层)”。
Densely connected convolutional networks
https://arxiv.org/pdf/1608.06993.pdf
在CNNs中有一个非常重要但是被低估的思想是散射变换,有效地取一个小波滤波器组(将小波理论与conv + maxpool和ReLU相连)的模。不知何故,这揭示了为什么头几层看起来像Gabor滤波器,并且为什么你可能根本不需要训练它们。用Stephane Mallat的话来说,“我很惊讶它有效”。 见下面的论文。
Scaling the Scattering Transform
https://arxiv.org/pdf/1703.08961.pdf
张量化的LSTM是维基百科上新的SotA编码,每个字符占用1.2位。有些人认为英文的编码限制是1.0,1.1 BPC(仅供参考,LayerNorm LSTM大约为1.3 bpc)。由于想法新颖的原因,我更喜欢这篇论文“Recurrent Highway HyperNetworks”。
Tensorized LSTMs for sequence learning
https://arxiv.org/pdf/1711.01577.pdf
最后,不需要进一步评论的论文:
Dynamic Routing Between Capsules
https://arxiv.org/pdf/1710.09829.pdf
Matrix capsules with EM routing
https://openreview.net/pdf?id=HJWLfGWRb
生成模型
由于NVidia公司爆炸性的原因,我有意将大部分GAN论文放在Progressive Growing这部分论文中。
首先是与自我回归内容相关的家族--Aaron Van den Oord的最新杰作VQ-VAE,是事后看起来很显然的那种论文之一,提出的双停止梯度损失函数肯定是经过非常多的努力。我相信大量的迭代 - 包括用ELBO的贝叶斯层ala PixelVAE来做中间层 - 将会从这项工作中衍生出来。
Neural Discrete Representation Learning
https://arxiv.org/pdf/1711.00937.pdf
另外一个惊喜是来自Parallel Wavenet的结构。当大家都期待与Tom LePaine的工作一起的一个快速二进制结构,DeepMind公司的家伙给了我们一个师生蒸馏模型和噪音整形,其中噪音整形是将高维各向同性的高斯/逻辑潜在空间解释为可以通过逆自回归流进行自回归的时间过程。非常非常干净利落的想法。
Parallel Wavenet
https://arxiv.org/pdf/1711.10433.pdf
没人预料到的头号文件 – Nvidia公司制定了法律。GAN理论是完全循环的 - 而不是Wassersteinizing(借用Justin Solomon的不朽之语),只是保持KL损失,但是通过对数据分布进行多分辨逼近来消除不相交的支持问题。这仍然需要一些技巧来稳定梯度,但经验结果不言自明。
Progressive growing of GANs
https://arxiv.org/pdf/1710.10196.pdf
尽管由Peyre和Genevay领导的法国研究小组在今年早些时候确定了最小Kantorovich估计量,但由Bousquet领导的Google团队在前进/最佳运输设置中写下了VAE-GAN的决定性框架。W-AAE的论文可能会成为ICLR2018的热门话题之一。
The VeGAN cookbook
https://arxiv.org/pdf/1705.07642.pdf
Wasserstein Autoencoders
https://arxiv.org/pdf/1711.01558.pdf
在变分推理方面,谁比德斯廷·特朗更好地借鉴了非政策强化学习和GANs的观点,并再次推动了现代VI能做的事情:
Hierarchical Implicit Models
https://arxiv.org/pdf/1702.08896.pdf
强化学习
被轻(soft)/最大熵Q学习占主的一年。但是这些年来!我们一直做错了!
Nuff说,在一篇里程碑式的论文里:舒尔曼证明了RL算法主要两个族的等价性。
Equivalence between Policy Gradients and Soft Q-learning
https://arxiv.org/pdf/1704.06440.pdf
他是否会做到这一点,通过采取古老的数学和非常仔细的重新做分区函数的计算,来证明路径到路径等价? 没有人知道,除了Ofir:
Bridging the gap between value and policy RL
https://arxiv.org/pdf/1702.08892.pdf
另外一篇被低估的论文 - Gergely悄悄地把所有的RL都算在上面的RL算法和凸优化方法之间。对于今年论文的恕我直言,RL相关的论文是一个有力的竞争者,但很少有人听说过。
A unified view of entropy-regularized MDPs
https://arxiv.org/pdf/1705.07798.pdf
如果David Silver的Predictron由于在ICLR 2017被拒绝(!)而以某种方式掉下了雷达,那么Theo的论文就像是一个双重的观点,它以优美而直观的Sokoban实验结果来启动了它:
Imagination-Augmented Agents
https://arxiv.org/pdf/1707.06203.pdf
马克·贝莱马尔(Marc Bellemare)获得了另外一个转型的论文 - 废除了所有的DQN稳定插件,并简单地学习了分发(并且在这个过程中击败了SotA)。非常漂亮的论文。有许多可能的扩展,包括与Wasserstein距离的链接。
A distributional perspective on RL
https://arxiv.org/pdf/1707.06887.pdf
Distributional RL with Quantile Regression
https://arxiv.org/pdf/1710.10044.pdf
一个简单,但非常有效,双重whammy的想法。
Noisy Networks for Exploration
https://arxiv.org/pdf/1706.10295.pdf
当然,如果没有AlphaGo Zero的话,这个列表还是不完整的。将策略网络MCTS前后对齐的思想,例如将MCTS作为一种策略改进算法(以及采用使NN近似误差平滑而不是传播的方法)是一种神话般的东西。
Mastering the game of Go without human knowledge
https://deepmind.com/documents/119/agz_unformatted_nature.pdf
SGD和优化
对于为什么SGD算法在非凸面情况下的也能效果好的原理探索(从广义误差角度来看如此难以打败),2017年的工作已经让它变得成熟了。
今年的“最技术”论文是Chaudhari。从SGD和梯度流向PDE几乎连接了一切。遵循并完成“Entropy-SGD”原则的一篇杰作:
Deep Relaxation : PDEs for optimizing deep networks
https://arxiv.org/pdf/1704.04932.pdf
贝叶斯的观点认为这是Mandt&Hoffman的SGD-VI连接。如你所知,我多年来一直是一个频繁的人,原文如此。
SGD as approximate Bayesian inference
https://arxiv.org/pdf/1704.04289.pdf
前面的文章取决于SGD作为随机微分方程的连续松弛(由于CLT,梯度噪声被视为高斯)。 这解释了批量大小的影响,并给出了一个非常好的卡方公式。
Batch size matters, a diffusion approximation framework
https://arxiv.org/pdf/1705.07562.pdf
另一篇与Ornstein-Uhlenbeck类似的论文启发了Yoshua Bengio实验室的研究成果:
Three factors influencing minima in SGD
https://arxiv.org/pdf/1711.04623.pdf
最后, Chandhari先生又一次对SGD-SDE-VI三位一体的贡献:
SGD performs VI, converges to limit cycles
https://arxiv.org/pdf/1710.11029.pdf
理论
我坚信一个直觉,就是为什么深度学习的工作将来自谐波/二阶分析(前面已经看到散射思想)和信息理论与基于熵的测量之间的交集。Naftali Tishby的想法虽然仍然有争议,但最近ICLR2018提交的内容,使我们更加接近这一理解。
Opening the black box of deep networks via information / On the information bottleneck theory of deep learning
https://arxiv.org/pdf/1703.00810.pdf
同样,来自ICLR2017的一篇漂亮的论文对信息瓶颈理论采取了一种变化的方法。我的选择与“解开”类别中的Beta-VAE相比有一点小小的优势。
Deep variational information bottleneck
https://arxiv.org/pdf/1612.00410.pdf
今年已有数十亿个生成模型,其中有12亿个因子分解对数似然的方法,他们大都可以被理解为凸二元。恕我直言,一篇非常必要的论文。
A Lagrangian perspective on latent variable modelling
https://openreview.net/pdf?id=ryZERzWCZ
最后,杰夫·潘宁顿(Jeff Pennington )以惊人的技术手段显示了深度学习中关于数学的军备竞赛仍然活跃,他将复杂的分析,随机矩阵理论,自由概率和图形态射(!)结合起来,导出了神经网络损失函数的Hessian特征值的确切定律,而其图形只是靠经验才先知道的,例如在Sagun等人的论文中有显示。必读。
Geometry of NN loss surfaces via RMT / Nonlinear RMT for deep learning
http://proceedings.mlr.press/v70/pennington17a/pennington17a.pdf
原文链接
https://kloudstrifeblog.wordpress.com/2017/12/15/my-papers-of-the-year/
资源推荐
资源 | 亚马逊机器学习专家:“深度高斯模型”可能为深度学习的可解释性提供概率形式的理论指导?(PPT)
资源 | 想用Python学机器学习?Google大神替你写好了所有的编程示范代码
资源 | 亚马逊 AI 主任科学家李沐:动手学深度学习视频大全
资源 | Yann LeCun最新演讲:大脑是如何高效学习的?(附PPT+视频)
重磅 | 128篇论文,21大领域,深度学习最值得看的资源全在这了
爆款 | Medium上6900个赞的AI学习路线图,让你快速上手机器学习
Quora十大机器学习作者与Facebook十大机器学习、数据科学群组
Chatbot大牛推荐:AI、机器学习、深度学习必看9大入门视频
葵花宝典之机器学习:全网最重要的AI资源都在这里了(大牛,研究机构,视频,博客,书籍,Quora......)
☟☟☟ 更多学习资源,请戳原文
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 奋力打开改革发展新天地 7917508
- 2 保时捷断臂求生 7932400
- 3 刘强东提前发年终奖 7829383
- 4 “冷资源”里的“热经济” 7730507
- 5 全球约有1.9亿妇女为内异症患者 7667227
- 6 租客把客厅变成养鸡场 7598199
- 7 俄3人零下24℃山中待3天奇迹生还 7461283
- 8 为什么有些人会有“休耻感” 7365871
- 9 她还没上桌蛋糕分完了 7259591
- 10 吉尼斯纪录 世界最大锅杀猪菜 7189708