酷应用

观点 | Geoffrey Hinton：放弃反向传播，我们的人工智能需要重头再来

百家作者：机器之心 2017-09-16 09:59:29

选自Axios

机器之心编译

三十多年前，深度学习著名学者 Geoffrey Hinton 参与完成了论文《Experiments on Learning by Back Propagation》，提出了反向传播这一深刻影响人工智能领域的方法。今天的他又一次呼吁研究者们对反向传播保持怀疑态度，并准备在理论体系上推倒重来。

Geoffrey Hinton 很是怀疑当前干着粗重活的人工智能

1986 年，Geoffrey Hinton 与别人合作了一篇论文（《Experiments on Learning by Back Propagation》）；三十多年后，这篇论文成为了人工智能爆发的中心。但是 Hinton 说他先前的突破性方法应该摈弃，转而去发现一种通向 AI 的新路径。Hinton，这位多伦多大学的荣誉退休教授兼谷歌研究员，说道他现在「深度怀疑」反向传播，正是这一笨重方法催生出了当今 AI 领域的绝大多数进展，包括图像与语音识别。「我的观点是摈弃一切，从头再来。」Hinton 说。

论文《Experiments on Learning by Back Propagation》链接：http://www.cs.toronto.edu/~fritz/absps/bptr.pdf

会上其他科学家认为反向传播在人工智能的未来仍然起到关键作用。但是 Hinton 认为，要想实现实质进展，必须创造全新的方法。「Max Planck 说：科学每经历一次葬礼就前进一步。未来依靠对我所说的一切持怀疑态度的研究生。」

运作机制：在反向传播中，标签或「权重」用于在类脑神经层中展示图像或声音。权重可以逐层调整，直到该网络能够在最少错的情况下执行智能功能。

但是 Hinton 认为这样是为了让神经网络自行做到「无监督学习」，他说：「我猜想这意味着抛弃反向传播，这不是大脑工作的方式，很明显我们并不需要标注所有数据。」

axios 文章中 Hinton「摈弃一切，从头再来」的观点，在推特上引起了热烈反响，Pedro Domingos、李飞飞等多人转推。李飞飞评论道：「反向传播非常重要，它就像是飞机上的劳斯莱斯引擎，虽然飞机无法做到像飞鸟一样机敏而灵活。」她又说：「赞同 Hinton 关于没有工具是永恒的观点，甚至反向传播或者深度学习也不例外。因此，基础研究的继续异常重要。」Gary Marcus 也对这一观点做出了回应：「深度学习并不完美，我们需要另起炉灶。Hinton 佐证了我二十年前讲过的这句话。」

既然要从头再来，Hinton 的下一步是什么？值得一提的是，Hinton 与他的谷歌同事 Sara Sabour 和 Nicholas Frosst 共同完成的论文《Dynamic Routing Between Capsules》已被 NIPS 2017 大会接收。研究人员提出的容器（capsule）概念正是 Hinton 对于未来人工智能形态的探索。不可否认的是，在无监督学习的道路上，我们还有很长的一段路要走。

论文：Dynamic Routing Between Capsules

大会论文链接：https://nips.cc/Conferences/2017/Schedule?showEvent=9167

摘要：capsule 是一组神经元，其活动向量展示特定实体类型的实例化参数，如对象或对象部分。我们使用活动向量的长度表征实体存在的概率，纵向代表实例化参数。同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时，更高级别的 capsule 变的活跃。我们展示了判别训练的多层 capsule 系统在 MNIST 数据集上达到了顶尖的性能，比识别高度重叠的数字的卷积网络的性能优越很多。为了达到这些结果，我们使用迭代的路由协议机制：较低级别的 capsule 偏向于将输出发送至高级别的 capsule，有了来自低级别 capsule 的预测，高级别 capsule 的活动向量具备大标量积。