深度学习之父Hinton备受瞩目的Capsule论文今正式公布，神经网络的走向将就此改写？

年度订阅用户可加入科技英语学习社区，每周科技英语直播讲堂，详情查看“阅读原文”

在人工智能学界，Geoffrey Hinton拥有非常崇高的地位，甚至被誉为该领域的爱因斯坦。作为“深度学习”之父，也正是这个技术让人工智能发展到今天这般炙手可热。在人工智能领域最顶尖的研究人员当中，Hinton的引用率最高，超过了排在他后面三位研究人员的总和。目前，他的学生和博士后领导着苹果、Facebook以及OpenAI的人工智能实验室，而Hinton本人是谷歌大脑（Google Brain）人工智能团队的首席科学家。

事实上，人工智能在最近十年里取得的几乎每一个成就，包括语音识别、图像识别，以及博弈，在某种程度上都能追溯到 Hinton 的工作。

1986年，Hilton联合同事大卫·鲁姆哈特（David Rumelhart）和罗纳德·威廉姆斯（Ronald Williams），发表了一篇突破性的论文，详细介绍了一种叫作“反向传播”（backpropagation，简称backprop）的技术。普林斯顿计算心理学家乔恩·科恩（Jon Cohen）将反向传播定义为“所有深度学习技术的基础”。归根结底，今天的人工智能就是深度学习，而深度学习就是反向传播，虽然我们很难相信反向传播已经出现了30多年。

然而，就在上个月，Hinton 在多伦多的一场 AI 会议上，面对媒体 Axios 的采访时却表达了对反向传播算法的质疑。他认为，反向传播算法并不是大脑运作的方式，要想让神经网络变得更智能。就必须放弃这种为所有数据标注的方式。“我们需要放弃掉反向传播算法（Backpropagation algorithm），重新开辟一条新的路径。”

 

图丨杰弗里·辛顿（Geoffrey Hinton）

就在几个小时之前，由 Hinton 和其在谷歌大脑的同事 Sara Sabour、Nicholas Frosst 合作的 NIPS 2017 论文《Dynamic Routing Between Capsules》已经正式对外公开，解释了不同 Capsules 间路由的学习。毫无疑问，以此为起点，人工智能未来形态的演进和塑造很可能将会呈现一个完全不一样的面貌。

 

论文地址：https://arxiv.org/abs/1710.09829

  

图丨刚刚公布的Hinton的论文

在这篇论文中，Hinton 首先解释 Capsule 作为一组神经元，它的活动向量（activity vector）表示特定类型实体（如某对象或某对象的部分）的实例化参数。作者使用活动向量的长度来表征实体存在的概率以及其实例化参数的方向。而活跃在同一水平的 Capsule 通过变换矩阵对更高级别 Capsule 的实例化参数进行预测。当多个预测相统一的时候，较高级别的 Capsule 就开始变得活跃。

经过总结，经过区别训练的多层 Capsule 系统在 MNIST 上实现了最优的性能，在识别高度重叠的数字时，其效果要明显好于卷积神经网络。为了达到这样的结果，Hinton 他们使用了迭代的路由协议机制（routing-by-agreement mechanism）：一个低层的 Capsule 希望将其输出发送到一个活动向量具有大标量积、预测来自低层 Capsule 的高层 Capsule。

 

而之所以 Hinton 会提出 Capsule 的概念，这与他从 80 年代开始就关注人类大脑的原理不无关系，为此他还相继发表了一定数量的有关脑神经科学的论文。

 

在人工智能发展的初期，按照正常的思路，研究人员会自然而然的联想到将唯一拥有高级智慧的人脑作为机器的模拟对象，由此也就成就了火热一时的人工神经网络。不过，单层人工神经网络的训练方式甚至无法使机器学会最简单的“异或”逻辑，多层神经网络的训练又遥遥无期。

最早的神经网络 Perceptron 诞生于1960年代，被誉为迈向类人机器智能的第一步。1969年，麻省理工学院的马文·明斯基（Marvin Minsky）和西摩·帕尔特（Seymour Papert）发表了著作《Perceptrons》，用数学的方法证明这种网络只能实现最基本的功能。这种网络只有两层神经元，一个输入层和一个输出层。如果在输入层和输出层之间加上更多的网络，理论上可以解决大量不同的问题，但是没人知道如何训练它们，所以这些神经网络在应用领域毫无作用。除了少数像 Hilton 这样不服输的人，大多数人看过这本书后都完全放弃了神经网络的研究。

图丨杰弗里·辛顿（Geoffrey Hinton）

于是，Hinton 想到了人工神经网络不一定非要完全按照模拟人脑的模式。因此，在上世纪 80 年代，Hinton 又另辟蹊径提出了可以用来训练多层神经网络的反向传播算法。最具标志性的就是 1986 年 Hinton 与 David E. Rumelhart 和 Ronald J. Wlilliams 合著的《Learning representations by back-propagation errors》论文的发表。

2012 年，Hilton与他在多伦多的学生一道所发表的一篇论文表明，用反向传播训练的深度神经网络在图像识别领域打败了当时最先进的系统——“深度学习”终于面世。在外界看来，人工智能似乎一夜之间突然爆发了，但对 Hilton 而言，这只是一个迟到的礼物。

 

图丨1986年辛顿与他人合作的神经网络论文

但时间过去了 30 年，Hinton 却在一个多月前宣布放弃掉了反向传播算法。这是因为 Hinton 始终相信克服人工智能局限性的关键在于搭建“一个连接计算机科学和生物学的桥梁”。从这个角度看，反向传播是受生物学启发的计算机学突破；该理念最初并非来自工程学，而是来自心理学。因此，Hinton 正尝试效仿这个模式。

 

实际上，目前的神经网络由大平面层组成，即每一层的神经元都做的是类似的事情。但人类新皮层的真实神经元不仅是水平分布成层的，还有垂直排列的。Hinton 认为，他知道这些垂直结构的作用，比如在人类视觉系统中，这些结构确保我们在视角变化时保持识别物体的能力。因此，他搭建了名为“Capsule”的人工视觉体系来验证这个理论。

 

现在，对 Capsule 理论的研究还处于比较早期的阶段，这也就意味着其还有很多的问题有待考察。不过，现在已经有越来越多的迹象表明 Capsule 可以解决一些问题，相信它是一个值得进一步挖掘的路径，正如 Hinton 曾对《麻省理工科技评论》表示，“Capsule 理论一定是对的，不成功只是暂时的。”

  

-End-

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/