酷应用

机器学习能量模型：Facebook的AI主管LeCun所想象的AI未来

百家作者：大数据文摘 2019-11-19 04:00:06

大数据文摘出品

来源：zdnet

编译：蔡婕、小七

深度学习领域的大师Yann LeCun表示，AI的下一个发展方向可能是摒弃深度学习的所有概率技巧，转而掌握多种变化的能量值。

据说有一些工程师和科学家，可以在他们的脑海中想象出那些尚未变成现实的构思，Facebook的AI主管Yann LeCun就是这种人。

他在《机器学习时刻》(When the Machine learning)一书中写到，“我主要靠直觉工作”。这本新书既是一本传记，科普书籍，同时也是一部AI史。这本书于10月16日出版了法文版，名为《Quand la machine apprend》。

LeCun在书中写道：“我在脑海中勾勒出了爱因斯坦称之为‘思维实验’的临界情况。”

这种在通常认为在可行的范围内想象不存在的东西的能力，是工程师和创新者的标志。LeCun在AI人群中是一个罕见的人物，他不仅精通算法设计，在计算机工程领域也有一定的建树。

LeCun今年因对计算机科学的贡献获得了ACM图灵奖，最出名的是他在20世纪90年代推进和完善了卷积神经网络(CNN)，并使其实用化。他没有从零发明这个东西，但他使得CNNs变得实用可行，这奠定了机器学习革命的基础。在过去的十年里，LeCun以及同为获奖者的Geoffrey Hinton和Yoshua Bengio，一同在机器学习领域中脱颖而出。

10月16日，在新泽西州普林斯顿高等研究院(Institute for Advanced Study)，工程师LeCun在台上解释了什么听起来像是直觉，但却是实实在在的直觉。这是一个为期三天的深度学习研讨会，具体来说，就是深度学习的理论探讨。该活动由研究所数学教授Sanjeev Arora组织，吸引了许多人工智能领域的杰出人物，包括Nvidia的人工智能研究负责人Anima Anandkumar，以及LeCun的同事——Facebook学者Leon Bottou。

LeCun的幻灯片演示的是他最近在许多讲座上所采用的主题：如何超越传统深度学习的标记训练范例。他对听众说：“我们不可能单纯地通过监督或多任务学习让机器获得一般人类的智力，我们将不得不采取其他方法。”

LeCun认为，另一种方法就是无监督学习。为了使无监督学习成为可能，整个领域需要更多地研究一种方法——机器学习能量模型(energy-based learning)。

能量函数在AI领域已经存在了数十年。生物学家John Hopfield在20世纪80年代首次推广了这种方法，当时人们称之为“霍普菲尔德网络”(Hopfield Network)。这在当时是机器学习的一个突破，它还催生了其他类型的学习算法，这些算法处理的是需要优化的能量场概念，例如Hinton追求的“玻尔兹曼机”。

此外，LeCun还反思了卷积网络的持久吸引力。

“关于机器学习能量模型的想法已经有一段时间了，” LeCun说，“最近因为我需要减少监督学习算法的使用，所以又意识到了这一点。”

机器学习模型很容易学习案例中的细节，但是其基本思想是，不要创建大量带有标签的数据集（例如猫和狗的图片），也不用花费数千小时玩DeepMind的AlphaZero这样的国际象棋游戏，而只是获取一些丰富的原始数据，例如大量的YouTube视频剪辑，然后将其提供给计算机。

LeCun说：“可以把这台机器做得非常大，让它整天观看YouTube或Facebook上的直播。”

机器可以被训练来预测每一帧视频之后接下来会发生什么。预测和现实之间的相容性就是所谓的能量水平。较低的能量更好、更兼容，意味着更准确，所以神经网络试图达到一个理想的低能量状态。

LeCun在舞台上充满活力，尤其对主题的细微差别很感兴趣。他向观众展示了其不确定性的一面，他直视着前方，开始前后摆动手臂，并说道：“你现在正看着我，你在拍我的视频，背景没有变化，相机也没有移动。”

“发生的唯一一件事情是，我可以朝一个方向或另一个方向移动我的头，可以以不同的方式移动我的肌肉，而在这次演讲中，我头部的所有图片的流形现在都是一个低维流形，受到我头部肌肉数量的限制。”

LeCun的想法在机器学习方面相当激进的。在LeCun的版本中，能量函数消除了概率预测。“我认为正确的做法是抛弃概率框架，因为它是错误的，也是没用的”他认为，典型的神经网络必须有“无限权值。”

显然，在LeCun的设想中还有一些尚未实现，他尝试把它表达出来，但是距离真正实现，仍需时日。LeCun稍后将登上飞往巴黎的飞机，与记者会面讨论这本书。本周，他登上了在法国时尚杂志《新观察家》(l'Obs)的封面上，谈论AI的前景和危险，这是每个人都为之兴奋与害怕的东西。几十年来，LeCun和其他人都可以看到它，但这些东西并没有起作用。现在它似乎已经太管用了，倘若必须有人来充当监察人员，那正是LeCun。