酷应用

前方高能！AI 大牛 LeCun 设想下一个新前沿：摈弃深度学习的所有概率技巧，改而掌握不断转变的能量值

百家作者：人工智能学家 2019-10-19 09:45:22

来源：云头条

据深度学习界的领军人物Yann LeCun声称，AI的下一个发展阶段可能是摈弃深度学习的所有概率技巧，改而掌握不断转变的能量值。

据说工程师（以及一些科学家，但以工程师为主）早在坐到板凳上搞设计之前就能够在头脑中构思尚不存在的东西。

Facebook的AI负责人Yann LeCun似乎再符合这个形象不过了。

他在《当机器学习时》（When the Machine Learns）一书中写道：“我主要凭直觉来工作。”周三出版的这本新书既是一本传记，又是科学讲座，还是AI历史，法语版书名是《Quand la machine apprend》。

LeCun写道：“我在脑海里勾勒出那些不大合乎标准的情况，爱因斯坦称之为‘思想实验’。”

LeCun在台上神情激昂，试图向听众介绍AI领域来自其思想实验的新知

工程师和创新者的标志就是能够构思不存在的东西，也许是在通常认为可行的极限内。LeCun是AI界的罕见天才，这位科学家不仅精通算法设计，还在计算机工程领域颇有建树。

LeCun今年因其对计算机科学的杰出贡献获得了ACM图灵奖，他最出名的是在1990年代改进和完善了卷积神经网络（即CNN），并使其具有实用性。他并没有从头开始发明CNN，却使CNN具有实用性和可行性。前人奠定了机器学习革命的基础，从而让LeCun以及另外两位获得图灵奖的Geoffrey Hinton和Yoshua Bengio在过去十年脱颖而出。

周三，LeCun在新泽西州普林斯顿高等研究所上台解释听起来如直觉的理论，但实际上是很完善的直觉。这次会议是为期三天的深度学习研讨会，具体来说主题是深度学习理论。活动由高等研究所的数学教授Sanjeev Arora组织，吸引了AI界的诸多大咖，包括英伟达的AI研究负责人Anima Anandkumar和与LeCun同为Facebook学者的Léon Bottou。

LeCun的幻灯片演示文稿阐述了他最近多次出席讲座所探讨的主题：如何超越传统深度学习的标记训练例子。他对听众说：“在监督或多任务学习方面，我们不会获得像人类那样强大的智能。我们将不得不另辟蹊径。”

LeCun认为，这条另外的蹊径就是无监督学习。为了使无监督学习成为可能，整个AI界可能需要在基于能量的学习（energy-based learning）这种方法上做更多的工作。

能量函数（energy function）在AI界已经存在了数十年。生物学家John Hopfield于1980年代以后来所谓的Hopfield网络（Hopfield Network），首次普及了这种方法。这在当时的机器学习界是一大突破，它催生出了其他类型的学习算法以处理能量场中有待优化的概念，比如Hinton研究的“玻尔兹曼机”。

LeCun说：“基于能量的学习问世已有一段时日；由于需要做的监督工作较少，最近它回到了我的脑海中。”

细节很快变得深奥起来，但是其基本思想是，只要拿来一些丰富的原始数据，比如许多YouTube视频片段，然后馈送给机器，而不是创建大量的标记数据集（比如猫和狗的图片），或者像DeepMind的AlphaZero那样花数千个小时下国际象棋。

LeCun说：“使机器真正很庞大，让它整天看YouTube或Facebook Live。”

可以训练机器以预测每帧视频之后的下一步。预测与现实之间的兼容性就是所谓的能量级。能量级越低越好、越兼容，这意味着越准确，因此神经网络试图达到理想的低能量状态。

LeCun在台上讲起细节之处兴致盎然。他向观众演示了不确定性，笔直注视，来回摆动双臂。LeCun说：“你现在看着我，你在拍我的视频，背景没有变，摄像头没有动。”

“唯一发生的事情是，我可以朝一个方向或另一个方向移动头部，可以以不同的方式移动肌肉，眼下我在这次演讲中我头部的所有图片就是低维流形，以我头部的肌肉数量为上界。”

LeCun传达的讯息在机器学习方面可以说相当激进。按照LeCun的看法，能量函数摈弃概率预测。他说：“我认为，这方面的正确框架就是实际摈弃概率框架，因为它是错误的。”他说，典型的神经网络势必会有“无限权重”，而这“完全是错误的，也没有用。”

很显然，LeCun在设想尚未设计的东西，并试图告知众人。但是其中一些还需假以时日。LeCun随后搭飞机去巴黎与新闻记者会面讨论这本书。本周他上了法国杂志《新观察家》的封面，畅谈AI的希望和危险。他是人人都为之激动或不安的一场运动的领头羊。几十年来，LeCun及其他人士能预见到它，但方法不管用。现在看来新方法效果很好，得由某人来担任监察员，那人就是LeCun。