为什么深度学习如此容易被愚弄？AI研究员正在努力修复神经网络缺陷

来源：nature

假设一辆自动驾驶汽车看到停车标志时并没有减速，而是加速驶入了繁忙的十字路口，从而导致了交通事故。事故报告显示，停车标志的表面粘了四个小的矩形标志。这说明一些微小扰动就能愚弄车载人工智能（AI），使其将“停止”一词误读为“限速45”。

目前，此类事件还未发生，但是人为扰动可能影响AI是非常现实的。研究人员已经展示了如何通过粘贴纸来欺骗AI系统误读停车标志，或者通过在眼镜或帽子上粘贴印刷图案来欺骗人脸识别系统，又或者通过在音频中插入白噪声使语音识别系统产生错误判断。

这只是一些攻击AI中领先的模式识别技术——深度神经网络（DNN）的小示例。事实证明，这些方法在正确分类各种输入方面（包括图像、语音和有关消费者偏好的数据）非常成功。从自动电话系统到流媒体服务Netflix上的用户推荐，这都是日常生活中的一部分。对输入进行人类难以察觉的微小更改，就能使周围最好的神经网络发生混淆。

加利福尼亚大学伯克利分校计算机科学博士生Dan Hendrycks表示，在这种不完美的技术中，这些问题比特殊的怪癖更麻烦。像许多科学家一样，他一开始也认为其是DNN的内在缺陷：在训练领域能出色地完成任务，但是一旦进入陌生领域，就会因为各种原因而失效。

这可能会导致严重的问题。越来越多的深度学习系统从实验室走向现实世界，从自动驾驶汽车到犯罪测量和诊断疾病。但是，今年一项研究报告称，恶意添加到医学扫描中的图像可能会使DNN误检测癌症。另一方面，黑客可以利用这些弱点黑掉一个在线AI系统，从而运行自己的代码。

努力寻找问题根源的过程中，研究人员发现了许多DNN失败的原因。位于加利福尼亚山景城的Google的AI工程师François Chollet认为，“DNN的内在缺陷是没有解决办法的。要克服这些缺陷，研究人员需要开发额外的功能来增强模式匹配DNN，例如，使AI能够自己探索世界，自己写代码并保留记忆。“一些专家认为，这将是未来十年AI的研究方向。

现实检验

2011年，谷歌开发了一个可以识别YouTube视频中的猫的系统，随后不久便出现了一波基于DNN的分类系统。加州旧金山Uber AI Labs的高级研究经理，怀俄明大学拉拉米分校的杰夫·克劳恩（Jeff Clune）表示，不明就里的人都在说，“哇，这太神奇了，计算机终于可以理解世界了” 。

但只有AI研究人员知道DNN实际上并不了解世界。它们只是由许多数字神经元组成的，分布在许多上下相互连接的各层网络中的，类似大脑结构的松散模型。

其思想是，原始输入进入底层的特征（例如图像中的像素）会触发其中一些神经元，然后根据简单的数学规则将信号传递到上一层的神经元，每次调整神经元的连接方式，训练DNN网络涉及到将其暴露于大量示例中，以便最终顶层可以提供所需的答案。例如，即使DNN之前从未看到过该图片，也能始终将狮子的图片输出为狮子。

2013年，Google研究员Christian Szegedy和他的同事发布了一份名为“神经网络的有趣特性”的预印本，这是对神经网络在现实应用的第一次检验。以狮子的图像为例，即使改变一些像素，例如在图像里添加图书馆背景，DNN能确认它看到了不同的内容，但是依然能识别图中的狮子。小组称篡改的图像为“对抗样本”。

相关报道：

https://www.nature.com/articles/d41586-019-03013-5

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/