AI好奇心，不只害死猫！MIT强化学习新算法，智能体这回「难易通吃」

来源：新智元

人人都遇见过一个古老的难题。

论文链接：

我们似乎很难从心理学角度解释好奇心的心理基础，对于这种寻求挑战的行为的潜在神经学原理，我们一直没有深入理解。

有了强化学习，这个过程在情感上被「修剪」了，将这个问题剥离至最基本的层面，但在技术实现上却相当复杂。

从本质上讲，智能体只应该在没有足够的监督来尝试不同的事情时才会有好奇心，如果有监督，它必须调整好奇心，降低好奇心。

在测试游戏任务中，很大一部分是小智能体在环境中跑来跑去寻找奖励，并执行一长串的行动来实现一些目标，这似乎是研究人员算法的逻辑测试平台。

在《马里奥赛车》和《蒙特祖玛的复仇》等游戏实验中，研究人员将上述游戏分为两个不同类别：

一种监督稀疏的环境，智能体获得的指导较少，也就是「困难」的探索游戏；另一种是监督更密集的环境，即「简单」的探索游戏。

假设在《马里奥赛车》中，只删除所有的奖励，你不知道什么时候敌人杀了你。当你收集一个硬币或跳过管道时，不会得到任何奖励。智能体只有在最后才被告知其表现如何。这就属于稀疏监督环境，也就是困难任务。在这种任务中，激励好奇心的算法表现非常好。

而如果智能体处于密集监督环境，也就是说，跳过管道、收集硬币和杀死敌人都有奖励，那么，表现最好的就是完全没有好奇心的算法，因为经常得到奖励，只要照着走流程就行了，不需要额外探索就能收获颇丰。

这里如果使用激励好奇心的算法，学习速度会很慢。

因为好奇心强的智能体，可能会试图以不同的方式快速奔跑，到处乱逛，走遍游戏的每一个角落。这些事情都很有趣，但并不能帮助智能体在游戏中取得成功，获得奖励。

如前文所言，在强化学习中，一般用激励好奇心和抑制好奇心的算法，来分别对应监督稀疏（困难）和监督密集（简单）任务，不能混用。

这一次，MIT团队的新算法始终表现良好，无论是在什么环境中。

未来的工作可能涉及回到多年来令心理学家高兴和困扰的探索：好奇心的适当衡量标准--没有人真正知道从数学上定义好奇心的正确方法。

MIT CSAIL博士生Zhang Weihong说：

通过改进探索算法，为你感兴趣的问题调整算法。我们需要好奇心来解决极具挑战性的问题，但在某些问题上，好奇心会降低性能。我们的算法消除了调整「探索和利用」的平衡负担问题。

以前要花一个星期来解决的问题，新算法可以在几个小时内就得到满意的结果。

他与麻省理工学院CSAIL工程硕士、22岁的Eric Chen是关于这项工作的新论文的共同作者。

卡内基梅隆大学的教师Deepak Pathak说：

「像好奇心这样的内在奖励机制，是引导智能体发现有用的多样化行为的基础，但这不应该以在给定的任务中做得好为代价。这是AI中的一个重要问题，这篇论文提供了一种平衡这种权衡的方法。看看这种方法如何从游戏扩展到现实世界的机器人智能体上，将是很有趣的一件事。」

加州大学伯克利分校心理学特聘教授和哲学副教授Alison Gopnik指出，当前AI和认知科学的最大挑战之一，就是如何平衡「探索和利用」，前者是对信息的搜索，后者是对奖励的搜索。

「这篇论文使用了令人印象深刻的新技术来自动完成这一工作，设计了一个能够系统地平衡对世界的好奇心和对奖励的渴望的智能体，让AI智能体朝着像真正的儿童一样聪明的方向，迈出了重要一步。」他说。

参考资料：

https://techxplore.com/news/2022-11-bad-ai-curious.html

https://www.csail.mit.edu/news/ensuring-ai-works-right-dose-curiosity

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/