酷应用

解读 | UC Berkeley 教育学家与心理学家联合提出关于人类好奇心的推理分析

百家作者：机器之心 2017-07-30 15:48:31

机器之心原创

作者：Jashua Chou

参与：Qintong Wu、Nurhachu Null

好奇心，作为这篇论文的主题，是相当有趣的。它与内在动机的相关领域是有关的，并且好奇心还被认为是很多人类去进行尝试（endeavour）的一个因素。好奇心和很多科学贡献都有内在的联系，并且还在创造艺术领域起着非常重要的作用。作者在论文中展示了对好奇心的相关推理分析。论文提出，人的好奇心是由寻求一种刺激来驱动的，这种刺激能够将人类应对未来变化的能力最大化。这篇论文展示了一个好奇心模型，并且通过实验结果证明了好奇心和信心之间的关系，它们可以因为先天本质和环境的不同而产生明显变化。

论文链接：https://arxiv.org/pdf/1705.04351.pdf

摘要：我们在这篇论文中展示了对好奇心（curiosity）的推理分析。论文提出，人的好奇心是由寻求一种刺激来驱动的，这种刺激能够将人类应对未来变化的能力最大化。这个观点提供了一个能够把之前关于好奇心的理论统一成一个单独框架的方式，实验结果也证实了这个模型所做的预测，结果表明：好奇心和信心之间的关系可以因为先天本质和环境的不同而明显地变化。

已有的好奇心模型

基于新奇事物（Novelty）的好奇心：

这个理论最早由英国/加拿大心理学家D.E. Berlyne发表在英国心理学期刊（the British Journal of Psychology, Volume 41, Issue 1-2, September 1950，68-80 ）上。这个理论做了如下假设：好奇心和新奇事物是有关联的，因为得到关于新鲜事物的信息会带来更高的内在奖励。Berlyne 称这种「感知好奇」为一种能够激发个体去寻找新鲜刺激的驱动力，这种驱动会随着新鲜事物的暴露而减少。这个理论的局限性在于它假设了个体在所有的环境中寻求新鲜刺激的最佳方案。在实际当中的很多情况下，环境中或许存在新鲜刺激，但是缺少能够让个体学习这种刺激并且获得知识的资源和信息。

基于信息缺口（Information Gap）的好奇心：

这个理论是由Loewenstein在心理学公报（the Psychological Bulletin）上提出来的（Volume 116, Number 1, page 75-98, 1994）。这个理论做了这样的假设：好奇心会在个体具有信息缺口的时候出现，因此会促使个体去补全缺失的信息以解决不确定性。然而，当一个人对刺激了解得过多或者过少的时候，好奇心也就消失了。这个理论的一个局限性就是，当一个人的信息参考点在一个特定的领域被提高的时候，它没有考虑到个体本来就有的兴趣。或许，需要做进一步的研究来解释一下，为什么某些人只对特定的话题感兴趣，而某些人对所有的话题都感兴趣。

基于学习过程的好奇心：

这个理论的引导性假设是学习过程能够生成内在机奖励。这个理论假设人类的大脑本质上都在被激励着去追求那些能够让他（她）的预测得到提升的任务。所以，个体会专注于那些可以学习的任务，而不是那些过于简单或者过于困难的任务。这个理论的局限性仍旧在于环境。如果环境充满了困难的任务，就不清楚个体的好奇心会不会起作用了。

本文提出的好奇心模型

在我深入介绍这个模型之前，我会列出这个模型用到的符号：

V 是个体当前知识信息的值
n 是环境中刺激（stimuli）的数量
pk 是第k 个刺激的「需求概率」。它指的是第k个刺激在未来会出现的概率
hk 是第k 个刺激出现的个数
ck 是个体知道正确回应第k 个刺激的概率

在作者提出的模型中，个体在环境中的目标是使其知识信息最大化，因此才能够使它在未来能够得到的奖励最大化。c 和 h 的关系可以按照如下公式建模：

我们可以看到，个体知道正确回应第 k 个刺激的概率 ck 会随着第 k 个刺激出现的次数 hk 的增加而单调地增长，一旦hk 到达某一个点之后，ck 就趋于饱和（这是指数函数的一个特征）。我个人认为这个好奇心模型是十分粗糙的，举个简单的例子，当 ck=0.95 的时候，从方程（1）可以得到 hk≈3。也就是说，在相遇 3 次之后，个体对环境中的任何刺激做出正确响应的概率会达到 0.95。由于这不是这篇论文的主题，所以在这里就不做进一步的探讨了，如果你对此比较感兴趣，我建议你给每一个刺激给一个参数 α，用它来对每个刺激的难度进行建模，例如αk 代表第k个刺激的难度系数：

个体对其全局知识信息 V 最大化的过程可以用下面的方程建模：

为了最大化上述方程，我们在（4）对hk 求微分。表达式αV/αhk 代表知识V 随着第k 个刺激的变化。这个变化率被作者定义为个体对第4 个刺激的好奇心，并且被定义为 Ωk。下面的表达式是整个求微分的过程：

实验假设

好奇心的推理模型形成了两个经验预测。

需求概率pk和出现次数hk之间的依赖关系：

这个模型如下图所示。

好奇心和刺激出现次数以及信心之间的关系可以分别表达如下：

以及：

这两个关系如图2 所示。我们可以这样认为：好奇心在最初的几次刺激下被迅速激发，随后在某个拐点之后会指数下降。此外，当代理人（agent）对刺激具有适度的信心的时候，好奇心会很强。

图2. 左：好奇心与刺激出现次数之间的关系；右：好奇心与信心之间的关系

需求概率pk和出现次数hk之间的依赖关系：

这个模型如图3 所示。

图3. 假设（ii）的模型。

我们可以看到需求概率和出现次数之间是相互独立的。好奇心和刺激出现次数以及信心之间的关系可以分别表达如下：

以及：

考虑到需求概率和出现次数是相互独立的，所以我们不妨将上边的pk 按照常量对待。因此：好奇心会随着出现次数的增长而呈现出指数降低，并且好奇心会成为信心的线性函数。这两个关系如图4 所示。这就出现了一个很奇怪的预测：代理人对于他们没有任何信心的刺激表现得最为好奇；对于他们从未遇到的刺激最为好奇。

图4. 假设（ii）的模型。

实验设置

论文中给出了用来测试前一部分所提出假设的相关行为实验的细节。实验的目的是对人类的好奇心是否会受到需求概率和出现次数之间的关系的影响进行评价。所以，期望的结果是图2 右侧以及图4 右侧呈现出「倒U型」的曲线。

实验结果

如果你仔细阅读了论文中实验设置的细节内容的话，你会知道，实验总共分了两轮。第一轮（又称为主轮）中的参与者被提供了40 个问题，要求他们对这些问题的信心做一个评价，并且给出关于这个问题的好奇度。

在第二轮中的第一部分，所有的问题都被展示给了参与者，他们仅仅能够选择他们是否希望揭示某个问题的答案。揭示答案会导致10 秒钟的延迟。在这40 个问题上的总耗时将会作为衡量他们对这些问题的好奇心的指标（拥有更强好奇心的参与者会花费更多的时间）。

在第二轮的第二部分中，参与者在固定的时间内回答前一轮中的10 个问题。采样包括两种类型：随机采样和基于信心的采样。随机采样就是以均匀分布的概率抽取10 个问题，而基于信心的采样就是选出参与者最有信心的10 个问题。

结果显示，好奇心和信心之间的关系确实呈现出「倒U型」。好奇心用参与者在主轮中的40 个问题上花费的总时间来衡量，如图5所示。我认为图中两种采样下的曲线几乎是完全相同的（至少从我的角度来看）。由于所有的40 个问题都以两种方式呈现给参与者，事实上采样类型并没有对实验结果产生影响。所以，我们在两组参与者上发现了相同的行为。

图5. 实验结果：好奇心和信心的关系。

另一个实验结果就是参与者请求揭示答案的概率和参与者对这个问题的信心之间的关系。这个结果如图6 所示。结果显示参与者普遍会倾向于请求揭示它们没有信心的问题的答案，这个是非常直观的。所以，随着参与者对问题的信心的增加，请求揭示答案的概率就会降低。

图6. 实验结果：信心与请求揭示答案的概率之间的关系。

结论和最终评价

这篇论文提出了一个好奇心模型，这个模型基于基于代理人所处的环境、遇到的刺激以及最大化在将来做出合适回应的概率。作者也简要地讨论了研究好奇心的一些其他方式。

结果证明，人类的好奇心不仅对刺激的属性敏感，而且还会受到环境本性的影响。如果人们处于需求概率会影响刺激出现次数的环境中，那么他们对那些他们具有一定信心的刺激的好奇心是最高的。另一方面，如果需求概率和刺激出现的次数是相互独立的，那么他们对新鲜刺激的好奇心是最高的。

作为最终评价，我个人认为这个模型还是极其粗糙的。就像前文中解释过的一样，方程（1）对好奇心的建模没有考虑到刺激的难度，并且参与者会在仅遇到3 次的情况下就能对一个刺激的信心达到 99%。除此之外，假设（i）中所说的「当代理人对一个刺激具有适当的信心的时候，对这个刺激的好奇心会特别强」，与图6 中基于信心的采样结果相比时是不正确的。最后，图6 中均匀采样的结果从某种程度来说真的是表现出了单调性下降（但是如果你仔细观察的话，在信心比较低的情况下并不满足这个规律），这样的话就不满足假设（ii）了。

所以，我认为这篇文章的贡献更多的是提出一种有趣的思想——人类如何捕捉关于好奇心的、抽象的、模糊的观点。它也许会启发人工智能研究者如何让机器评估并选择下一个任务。然而，为了能够将这种思想应用到人工智能中，我们需要对这个模型做出更多的改善。