自我监督模型中的神经活动与网格细胞成相似模式

百家 作者:人工智能学家 2023-11-15 18:15:50
来源: 混沌巡洋舰
我们的大脑必须对周围的物理世界有一个直观的认识,然后用它来解释进入大脑的感官信息,这样才能在世界上生存。
大脑是如何形成这种直觉理解的呢?许多科学家认为,它可能使用了一种类似于 "自我监督学习 "的过程。这种类型的机器学习最初是为了创建更高效的计算机视觉模型而开发的,它允许计算模型在没有标签或其他信息的情况下,仅根据视觉场景之间的异同来学习它们。
麻省理工学院杨丽莎整合计算神经科学(ICoN)中心的研究人员进行的两项研究提供了支持这一假设的新证据。这两项研究都将在12月举行的2023年神经信息处理系统会议(NeurIPS)上发表。
研究人员发现,当他们使用一种特殊的自监督学习方式训练被称为神经网络的模型时,结果模型产生的活动模式与执行与模型相同任务的动物大脑中的活动模式非常相似。
研究人员说,这些发现表明,这些模型能够学习物理世界的表征,并利用这些表征对物理世界中将要发生的事情做出准确预测,哺乳动物的大脑可能也在使用同样的策略。
"ICoN中心的博士后阿兰-纳耶比(Aran Nayebi)说:"我们工作的主题是,旨在帮助制造更好的人工智能最终也会成为更好地理解大脑的框架。"我们还不能说这是否是整个大脑,但在不同规模和不同脑区,我们的结果似乎暗示了一种组织原则"。
物理世界建模
早期的计算机视觉模型主要依赖于监督学习。利用这种方法,对模型进行训练,以便对每张标有名称(如猫、汽车等)的图像进行分类。由此产生的模型效果很好,但这种类型的训练需要大量的人类标记数据。
为了创造一种更有效的替代方法,近年来,研究人员转而采用一种被称为对比自监督学习(contrastive self-supervised learning)的技术来建立模型。这种学习方式允许算法根据物体之间的相似程度来学习分类,而无需提供外部标签。
"纳耶比说:"这是一种非常强大的方法,因为你现在可以利用非常大的现代数据集,尤其是视频,并真正释放它们的潜力。"你现在看到的很多现代人工智能,尤其是最近几年的 ChatGPT 和 GPT-4,都是在大规模数据集上训练自监督目标函数以获得非常灵活的表示的结果。"
这类模型也称为神经网络,由数千或数百万个相互连接的处理单元组成。每个节点与网络中其他节点的连接强度各不相同。当网络分析海量数据时,这些连接的强度会随着网络学习执行所需任务而发生变化。
在模型执行特定任务时,可以测量网络中不同单元的活动模式。每个单元的活动都可以激活模式来表示,类似于大脑神经元的激活模式。纳耶比等人之前的研究表明,自监督视觉模型产生的活动与哺乳动物大脑视觉处理系统中的活动类似。
在这两项新的 NeurIPS 研究中,研究人员着手探索其他认知功能的自监督计算模型是否也会显示出与哺乳动物大脑的相似性。在纳耶比领导的研究中,研究人员训练自我监督模型,通过数十万段描述日常场景的自然视频来预测环境的未来状态。   
"过去十多年来,认知神经科学领域建立神经网络模型的主流方法是在单个认知任务中训练这些网络。但这样训练出来的模型很少能推广到其他任务中,"杨说。"在这里,我们首先利用自监督学习在自然数据上进行训练,然后在实验室环境中进行评估,以此测试我们是否能建立认知某些方面的模型。
模型训练完成后,研究人员让它泛化到他们称之为 "心理乒乓 "的任务中。这类似于视频游戏乒乓球,玩家移动球拍击打屏幕上移动的球。在 "心理乒乓 "版本中,球在击中球拍前不久就会消失,因此玩家必须估计球的轨迹才能击中球。
研究人员发现,该模型能够追踪隐藏球的轨迹,其准确度与哺乳动物大脑神经元的准确度相似,而拉贾林汉姆和贾扎耶里先前的研究表明,哺乳动物大脑神经元能够模拟球的轨迹--这是一种被称为 "心理模拟 "的认知现象。
此外,该模型中的神经激活模式与动物玩游戏时大脑中的激活模式相似,特别是在大脑中名为背内侧额叶皮层的部分。研究人员说,没有任何一类计算模型能像这个模型一样与生物数据如此匹配。
"贾扎耶里说:"机器学习界有很多人在努力创造人工智能。"这些模型与神经生物学的相关性取决于它们捕捉大脑内部运作的能力。阿兰的模型能够预测神经数据,这一点确实非常重要,因为它表明我们可能越来越接近于构建能够模拟自然智能的人工系统。"
导航世界
科纳、谢弗和菲特领导的这项研究侧重于一种被称为网格细胞的特化神经元。这些细胞位于内视网膜皮层,与位于海马体的位置细胞一起帮助动物导航。
当动物处于特定位置时,位置细胞就会启动,而网格细胞只有当动物处于三角形网格的一个顶点时才会启动。网格细胞群会创建不同大小的重叠网格,这使得它们能够用相对较少的细胞数量编码大量的位置。
在最近的研究中,研究人员通过训练监督神经网络来模仿网格细胞的功能,根据动物的起点和速度预测其下一个位置,这项任务被称为路径整合。然而,这些模型依赖于随时获取绝对空间的特权信息--动物并不具备这些信息。
麻省理工学院的研究小组受到空间多周期网格单元代码的编码特性的启发,训练出了一种对比性自我监督模型,既能执行相同的路径整合任务,又能在执行任务时有效地表示空间。在训练数据中,他们使用了速度输入序列。
该模型学会了根据位置的相似或不同来区分位置--附近的位置产生相似的代码,而更远的位置则产生更多不同的编码。   
"Khona说:"这类似于在图像上训练模型,如果两张图像都是猫的头部,那么它们的代码应该是相似的,但如果一张是猫的头部,一张是卡车,那么你希望它们的代码是相斥的。"我们采用了同样的想法,但将其应用于空间轨迹。
模型训练完成后,研究人员发现,模型中节点的激活模式形成了几种具有不同周期的晶格模式,与大脑中网格细胞形成的模式非常相似。
"菲特说:"这项工作令我兴奋的地方在于,它将有关网格细胞编码惊人的信息论特性的数学工作与路径整合计算联系了起来。
"数学工作是分析性的--网格单元代码具有哪些特性?- 而通过自我监督学习优化编码效率并获得网格状调谐的方法则是合成的:它展示了哪些属性可能是解释大脑为什么拥有网格细胞的必要条件和充分条件。
总结
一项新的研究揭示,我们的大脑可能利用一种类似于 "自我监督学习 "的过程来理解世界。通过使用这种机器学习技术训练神经网络,他们观察到了与哺乳动物大脑中相似的模式。这种模式被认为可以帮助人们了解哺乳动物大脑形成物理世界表征的策略。这一突破表明,人工智能可以让人们更深入地了解大脑的内部运作。
关键事实
自监督学习是一种允许计算模型根据视觉场景的差异对其进行学习的技术,被认为类似于大脑的学习方法。
自我监督模型中的神经活动与执行类似任务的动物的神经活动密切相关。
网格细胞的特化神经元的功能与自我监督模型创建的模式与哺乳动物大脑中的模式相似。
来源:https://neurosciencenews.com/ai-self-learning-brain-25125/
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。


  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接