酷应用

综述 | 从第一性原理出发，探索类脑智能研究的星辰大海

百家作者：人工智能学家 2023-02-17 18:44:31

来源：智源社区

导读

近几年来，以大模型为代表的人工智能技术正在引领下一个产业发展的浪潮。目前，以ChatGPT、AlphaFold为代表的人工智能在文图生成、自然语言处理、蛋白质结构模拟等方面取得的突破性进展正在为这个行业带来不断的惊喜以及似乎无限的想象空间。然而，大模型的可解释性以及大模型对知识的理解能力仍存在问题，这些问题是大模型技术在进一步发展及落地过程中绕不开的阴云。

生物脑作为地球上亿万年进化的产物，一直被认为是最智能的机体。向生物脑学习智能产生的机制基础，是认知、神经、计算科学家们孜孜以求的研究目标和方向，也是类脑智能发展最根本的底层逻辑。随着越来越多的大脑结构和功能数据被全球的研究人员收集、分析和理解。大脑认知行为产生的基本神经原理对于人工智能基础理论和算法创新的启发作用也正在被广泛认可。

智源认知神经基础方向的科学家和研究员们，结合他们多年在交叉领域的研究经验，提出用脑科学的“第一性原理”来启发类脑智能研究。针对每一个“第一性原理”，文章综述了这些原理的神经基础、基本特性，以及这些原理对于AI模型与算法可能会有哪些启发。希望这些第一性原理，能够为人工智能基础模型提供来自脑科学的启发，并为新一代通用智能的研发提供新视角。

原文链接：AI of Brain and Cognitive Sciences: From the Perspective of First Principles（https://arxiv.org/abs/2301.08382）

1.吸引子动力学：

神经信息处理的标准模型

大脑中的海量神经元构成复杂的网络，产生多样的吸引子动力学现象，实现丰富的神经计算。诺贝尔生理学或医学奖获得者Edvard Moser曾说，“对于任何想了解大脑神经活动模式如何产生的神经科学家来说，理解吸引子网络至关重要。吸引子网络动力学普遍存在于大脑的不同系统。证明吸引子网络的存在，并阐释其运行机制是实现深入理解大脑认知能力的关键。”

吸引子是一个动力学系统在不接受外界输入情况下靠自身动力学就能维持的非静息的稳定状态。神经系统可以通过吸引子动力学实现动态环境下，对外部世界的稳定表征。典型的吸引子网络有离散吸引子网络和连续吸引子网络，其中，连续吸引子网络为当前为数不多的得到了实验验证和广泛应用的正则化神经计算模型。

图1. I吸引子网络中的信息表征。(A-B) 离散吸引子网络中记忆容量和鲁棒性之间的权衡 [Chaudhuri R and Fiete I, 2016]。(C-D) 吸引子网络实现高效信息搜索 [Dong X, Chu T, Huang T et al, 2021]。(E-F) 相互连接的 CANN 中的信息集成。(E-F) 相互连接的连续吸引子网络实现多模态信息的贝叶斯最优整合[Zhang WH, Wang H, Chen A et al, 2019]

吸引子动力学可以帮助大脑实现丰富的计算功能，以离散和连续吸引子网络为例（如图1所示）：

1）吸引子网络的去噪特性，可以用于记忆信息的鲁棒表征；

2）引入带噪的神经元适应性机制，吸引子网络可以实现高效的记忆检索；

3）模块化的连续吸引子网络可以实现多模态信息的贝叶斯最优整合。除此之外，结合丰富的神经元动力学特性和连接特性，连续吸引子网络可以实现预测追踪，振荡的追踪行为，高效的，基于采样的贝叶斯推断等。

最近，在全球范围内的技术进步和大型脑计划的推动下，有关大脑结构和神经活动细节的大量数据不断涌现，对建立大规模网络模型来模拟高级认知功能的需求愈加迫切。吸引子网络作为神经信息处理的正则化模型，是我们实现此任务的基石，如在基于全局工作空间理论（Global Neuronal Workspace）模拟大脑意识时，连续吸引子网络模型可以提供一个统一的信息表征接口，介导不同脑模块间的信息表征、转换、集成和广播。未来探究吸引子网络如何介导脑区间的不同模态的信息交互，结合深度学习网络进行类脑计算，将会给我们带来更多的惊喜。

2.临界态：

大脑神经网络信息处理的基本状态

临界态是指一个系统在有序相和无序相之间发生二阶相变时的一种特殊状态。在物理学和自然界中，有许多系统都处于或接近临界状态，因此临界态框架是理解和分析复杂系统的有力工具之一。

在临界态分析中，幂率分布是一个重要标志，因为当系统处于临界状态时，很多统计量都会服从幂率分布。在过去的二十年中，通过记录体外培养或体内完整的脑组织中的神经元活动，发现神经元活动的空间和时间分布大致遵循幂律分布，这种现象被称为“神经元雪崩”，它暗示着大脑很可能处于临界状态。后续的实验发现，当使用药物阻断兴奋性递质或抑制性递质从而改变大脑的兴奋抑制平衡之后，原来神经元活动的幂率分布便会消失并发生相变，这正是临界态所特有的现象（图3a）。不同规模的神经元雪崩形状也呈现出分形的特点，这些证据都有力的支持了大脑确实处于临界状态附近（图3b和图3c）。

图2. 大脑处在临界态的证据。（a）使用药物影响大脑兴奋抑制平衡后，幂率分布消失并发生相变[Shew et al. 2009]；（b-c）不同规模神经元雪崩具有相似的形[Friedman et al. 2012]。

那么为什么大脑要处在临界状态？通过人工模型和生物实验都发现，当网络处于临界状态时，系统在信息传输、储存和处理方面都具有显著的计算优势。在工作记忆模型上的实验也发现，当通过多巴胺将网络调控到临界状态时，模型具有最好的性能和最大的敏感性。

鉴于临界态在包括神经系统在内的众多复杂系统中的成功应用，一些研究者也尝试使用临界态理论来研究人工神经网络。比如池计算只有处在临界状态时才能良好工作，通过短时程抑制可以使网络处于自组织临界态，从而增强池计算的鲁棒性。深度神经网络只有在临界态附近才能被很好地训练等等。也有研究发现循环神经网络在超临界时可以更好的平衡维度扩张和压缩从而获得更好的性能。虽然处于临界态是否总是有益仍然是一个开放的问题，但是大脑临界态的发现对于我们理解大脑信息处理的过程提供了一个新的视角，也可以在帮助我们更好地理解和设计人工神经网络方面发挥更加重要的作用。

3.随机网络：

信息编码的潜在基础

神经生理学家经常发现许多神经元同时非线性地反映不同的特征。这些神经元被称为具有非线性的混合选择性。非线性混合选择性神经元的存在增加了表征的维度，原本线性不可分离的表征变得线性可分离，并可被大脑的下游结构进一步处理。在研究大脑如何支持非线性混合选择性的过程中，一些研究者认为随机网络发挥着重要作用。在随机网络中，神经元连接的突触权重是从一些分布中随机抽样的。经过混合的输入信号在神经元内经历非线性映射。通过这种方式神经元被赋予了非线性混合选择性。

随机连接的突出生物学证据来自于嗅觉系统（图1A）。这些随机连接是从触角叶的气味特异性腺体到蘑菇体的凯尼恩细胞（KCs）。另一个典型的例子是小脑（图1B），从苔状纤维到颗粒细胞再到Purkinje细胞的路径涉及随机连接。虽然存在争论，但强有力的证据支持视觉通路中也存在着随机连接。除了感觉系统，随机连接也可能存在于行动、决策和导航的神经回路中。

图3.生物脑的随机网络：(A)果蝇的嗅觉回路中气味特异性腺体到凯尼恩细胞连接的解剖示例图（左上），荧光相片（右上）和模型（下）[Caron et al, 2013];(B)小脑的苔状纤维到颗粒细胞再到Purkinje细胞路径的解剖示例图（左）和模型（右）[Ransdell & Nerbonne, 2018]和[Litwin-Kumar et al, 2017]。

同时在人工智能中，两类随机网络得到了广泛的研究：前馈网络和池网络。前馈网络的例子包括随机向量功能连接网络、径向基功能连接网络等。池网络的例子包括回声状态网络、液态机等。

随机网络的原理可以在三个概念层面上概括。在计算层面上，随机网络是像训练过的神经网络一样的通用函数近似器。在算法层面，随机网络作为位置敏感散列算法发挥作用。在实现层面上，随机网络是大脑中密集的神经元所能形成的分布式网络最简单合理的物理实现。

当前深度学习的实践中已经有很多实用的网络训练技巧跟随机性相关，比如随机权重初始化、模拟退火等，但是，这些随机连接大多只是作为辅助步骤存在。生物大脑中广泛存在的随机性连接也启发AI科学家在未来将随机网络当作主要的对象来研究。

随机网络有其局限性，随机网络往往需要与其他网络特征相耦合才能实现复杂的功能，但这并不影响随机网络作为神经科学可能的第一性原理之一，为我们提供一个新的视角，去探索更多智能认知行为背后的奥秘，推进类脑计算的研究。

4.稀疏编码：

大脑中的独特特征与潜在优势

大脑是一个能够高效处理和存储信息的精密机器。为了实现这些功能，它需要对外部信息进行准确的量化和编码。稀疏编码便是实现这些目标的重要途径。作为local coding和 dense coding的中间模式，稀疏编码吸收了这两种编码模式的优势。首先，稀疏编码在编码能力（以及能源效率）和解码难度之间提供了一个良好的权衡。其次，它平衡了编码的泛化能力与抗干扰能力。最后，通过神经元对自然刺激中常见结构的选择性调谐，稀疏编码显式地表征了这些结构。这样可以让不同变换下同一个自然刺激对应的神经表征所形成的流形变得更加平坦，有利于下游脑区的进一步加工。这些优势能够支持生物体对信息进行更有效的编码、传输和存储。

生物大脑在多个层面均利用了这一高效、节能的编码模式，如视觉、嗅觉、躯体感觉等。目前观点认为，生物脑中的稀疏编码现象可分为“population sparsity”“lifetime sparsity”以及“connection sparsity”。随着科学技术的发展，研究人员能够通过更加直观的技术手段观察、解析生物脑中的稀疏编码现象，并从中提炼智能产生的基础原理。

对大脑稀疏编码的研究同样推动机器学习和智能算法的发展。这些研究中产生了诸如HTM等利用稀疏性进行神经计算的新算法。另一些研究则提出稀疏编码具有有效提升编码表示能力或者提升机器学习模型的性能的优势。

图4.一种可能的大脑中长距离信息传递模型示意图。高维稀疏神经活动s^0被压缩成低维信号x，方便长距离传输。根据压缩感知理论，该稀疏信号可以在目标区域被无损重建[Ganguli, Surya et al, 2022]

大脑的稀疏编码机制还与压缩感知理论高度相关。压缩感知理论指出，在满足一定条件的情况下，高维的稀疏编码信息可以无损地通过一个低维通道进行传输并还原(图 6)。而神经系统往往接受外界具有一定稀疏性的信号（自然图像，声音，气味等），并将处理后的信号传递到更深层次的脑区。因此这种机制对神经系统可能具有重要意义。

总的来说，稀疏编码机制在生物大脑中广泛存在，且具有独特优势，因此可能是生物大脑用来高效且鲁棒地处理外部信息的一种必要和可行的方法。稀疏编码机制是人们理解生物智能的重要角度，也是利用生物智能改进人工智能算法可能的途径。

5.关系记忆：“参考系”与

群体神经元的认知编码发现

知识存储是智能不可或缺的认知能力，然而海量的知识是如何被大脑有序存储、组织、并最终形成记忆，一直以来是神经科学和计算科学领域的热点问题。近期研究表明，以大脑内嗅皮层（Entorhinal cortex）和海马（Hippocampus）为环路的记忆系统（图1a），神经元是以构建“参考系”（frames of reference）的形式存储信息。

图5. （a) 海马（红色轮廓）与内侧颞叶（蓝色轮廓）的解剖位置，该系统同时编码陈述性记忆和空间记忆。（b) 基于单神经元（网格细胞）的参考系示例，以及局部“认知地图”神经元感受野（firing field）编码不同维度信息的示例。（c) 群体神经元（网格细胞）的torus拓扑结构与神经元的相位关系示例（左列）。在导航与决策任务中，起点（蓝色阴影区域）或终点（红色阴影区域）信息由群体神经元的活动序列编码（右列），终点位置由较强的群体神经活动编码并形成活动梯度以驱动决策和导航。

参考系中，不同维度的信息（例如陈述性记忆和空间记忆）由内嗅皮层的grid cell编码、从而实现认知地图的构建，以及信息之间相对关系的量化（图1b）。然而，一个由单神经元编码的参考系不足以编码海量信息，大脑内应该存在相当数量的参考系，基于此，群体神经编码的假设开始出现，即大量基于grid cell编码的参考系共同构建了大脑的关系记忆网络。

Gardner等人通过记录大鼠在觅食内嗅皮层的grid cell电活动并降维后发现，群体grid cell电活动在三维空间下呈现了toroidal拓扑形态，即大鼠觅食所处的二维空间，在神经元的“世界里”是一个连续的、周期性的环状结构（例如，二维空间的长和宽可分别由torus的内环和外环代表），该结构包含了空间的所有位置信息（由grid cell的不同相位的编码）。进一步地，再通过海马的place cell（即grid cell的每一个“firing field”在海马的映射）编码自身或目标位置以驱动决策（图1c）。

总结来说，神经元的“参考系”机制，不仅整合了大脑空间记忆与非空间记忆（陈述性记忆）这两个长久以来独立且平行的神经科学方向，也为新研究方向-关系记忆注入了动力。

6.可塑性：

从知觉学习探讨大脑可塑性

大脑是一个庞大有序的动态神经网络系统，几乎参与了所有重要的生命活动。经验可以诱导这个系统中神经元和神经环路的功能特性发生变化，以帮助个体适应环境，这被称为大脑的可塑性。

知觉学习是知觉系统适应外部环境的一种典型现象，是指通过反复练习或体验，对物理刺激的感知发生持续而稳固的变化。它表现为在数月和数年内稳定地保持对知觉特征和物体识别能力的逐渐无意识改善。这种感知能力的提高伴随着大脑多个结构和功能层面的神经变化，从而为研究大脑可塑性提供了一个很好的范式。

能否在训练任务以外的第二个任务上提升表现，可用来判定知觉学习的特异性和迁移性。早期研究认为视觉知觉学习具有极强的特异性——获得的行为改善与训练的刺激物和任务的基础物理特性是紧密相连的。然而另一方面，一系列的研究表明，知觉学习的特异性可以被降低甚至完全消除，这也被称为知觉学习的迁移性。

知觉学习的特异性意味着知觉学习可能发生在低层次的皮质区域。一些电生理学和fMRI研究发现，知觉学习与早期视觉皮层区域的活动增强有关。然而，人们也发现，与注意和决策有关的大脑区域也参与了知觉学习过程。这为知觉学习的迁移性提供了可能的解释。简而言之，知觉学习的机制不是一个简单的过程，而是多个脑区之间的复杂交互，这也解释了为什么在不同条件下可以观察到特异性和转移性。在计算模型上，基于赫伯法则及重赋权理论的增强Hebbian重赋权模型（AHRM），可解释和预测实验观察到的多种行为表现模式。其中，重赋权理论强调了知觉学习发生的主要位点在与任务和决策相关的综合层面上，且知觉学习改变了视觉系统中不同层次的表征的权重。

人脑中的学习是一个复杂而灵活的过程，它既涉及基于Hebbian规则的突触强度变化，也涉及多个脑区之间的高级调度。而在人工神经网络中节点之间的连接权重在训练后通常是固定的，这使得它在迁移和功能补偿方面与人类学习不同。在人类的感知学习中，迁移性和特异性通过一种不明确的机制得到平衡，使得大脑成为一个高效和节能的智能中心。未来的研究可能会收集来自人脑的直接证据，以揭示学习的突触层面的机制，从而促进人工神经网络衍生出更强大的学习策略。

总结

该综述报告提出了六个对生物脑智能而言重要的“第一性原理”，包括吸引子网络（Attractor Neural Networks）、临界态（Criticality）、随机网络（Random Networks）、稀疏编码（Sparse Coding）、关系记忆（Relational Memory）以及神经可塑性（Neural Plasticity）。这些从大脑神经网络结构和功能活动中抽象出来的第一性原理，从不同的维度向我们揭示了大脑处理、存储、学习、记忆外界信息的底层机制与模式。希望这些“第一性原理”，能够为更加高效、可解释的AI模型与算法的研究提供更多的启发。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”