酷应用

类脑计算的一大突破 BrainScaleS-2

百家作者：人工智能学家 2022-02-22 19:52:08

来源：混沌巡洋舰

今天最成功的人工智能算法，人工神经网络，是基于我们大脑中错综复杂的真实神经网络。但与我们高效的大脑不同的是，在计算机上运行这些算法消耗了惊人的能量: 最大型的模型在训练全过程中消耗的能量几乎相当于五辆汽车。

进入神经形态计算是一个更接近我们大脑的设计原则和物理学的新架构，可能成为能耗更低人工智能的未来。神经形态计算模拟了我们头脑中胶状物质的结构，将计算单元(神经元)放在记忆(存储在连接神经元的突触中)旁边，而不是在中央处理单元和存储芯片之间进行长距离的数据传输。为了使它们更像大脑，研究人员将神经形态芯片与模拟计算结合起来，这种计算机可以像处理真正的神经元一样处理连续的信号。由此产生的芯片与目前仅依赖0和1的二进制信号处理的数字计算机的架构和计算模式有很大的不同。

以大脑为指导，神经形态芯片有望有朝一日消除人工智能中大数据量的计算任务的高能耗。不幸的是，人工智能算法在这些芯片的模拟版本中表现不佳，因为存在被称为设备不匹配的问题: 在芯片上，由于制造过程的复杂性，单个模拟神经元中的微小组件，无法运行最新的训练程序，所以算法必须首先在传统计算机上进行离散化训练。但是，当算法传输到芯片上时，一旦遇到模拟硬件的不匹配，其性能就会下降。

现在，上个月发表在PNAS的一篇论文[1]最终揭示了一种绕过这个问题的方法。Friedrich Miescher生物医学研究的 Friedemann Zenke 和海德堡大学的 Johannes Schemmel 领导的一个研究小组表明，一种被称为尖峰神经网络的人工智能算法---- 利用大脑独特的通信信号，即尖峰---- 可以与芯片一起学习如何补偿设备不匹配。这篇论文是人工智能向模拟神经形态计算迈出的重要一步。

“令人惊讶的是，它工作得如此之好,”荷兰国家数学和计算机科学研究所 CWI 的神经网络专家Sander Bohte说。“这是一个相当大的成就，很可能是模拟神经形态系统通向更多应用的蓝图。”

模拟计算对于基于大脑的计算的重要性是微妙的。数字计算可以有效地代表大脑尖峰信号的一个二进制方面，即像闪电一样穿过神经元的电脉冲。就像二进制数字信号一样，要么发出尖峰信号，要么不发出。但是尖峰信号是随着时间不断发送的ーー这是一种模拟信号ーー而且我们的神经元最初决定发送尖峰信号的方式也是连续的，这是基于细胞内的电压随着时间的推移而变化。(当电压达到与细胞外电压相比的特定阈值时，神经元发出一个尖峰。)

“大脑进行计算的美妙之处在于其是模拟的。模仿大脑的这个关键方面是神经形态计算的主要驱动力之一，苏黎世大学和苏黎世联邦理工学院的神经形态工程研究员 Charlotte Frenkel 说。

2011年，海德堡大学的一组研究人员开始开发一种同时具有模拟和数字两个方面的神经形态芯片，用以密切模拟大脑的神经科学实验。现在由 Schemmel 领导的团队已经发布了最新版本的芯片，称为 BrainScaleS-2。芯片上的每个模拟神经元都模拟了脑细胞的输入输出电流和电压变化。

你真的拥有一个不断交换信息的动力系统。由于这些材料具有不同的电特性，芯片传输信息的速度比我们的大脑快1000倍。

但是，由于模拟神经元的特性变化如此之小ーー器件不匹配的问题ーー电压和电流水平也因神经元而异。这些算法无法处理这个问题，因为它们是在完全相同的数字神经元的计算机上训练的，这会使得它们的模拟片上性能突然大幅下降。

这项新工作指明了前进的道路。通过在训练过程中加入该芯片，作者表明，脉冲神经网络可以学习如何校正 brainscales-2芯片上不同的电压。弗兰克尔说: “这种训练方法是首批令人信服的证据之一，证明异质性不仅可以被补偿，而且可能被利用。”。

为了解决设备不匹配问题，研究小组将一种允许芯片与计算机对话的方法与一种称为代理梯度的新学习方法结合起来。代理梯度是由 Zenke 专门为刺激神经网络而开发的。它通过改变神经元之间的连接来减少神经网络在任务中出现的错误。(这类似于非脉冲神经网络所使用的方法，称为反向传播。)

在计算机上进行训练时，代理梯度法能有效地纠正芯片异质性带来的缺陷。首先，脉冲神经网络利用芯片上模拟神经元的不同电压执行一个简单的任务，将电压记录发送回数字计算机。在那里，算法自动学习如何最好地改变其神经元之间的连接，使其仍然能在模拟神经元很好地发挥作用，并在学习中，持续改变其在芯片上的权重。然后，当训练完成时，脉冲神经网络可在芯片上执行任务。研究人员报告说，他们的神经网络在语音和视觉任务上达到了与在计算机上执行任务的顶级脉冲神经网络相同的精确度。换句话说，该算法准确地知道需要做哪些更改才能克服设备不匹配问题。

Sussex学的计算神经科学家 Thomas Nowotny 说: “他们用这个系统做了一个真正的问题，这是一个巨大的成就。”。而且，正如所料，他们这样做的能源效率令人印象深刻; 作者说，在芯片上运行他们的算法消耗的能源比一个标准处理器需要的能源少1000倍。

然而，Frenkel 指出，虽然能量消耗到目前为止是个好消息，但是神经形态芯片仍然需要在一般化的硬件环境中，完成类似的语音和视觉识别任务，而不是为其特定优化的处理器上证明自己。Nowotny 警告说，这种方法可能难以扩展到大型实际任务，因为它仍然需要在数字计算机和芯片之间来回穿梭数据。

长期目标是让神经网络自始至终在神经形态芯片上训练和运行，根本不需要数字计算机。Nowotny 说，但这需要构建新一代芯片，这需要数年的时间。

目前，Zenke 和 schmmel 的团队很高兴地展示了神经网络算法可以处理神经形态硬件上模拟神经元之间的微小变化。“你可以依靠60或70年的经验和软件历史的数字计算,”Schemmel 说。“对于这种模拟计算，我们必须自己一切从头开始。”

[1] https://www.pnas.org/content/119/4/e2109194119

原文链接：https://www.quantamagazine.org/ai-overcomes-stumbling-block-on-brain-inspired-hardware-20220217/

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”