酷应用

为AI寻找最佳人造突触：IBM电化学RAM亮相IEEE电子元件会议

百家作者：机器之心 2019-01-17 09:39:46

选自 spectrum

作者：Samuel K. Moore

机器之心编译

参与：Geek AI、张倩

用什么样的设备构建一个神经网络才是最合适的呢？它需要运行速度快、体积小、功耗低，能够可靠地存储许多比特的信息。在旧金山举行的 IEEE 国际电子元件会议上，来自 IBM 公司、普渡大学等机构的研究人员介绍了几种新设备，试图接近深度学习和神经形态计算所需的理想状态。

神经网络可以看作是一组神经元与神经元之间相互连接的结构。这些连接（类似于生物神经元中的突触）都具有相应的特殊强度或权重。公司和学术研究人员并没有使用普通 CPU 的逻辑和内存来表示神经网络，而是一直在研究用不同种类的非易失性内存阵列表示它们的方法。这样，就可以在不移动任何数据的情况下进行关键的计算。目前，基于可变电阻式存储器、闪存、磁性随机存储器和相变内存的人工智能系统都处于研究过程中，但它们都有各自的局限性。最近，在旧金山举行的 IEEE 国际电子元件会议上，研究人员提出了一些可能取得更好性能的备选方案。

IBM 公司最近开发了一种名为电化学 RAM（electrochemical RAM）的基础部件，用于构建完美的突触结构。与相变内存或电阻式内存一样，它通过电导率的变化储存信息。但是，相变内存和电阻式内存只能实现两个或几个状态，而电化学 RAM 可以实现几十个甚至数百个状态。

IBM 对电化学 RAM cell 单元的写入操作驱动锂离子进出三氧化钨通道。读数包括测量通道的电导率。

电化学 RAM 的 cell 单元看起来有点像 CMOS（互补金属氧化物半导体）晶体管。栅极位于介电层之上，会覆盖一个半导体通道和两个电极（即源极和漏极）。然而，在电化学 RAM 中，电介质是锂磷氮化物，这是一种用于实验性薄膜锂离子电池的固态电解质。在电化学 RAM 中，对应于 CMOS 晶体管中硅通道的部分是由三氧化钨制成的。通常，我们将三氧化钨用于建造智能窗户等设备。

为了设置电阻的水平——神经网络项中突触的「权重」——让脉冲电流穿过栅极和源极。当这个脉冲具有某种极性时，它会将锂离子驱入钨层，使钨层导电。反转输出电压的极性后，离子会逃逸回磷酸锂中，从而降低电导率。

当我们想要读取突触的权重时，只需要在源极和漏极之间设置一个电压，然后感知产生的电流。IBM T.J. Watson 研究中心的 Jianshi Tang 说，ECRAM 的优点之一是：可以将当前的读路径和写路径分离开来。相变内存和电阻式内存必须让电流通过相同的路径才能设置和感知电导率。因此，读取 cell 单元可能会导致其电导率漂移。

（IBM 的一个独立研究小组也在 IEDM 上提出了解决这个漂移问题的方案。该团队提出的「投影」相变内存的 cell 单元包含一个可以在不让读取电流重写 cell 单元的情况下将其分流的结构。）

IBM 根据其测试版本的 cell 单元构建了一套测量标准，以测量由这样的一组单元组成的神经网络可以达到多高的准确率。他们在 MNIST 手写数字数据库上进行了测试，实验结果表明，这个神经网络达到了 96% 的准确率，与理想相差无几。他们最初想通过将 cell 单元能达到的电导率状态数增加一倍（达到 110）来提高准确度，但没有成功。Tang 说：「准确率并没有进一步提升，这让我们感到很惊讶」。

普渡大学的神经网络通过调整网络权重的反馈过程进行学习。当设备具有对称的电气特性时，其工作效果最好。

IBM 的团队发现，电导率在上升到峰值和下降之间的轻微不对称性会阻碍准确率的提升。完全对称意味着一次电流脉冲应该会改变一定数量的电导率，然后相反极性上相同的脉冲应该精确地将电导率返回到它的起点。与其他非易失性存储器相比，ECRAM 具有良好的对称性，但这还并不完美。

将这种不对称性降低一半，就能使神经网络达到可能的最佳准确率。根据他们的研究，通过调整设备的动态范围，将不对称性降低一半是绝对可行的。

IBM 团队还说明了，ECRAM 的导电通道可以缩小到 100 纳米宽的程度，而他们最初构建的导电通道有 60 微米宽。这样大小的 ECRAM 只需要千万亿分之一焦耳的能量就能改变其状态，这接近于人类神经元突触所消耗的能量。Tang 说：「当然，没有什么事请是完美的。使用 ECRAM 实现神经形态阵列仍然存在一些挑战」。

Peide Ye/普渡大学锗铁电纳米线晶体管可能具有适用于加速人工智能的特性。

ECRAM 并不是今年 IEDM 上在这个领域的唯一竞争者。由 IEEE Fellow Peide Ye 领导的普渡大学的研究小组小组提出了一种由锗纳米线和铁电材料制成的装置。铁电体对微小的电压有很强的极化反应。通过在晶体管的栅极上放置铁电，研究人员希望降低晶体管开关时的电压，从而降低功耗。但是你也可以在铁电体中储存信息。这是通过翻转部分铁电体的极性，从而改变在给定电压下通过晶体管的电流来实现的。这就是 Peide Ye 的团队所做的工作，他们制造出了一种能够产生超过 256 种电导状态的器件。更重要的是，它可以上调或下调那些具有合理对称性的电导态。一个利用该装置制作的处理 MNIST 手写数字任务的仿真网络的准确率达到了 88%。

然而，如果你的神经网络不需要执行学习任务，就不需要这种对称性和数百种电导状态。日常生活中，你可能想要人工智能系统做很多事情，比如让你的咖啡机在听到「唤醒命令」后启动，这些系统会学会在云端离线工作。完成这项工作所需的权重集合和神经连接将被加载到咖啡机内一个专用的低功耗芯片上。许多初创公司都在寻求为自己开辟一番天地，提供这些具有「推断」功能的芯片或背后的技术，其中一些公司依赖于使用内存单元来存储权重并执行关键的深度学习计算任务。例如，Syntiant、Mythic 以及 Anaflash 都为它们的芯片处理工作使用了嵌入式闪存。

圣母大学的 FeMFET 的铁电层建立在晶体管之上，而芯片往往在这里进行互联。

来自印第安纳州圣母大学和德克萨斯州奥斯汀市三星高级逻辑实验室的一组研究人员发明了一种用于嵌入式人工智能芯片的新型存储单元：铁电金属 FET（FeMFET）。圣母大学的 Kai Ni 希望提升 FeFET 在此类人工智能应用上的性能；FeFET 一直受制于写入权重时所需的高电压，这导致了一些可靠性问题。他们提出的解决方案是将铁电层从晶体管中移出，使其成为位于晶体管上方的独立电容器。

将权重写入可容纳两位比特的 FeMFET，所耗费的电压不到以前使用铁电体的人工智能方案的一半。但就目前而言，实现这种技术需要太长时间。Ni 说：「我们现在唯一的缺点就是写入速度，我们认为这不是 cell 单元的固有特性，是可以改进的」。

可能目前并没有用于神经形态芯片和深度学习设备的完美的突触结构。但从上周在 IEDM 上公布的各种新的、实验性的测试结果来看，我们将拥有更好的突触结构。