湃方科技武通达：边缘 AI 芯片在工业中的应用

在 CIC 2021 云计算峰会上

青云科技的重要合作伙伴

湃方科技联合创始人 & CEO 武通达

分享了高能效边缘 AI 芯片在工业 AIoT 中的应用实践

从自研的前沿 AI 芯片

到结合场景的工业落地

有技术干货，有产业实践

青仔这就送上演讲全文

温馨提示：

搭配视频，滋味加倍~

湃方科技创始团队来自清华大学，基于边缘计算，自研了一款高能效的、用于物联网终端的 AI 芯片（人工智能芯片），并打造了一套智能物联网系统。目前主要落地在工业场景中，面向工业设备智能化，比如传统机械设备的状态监测等，整体从芯片、算法、硬件、软件进行联合优化。

先从芯片开始说起。近几年 AI 芯片发展火热，国家也在大力推进。从趋势来看，AI 芯片的发展方向，最初聚焦于大面积、大算力，面向云端、大数据训练或者推理，以及在服务器上应用等；随着智能物联网兴起，发展方向逐步转向低功耗、高能效、低成本。我们可以看到非常清晰的脉络，从功耗极大发展到现在，很多 AI 芯片已经成为降到 1 瓦以下，甚至毫瓦、微瓦级别的小芯片。

人工智能芯片逐步进入到特定的应用领域中，包括应用在自动驾驶、小型无人机、更小的摄像头、智能传感器等。在产业界发展的前夕，人工智能芯片在学术圈的发展也有一个清晰的脉络，从 2016 年开始就有大量的面向于低功耗领域的 AI 芯片的研究。从最早的能量效率大概在 0.1-1TOPS/W，现在已经发展到超过 100 TOPS/W，可以看到基于能效驱动的人工智能芯片的发展是非常迅速的。

我们可以简单地把高能效 AI 芯片的技术体系分为几大类：基于数据复用；基于数据稀疏度，减少对云资源的浪费；或者基于存内计算，减少数据搬移；再进一步，可能有新技术或者多技术的融合。

湃方科技是从大学里出来的团队，从 2015 年开始一直在实验室里做 AI 芯片，2017 年发布第一款自研芯片，随后一两年里，我们大概自研了 9 款芯片，这是 6 款比较典型的。

我们第一款相对成熟的高能效芯片是 2018 年的 Sticker-I，也是整个技术体系的开始，基于非结构化稀疏的优化方式。当时能量效率达到 62.1 TOPS/W，领先当时同期的其他同类型芯片。随后我们逐年都在技术上进行演进，比如 2019 年，我们发布了中国大陆第一篇 ISSCC（世界学术界和企业界工人的集成电路设计领域最高级别会议）上的人工智能芯片的论文，Sticker-T，我们把数据进行时频域变换，再重新放到芯片上做推理。随后我们面向工业场景做了基于特定应用的芯片，针对实时视频流的，基于存内计算的，以及存内计算的可扩展工作等。今年我们在 ISSCC 上发的就是大规模可扩展存内计算的 Sticker-M2。可以看到在基于高能效的 AI 芯片领域，无论学术圈还是工业界最近都出现了很多新的工作，我们也是其中之一。

我们的技术体系是简单清晰的，对于一款人工智能芯片的能效优化来说，主要的工作是减少浪费，提高过程中的调度效率，减少数据搬移等操作。

比如典型的技术是进行稀疏度优化。神经网络在做推理时，它的权重、激活函数里包含了很多含零项，如果能减少这些含零项的计算的话，就可以大幅度降低能耗。我们最初就是基于稀疏度和量化工作，可以看到这是典型的 Alexnet 剪枝优化的结果，可减少 96% 的浪费。

我们随后采用了更新的存内计算技术，需要应用新型存储器。在经典的处理器里，最大的问题是需要先把数据从存储器里搬出来，放到计算器里去计算，计算完后再送回存储器。在实际测试中发现，最主要的能量被消耗在数据搬进搬出的过程里。大家自然而然有一个想法，如果能把存储器和计算器做在一起，自然就降低功耗了。基于这种方式，我们采用了很多非易失存储器，包括现在比较火的 RRAM 等技术。后来我们将这两个技术做了结合。比如在存内计算的架构里，同时考虑稀疏。

像这里，我们考虑了非结构化的细粒度的稀疏，因为 0 分散在结构的各个地方，就需要做细致的电路调节。同时，我也考虑粗粒度的稀疏，把整块网络裁剪掉，这两种不同的稀疏技术在存内计算结合后实现了比较大的提升。

除了权重外，我们也看到激活函数的稀疏性有一些特征，只需要适配一些标准的输入向量，就可以对计算进行加速。

这是我们近期发布的一款存内计算芯片 Sticker-IM。在这个体系里，我们应用了在存内计算进行稀疏优化的技术，来看它的能量效率，计算最高可以跑到 158，整个系统的能耗效率大概跑到 35.8 的水平。随后我们把这些技术进行裁剪，终于从学校走到产业界之中。这款芯片是我们 2019 发布的，优化后应用在我们的低功耗传感器里。在这里面，我们当时做的 Tritium 103，采用 65nm 的工艺，平均功耗不到 40mW，主要做的是全连接和 CNN（卷积神经网络）的加速，当时这款芯片是协处理器，系统平均功耗就已经做到 3.7 TOPS/W，之后我们在持续降低功耗的同时，增加了处理器 SoC。

我们主要选择的 AI 芯片落地方向是在工业设备的智能化管理里，聚焦在传统设备，比如电机、水泵、风机、压缩机等。这些设备的典型特点是，信息化程度非常低，绝大部分是“铁疙瘩”，需要人去看。行业里的人一直在想能否加装很多传感器把数据监测起来，进行了大概 30 年左右的非常辛苦的信息化过程。随着物联网技术和更轻量级的传感器技术的产生，这个行业得以快速发展。

我们在分析工业行业的时候，发现了清晰的脉络。在工业 4.0 体系里，最早进行了流程自动化，包括 MES、ERP、工业软件；之后是对设备智能化，比如人机协同，包括数据的采集、设备的数字化、数字孪生等环节；再进一步，在完备的 IoT 系统基础上，进行数据的分析，比如对工艺参数、生产设计柔性进行分析、自动调度，这个环节我们称之为“工艺智能化”；最后将整个体系联动在一起，形成无人工厂。湃方科技目前就处于设备智能化与工艺智能化之间。

在工业智能设备对 AIoT 提出相当多的个性化要求。我们以旋转机械为例，如水泵、电机等，这类设备有大有小，小型设备需要监测它特定位置的数据，比如振动数据、电参数变化、磁场变化、温度，如果需要监测轴承等空间狭小的位置，这要求采集设备要做得非常小，不能有复杂的布线、连接、安装、部署等操作，这就要求最好是轻量化、小型、无线的物联网设备，这是第一。

第二是要求功耗非常低，寿命很长。因为工业设备往往寿命很长，平均寿命二十年左右，像一个工厂大概有两三万台旋转机械，如果传感器寿命只有 1 年，维护部署代价就会非常高。

第三是监测具有特殊性，我们叫多级实时性要求。比如目前设备管理采用的主要方式——日常巡检，频率可能是一天、几天或者几个小时，对于特定的异常处理要求很高。比如在油气管道领域里，要求 4 个小时内解决设备异常，否则就会产生堵塞。还有一些情况需要紧急响应。再比如突然的电机抱死、设备参入杂物，很可能造成设备的爆炸等问题，要求故障响应速度达到分钟级甚至更低。

最后一点，成本极低，海量部署。有一个统计数据，在中国，每年旋转设备增量超过 10 亿台，这个数量可能达到消费领域的手机的规模。如果要把这些设备都监测起来的话，对于设备的成本、可靠性、安装、部署方式都提出了极高的要求。

以前的方案是什么样的呢？通过传统的工业传感器，通过有线的数据采集、有线的供电，在本地部署，像 PLC/DCS 等系统，人员在中控室或者监控大厅监测设备的运行状态。但这套体系不足以满足现在真正的需求，因为这些系统往往体积大、成本高，目前只有大型设备，比如大的汽轮机、压缩机可以用这种系统，一套系统可能一两百万，我们一个水泵可能两万，这套系统就完全应用不了，不仅是成本，在部署复杂度、响应速度上都提出很多挑战。因此，智能物联网系统就有了大展身手的空间。

基于这样的思考，我们应用核心技术打造了这样一套系统：包括智能传感器，主要面向旋转类设备去采集其机械参数和电参数，通过多种通信方式，包括公有云、私有云，最后上传到顶层的用户服务软件，给客户提供分析、辅助决策等功能。

我们有两大突出优势：

所以我们和青云科技合作，搭建了这样一套端云协同的架构。我们将最核心的边缘计算能力部署应用在里面，即在无线智能终端和边缘盒子这些终端部署边缘计算能力，对数据进行初步的分析。在边缘侧，对多维的数据进行联合分析，比如同时分析多节点的数据，或者长期的数据。在云端，和青云结合，我们做两个工作：一是在线训练，二是模型管理和下发调度。

传统的传感器就是进行数据采集，隔几分钟或者一两个小时采集一包数据，再传输到云端。一般情况下，工业设备是不出问题的，如果一分钟采一包数据，其实大量数据都没什么用，它因为一直是正常的状态，如果一天只采两三包数据，用户又觉得如果设备突然出现问题，反应不及怎么办。

边缘计算可以将数据采集和数据发送分开。首先，在本地部署一个非常小的 AI 芯片，用比较高的频率去采集数据，直接进行智能检测。如果检测没有问题，这包数据就存在节点里，如果检测到这包数据有异常，就对这包数据进行压缩、处理，上传到云端，甚至可能在本地做一些响应。最终实现一个效果：采集的频率依然很高，当发生问题就紧急响应。在这种小型无线传感器里，通信所占的功耗占比超过 90%，甚至在某些行业里，我们可以用通信的次数来衡量节点寿命，如果减少无效数据传输，寿命就可以大幅度延长，同时满足工业用户对于寿命和实时性的要求。

最初我们和一些设备厂商合作，在他们的实验台上进行大量的破坏性实验，收集到很多数据建立一套模型，但真正应用到现场的时候，发现现场由于管路连接或是地基不稳等问题，某些故障状态是异常的，影响算法。这时候我们设计了一套自动学习的架构，现场应用时，先收集一段时间数据，一般 5 到 7 天，数据重新返回到云端，再对原来的模型进行调优。新生成的模型重新部署到原来的平台上，包含边缘端、节点上的边缘计算模型，以及云端与之匹配的详细分析的模型。每一台设备都拥有一套独立的边缘算法和云端算法，需要在云上对每一台设备都部署一套独立的环境，同时管理上千上万个边缘节点，每一个节点上也要有自己独立的边缘计算模型的管理。云架构，特别是容器化，能够更灵活调度资源。

这套系统在现场有不同场景的应用。

目前我们将这套系统主要应用在一些重工业行业里，比如油田，包括上游采集、中游传输、下游石化、化工领域，以及钢铁冶金行业等方向，已经成功累计 600 多次对于设备故障的预警分析。

讲一个在石油行业里的典型应用。采油厂一般分布在荒原里，每隔几公里或者十几公里有一个采油站，收集附近抽油机抽上来的石油，再通过这些采油站汇集到集中的输油体系里。依靠人工去做巡检与管理是非常困难的，但通过智能物联网的方式就能大幅度降低设备出现故障的次数，减少人员成本，提高安全性，提高运维效率。

除此之外，我们现在在和设备厂商直接合作，尤其是传统的机械厂商，比如水泵厂、电机厂、风机厂。这些厂商希望能提前对设备进行智能化的部署，和我们一起构建包括智能设备、远程设备监测，出现问题后由设备厂商提前进行主动运维，并通过设备在现场运行的状况分析，辅助内部进行工艺优化、服务优化等。原来制造业可能是通过生产管理或者是 ERP 资产的管理提升企业，现在我们提供一个新的方向，就是通过设备在外运行的监测和售后服务的管理，提高整个企业运行发展管理的体系。

我们希望做的事情是把边缘计算技术和云计算技术结合起来，打造成新一代的智能物联网体系，能够为我国工业体系的整体水平提升，贡献一点我们的力量。

以上就是武通达先生的演讲内容

知识越是与人分享，价值就越是宝贵

作为数字时代创新趋势的引领者

青云也将继续与大家分享 CIC 2021 的精彩演讲

欢迎持续关注！

- FIN -