酷应用

边缘AI新方法TinyML，超低功耗，存储占用KB计，在边缘设备上进行机器学习

百家作者：机器之心 2020-11-02 14:37:17

选自towardsdatascience

作者：Matthew Stewart

机器之心编译

编辑：陈萍

人工智能 AI 正在加快速度从云端走向边缘，进入到越来越小的物联网设备中。而这些物联网设备往往体积很小，面临着许多挑战，例如功耗、延时以及精度等问题，传统的机器学习模型无法满足要求，那么微型机器学习又如何呢？

在 NASA 的推动下，小型化的电子产品成为了一个完整的消费品行业。现在我们可以把贝多芬的全部音乐作品放在翻领针上用耳机听。——天体物理学家兼科学评论员尼尔 · 德格拉斯 · 泰森 (Neil deGrasse Tyson)

超低功耗嵌入式设备随处可见，再加上用于微控制器的 TensorFlow Lite 等嵌入式机器学习框架的引入，这些使得人工智能驱动的物联网设备大规模普及。——哈佛大学副教授 Vijay Janapa Reddi

嵌入式设备的微型机器学习（TinyML）示意图。

本文关于微型机器学习系列文章的第一篇，旨在向读者介绍微型机器学习的概念及其未来的潜力。后续文章将深入讨论特定应用、实现和相关教程。

TinyML 简介

在过去的十年里，我们已经看到，由于处理器速度的提升和大数据的出现，机器学习算法的规模呈指数级增长。最初模型很小，在本地计算机上可以使用 CPU 中的一个或多个内核运行。

不久之后，使用 GPU 的计算成为处理更大数据集的必要条件，而且由于引入了云服务，如 SaaS 平台（谷歌 Google Colaboratory）和 IaaS（Amazon EC2 Instances），计算变得更加容易获得。此时，算法仍然可以在单机上运行。

近来，专用集成电路（ASIC）和张量处理单元（TPU）的发展，它们可以容纳 8GPU 左右的功率。这些设备增强了跨多个系统分布学习的能力，并试图发展越来越大的模型。

随着 GPT-3 算法（2020 年 5 月）的发布，这种情况达到了顶点，其网络结构包含惊人的 1750 亿个神经元——是目前存在于人类大脑中的两倍多（约 850 亿）。这是有史以来第二大神经网络神经元数量的 10 倍——Turing-NLG（2020 年 2 月发布，包含约 175 亿个参数）。一些人估计称，模型的训练成本约为 1000 万美元，使用了大约 3 GWh 的电力（大约是三个核电站一小时的发电量）。

虽然 GPT-3 和 Turing-NLG 的成就值得赞扬，但一些业内人士批评人工智能产业的碳足迹越来越大。然而，这也有助于激发人工智能界对更节能计算的兴趣。诸如更有效的算法、数据表示和计算，它们一直是微型机器学习的焦点。

微型机器学习（TinyML）是机器学习和嵌入式物联网（IoT）设备的交集。该领域是一门新兴的工程学科，有可能使许多行业产生革命性变革。

TinyML 的行业受益者是边缘计算和节能计算，其源于物联网（IoT）的概念。物联网的传统理念是将数据从本地设备发送到云上进行处理。一些人对这个概念提出了以下几个方面的担忧：隐私、延迟、存储和能源效率。

能源效率：传输数据（通过电线或无线）是非常耗能的，比板载计算（特别是乘积单元）的耗能多一个数量级。开发能够自己进行数据处理的物联网系统是最节能的方法；
隐私：传输数据可能会侵犯隐私。数据可能被恶意的参与者截获，并且当数据存储在一个单一的位置（如云）时，其安全性就会降低。通过将数据保存在设备上并尽量减少通信，能够提高数据安全性和隐私性；
存储：对许多物联网设备来说，所获得的数据毫无价值。想象一下，一个安全摄像头一天 24 小时都在记录一座大楼的入口。在一天的大部分时间里，摄像机的镜头毫无用处，因为什么都没有发生。通过一个更智能的系统，必要时激活，降低存储容量，传输到云端所需的数据量会减少；
潜在因素：对于标准的物联网设备，如 Amazon Alexa，这些设备将数据传输到云进行处理，然后根据算法的输出返回响应。从这个意义上说，这个设备只是一个通往云模型的便捷门户，就像你和亚马逊服务器之间的「信鸽」。这个设备相当愚蠢，完全依赖互联网的速度来产生结果。如果你的网速很慢，Amazon Alexa 也会变慢。对于具有机载自动语音识别功能的智能物联网设备来说，由于减少了对外部通信的依赖性，因此延迟降低了。

这些问题导致了边缘计算的发展，即在边缘设备（云的边缘设备）上执行处理活动。这些设备在内存、计算和功耗方面都受到了极大的资源限制，这使得更高效算法、数据结构和计算方法得以发展。

这些改进同样适用于较大的模型，可能会使机器学习模型的效率提高一个数量级，而不影响准确度。例如，微软开发的 Bonsai 算法可以小到 2KB，但比典型的 40MB kNN 算法或 4MB 神经网络性能更好。这个结果听起来可能不重要，但是同样准确度的模型大小却降到了万分之一，这是很可观的。这么小的模型可以在使用 2 KB RAM 的 Arduino Uno 上运行——简而言之，你现在可以在一个 5 美元的微控制器上建立这样一个机器学习模型。

机器学习正在向两种计算范式分化：以计算为中心的计算和以数据为中心的计算。在以计算为中心的范式中，数据由数据中心的范例进行存储以及分析，而在以数据为中心的范式中，在本地完成对源数据的处理。虽然以计算为中心的范式似乎正在迅速走向一个极限，但以数据为中心的范式才刚刚开始。

物联网设备和嵌入式机器学习模型变得越来越普遍，预计到 2020 年底将超过 200 亿台活动设备，许多设备你可能还没注意到。智能门铃、智能恒温器、以及说几个单词就能唤醒或者拿起就能唤醒的智能手机。本文的其余部分将更深入地关注 tinyML 的工作原理，以及当前和未来的应用。

云的层级结构（图源：https://www.thinkebiz.net/what-edge-computing/）

TinyML 用例

在此之前，对于一个设备来说，复杂的电路是必要的，这样能够执行各种各样的动作。现在，机器学习将这种硬件智能抽象成软件变得越来越有可能，使得嵌入式设备越来越简单、轻便和灵活。

TinyML 最显著的例子是智能手机。这些设备通常都有唤醒词，例如：安卓智能手机的「Hey Google」，或是 iPhone 的「Hey Siri」。智能手机通过 CPU 处理这些活动，现代 iPhone 的主中央处理器是 1.85 GHz，会在几个小时内耗尽电量。对于大多数人一天中最多使用几次的设备来说，这种程度的耗电量不可接受。

为了解决这个问题，开发人员开发了专用低功耗硬件，这种硬件可以由一个小电池（比如一个圆形的 CR2032 硬币电池）供电。这使得电路即使在 CPU 不运行的情况下（基本上是在屏幕不亮的时候）也能保持活跃状态。

这些电路的功耗仅为 1mW，使用标准 CR2032 电池可以供电长达一年。能源是许多电子设备的限制因素。任何需要主电源供电的设备都受限于有线电路，当十几台设备同时出现在同一位置时，线路就会迅速超负荷。电力系统的效率很低，而且价格昂贵。将电源电压（在美国约为 120v）转换为典型的电路电压（通常约为 5 V）会浪费大量的能量。任何使用笔记本电脑充电器的人在拔下充电器时都可能知道这一点。充电器内变压器产生的热量在电压转换过程中浪费了能量。

即使是有电池的设备，电池的续航时间也有限，需要频繁地充电。许多电子产品的电池在设计时只能使用一个工作日。TinyML 设备可以用硬币大小的电池持续工作一年，这意味着在偏远环境中，只有在必要时才进行通信，以节省能源。

单词唤醒并不是唯一一个无缝嵌入智能手机的 TinyML。加速计数据用于确定是否有人刚刚拿起了手机，这将唤醒 CPU 并打开屏幕。

显然，这并不是 TinyML 唯一的应用。事实上，TinyML 为企业以及爱好者提供了生产更智能物联网设备的机遇。数据变得越来越重要，将机器学习资源分配到偏远地区内存有限的设备上，给数据密集型行业（如农业、天气预报或地震学）带来了好处。

毫无疑问，赋予边缘设备执行数据驱动处理的能力，将为工业过程带来范式转变。例如，当设备检测到土壤湿度、特定气体（例如苹果成熟时释放出乙烷）或特定大气条件（如大风、低温或高湿度）等特征时，检测设备会发送有助于作物的信息，极大地促进作物生长，从而提高作物产量。

再举一个例子，一个智能门铃可以安装一个摄像头，通过面部识别来确定谁在现场。这可以用于安全目的，或者甚至只是当有人在场时，门铃上的摄像机信号会传输到房子里的电视上，这样居民们就知道谁在门口。

目前，TinyML 的两个主要重点领域是：

关键字发现。大多数人已经熟悉此类应用程序。「Hey Siri」和「Hey Google」是关键字的示例（通常与「hotword」或「wake word」同义使用）。这样的设备连续收听来自麦克风的音频输入，并且被训练为仅响应特定的声音序列，这些特定的声音序列与学习的关键字相对应。这些设备比自动语音识别 (ASR) 应用程序更简单，并且相应地使用了更少的资源。某些设备（例如 Google 智能手机）利用级联架构来提供扬声器验证以确保安全性；
视觉唤醒词。唤醒词有一个基于图像的类似物，称为视觉唤醒词。我们可以把它想象成一个图像的二值分类来表示某物是存在还是不存在。例如，可以设计智能照明系统，使得其在检测到人的存在时启动，并在人离开时关闭。同样，当存在特定的动物时，野生动物摄影师可以使用它来拍照，而当他们发现有人时，可以使用安全摄像机拍摄照片。

下面显示了 TinyML 当前机器学习用例的更广泛概述。

TinyML 的机器学习用例（源图像：NXP)。

TinyML 工作方式

TinyML 算法的工作方式与传统机器学习模型基本相同。通常，这些模型是在用户的计算机上或云上进行训练的。后期训练是 TinyML 的工作真正开始的地方，这个过程通常被称为深度压缩。

深度学习模型压缩流程图（图源：https://arxiv.org/pdf/1510.00149.pdf）

模型蒸馏

训练完成后，模型会被修改，以创建一个表示形式更紧凑的模型。剪枝和知识蒸馏是两种常用方法。

知识蒸馏的基本思想是，较大的网络具有一定的稀疏性或冗余性。虽然大型网络具有较高的表示能力，但如果网络容量不饱和，则可以在具备较低表示能力的较小网络（即较少的神经元）中进行表示。

下图演示了知识蒸馏的过程：

深度压缩过程图（图源：https://arxiv.org/pdf/1510.00149.pdf）

同样地，剪枝可以使模型表示更紧凑。广义上讲，剪枝试图去除对输出预测影响较小的神经元。通常与较小的神经权重有关，而较大的权重由于其在推理过程中的重要性而保持不变。然后，网络在剪枝后的架构上重新训练，微调输出。

为模型的知识表示蒸馏进行的剪枝。

量化

经过蒸馏后，模型在训练后被量化成一种与嵌入式设备架构兼容的格式。

为什么需要量化？想象一下，一个使用 ATmega328P 微控制器的 Arduino Uno，它使用 8 位运算。要想在 Uno 上运行一个模型，理想情况下模型权重必须存储为 8 位整数（而许多台式计算机和笔记本电脑使用 32 位或 64 位浮点表示）。通过量化模型，权重的存储大小减少为原来的 4 分之一（如 32 位到 8 位值的量化），而对准确度的影响可以忽略（通常约为 1–3%）。

8 位编码过程中量化误差的示意图（图源：https://tinymlbook.com/）

此外，在量化过程中，由于量化误差，一些信息可能会丢失。为了解决这个问题，量化感知（QA）训练被提出并作为一种替代方案。

哈夫曼编码

哈夫曼编码是可变字长编码 (VLC) 的一种，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字。

编译

一旦模型被量化和编码，它就被转换成一种格式，该格式可以被某种形式的小型神经网络解释器解释，其中最流行的可能是 TF Lite（大小约 500kb）和 TF Lite Micro（大小约 20kb）。然后将该模型被编译成 C 或 C++（大多数微控制器都能有效地使用内存），并由设备上的解释器运行。

TinyML 应用程序工作流（图源：https://tinymlbook.com/）

TinyML 大部分技巧来自于处理复杂的微控制器世界。TF Lite 以及 TF Lite Micro 之所以这么小是因为所有不必要的功能都被删除了。不幸的是，一些有用的功能也被删除了，如调试和可视化。这意味着，如果在部署期间出现错误，就很难判断发生了什么。

此外，当模型存储在设备上时，还能进行推理。这意味着微控制器必须有足够大的内存来运行（1）操作系统和库；（2）神经网络解释器，如 TF Lite；（3）存储的神经权重和神经结构；（4）推理过程中的中间结果。因此，量化算法的峰值内存使用率，以及内存使用量、乘法累加单元（mac）的数量、精度等经常在 TinyML 研究论文中引用。

为什么不在设备上训练

在设备上进行训练会带来更多的「并发症」。由于数值精度降低，很难保证充分训练网络所需的准确率水平。标准台式计算机上的自动区分方法对于机器精度大约是准确的。以 10^-16 的精度计算导数令人难以置信，但是对 8 位值使用自动微分将会导致较差的结果。在反向传播过程中，这些导数会组合并最终用于更新神经参数。在如此低的数值精度下，模型的准确度可能很差。

话虽如此，神经网络已经使用 16 位和 8 位浮点数进行了训练。

2015 年，Suyog Gupta 及其同事发表的第一篇有关降低深度学习中的数值精度的论文是《Deep Learning with Limited Numerical Precision》。论文结果表明，32 位浮点表示形式可以减少为 16 位定点表示形式，而准确度几乎没有降低。但这是使用 stochastic rounding 算法的唯一情况，因为通常来说，它会产生无偏结果。

2018 年，Naigang Wang 及其同事在其论文《Training Deep Neural Networks with 8-bit Floating Point Numbers》中使用 8 位浮点数训练了神经网络。由于需要在反向传播期间保持梯度计算的保真度（在使用自动微分时能够实现机器精度），因此使用 8 位数字来训练神经网络要比使用推理更有挑战性。

计算效率如何？

模型还可以进行裁剪，以提高计算效率。广泛部署在移动设备上的模型架构如 MobileNetV1 以及 MobileNetV2 就是很好的例子。这些本质上是卷积神经网络，它们重新定义了卷积运算，使其计算效率更高。这种更有效的卷积形式被称为深度可分离卷积。此外还可以使用基于硬件的配置以及神经架构搜索来优化架构延迟，但这些在本文中没有涉及。

下一次 AI 革命

在资源受限设备上运行机器学习模型的能力为许多新的可能性打开了大门。AI 的发展可能使标准机器学习更加节能，有助于减少人们对数据科学影响环境的担忧。此外，TinyML 允许嵌入式设备被赋予基于数据驱动算法的新智能，这些算法可以用于从预防性维护到森林中的鸟叫声检测等任何方面。

虽然一些 ML 从业者无疑会继续扩大模型的规模，一个新的趋势是开发更多具备内存、计算和能耗效率的机器学习算法。目前，TinyML 仍处于起步阶段，未来发展的空间还很大。

原文链接：https://towardsdatascience.com/tiny-machine-learning-the-next-ai-revolution-495c26463868

Java工程师入门深度学习（二）：DJL推理架构详解

DJL是亚马逊推出的开源的深度学习开发包，它是在现有深度学习框架基础上使用原生Java概念构建的开发库。DJL目前提供了MXNet,、PyTorch和TensorFlow的实现。Java开发者可以立即开始将深度学习的SOTA成果集成到Java应用当中。

11月3日20:00，李政哲（AWS软件开发工程师）将带来线上分享，介绍DJL推理模块并结合具体场景讲解各模块使用方法，推理 API 的使用方法以及如何优化推理速度，如何部署在微服务、大数据服务以及移动端并搭配客户成功案例的讲解。