酷应用

人工智能被批不环保，训练一个神经网络的排炭量竟然比5辆车还多？

百家作者：大数据文摘 2019-06-15 05:10:12

大数据文摘出品

作者：曹培信

1970年，赞比亚修女Mary Jucunda给NASA（美国航空航天局）Marshall太空航行中心的科学副总监Ernst Stuhlinger博士写了一封信。信中，Mary Jucunda修女问道：目前地球上还有这么多小孩子吃不上饭，他怎么能舍得为远在火星的项目花费数十亿美元。

Stuhlinger很快给Jucunda修女回了信，他这封真挚的回信随后由NASA以《为什么要探索宇宙》为标题发表。

这封信中有这样一句话：“通往火星的航行并不能直接提供食物解决饥荒问题。然而，它所带来大量的新技术和新方法可以用在火星项目之外，这将产生数倍于原始花费的收益。”

如今，随着许多航天技术迁徙到其他方面并对人类生活产生了巨大的影响，很少有人再去质疑航空航天是否有必要。

同样，作为目前最前沿的计研究领域之一，人工智能近日也受到了环保方面的质疑。

人工智能背后的碳排放引发关注

根据一份提交到自然语言处理顶会ACL 2019的论文，三位来自马萨诸塞大学安姆斯特分校的研究人员对几种常见的NLP模型进行碳排放评估。

他们发现，像Transformer、GPT-2等流行的深度神经网络，他们的训练过程可以排放超过62.6万磅的二氧化碳当量，几乎是美国汽车平均寿命期内排放量(包括制造过程)的五倍。

比如Google AI今年发布的一篇新论文The Evolved Transformer提出的神经网络架构搜索技术，用于英语到德语翻译的BLEU分数提高了0.1，却花费了3.2万TPU小时。

尽管这篇论文并没有提供准确的基于TPU的模型训练能耗和碳排放的数据，但是根据美国环保署(EPA)统计，数据中心耗电占全球3%，且耗电量正在以每四年翻一番的速度增长；同时，数据中心的温室气体排放占到全球的2%，碳足迹已经追上民航业。

尽管目前数据中心大多还是在进行处理客户信息等传统工作，但是基于深度学习的人工智能正成为全球数据中心业务增长的最大驱动力。

来自网友的讨论

这篇论文一进入大众视野，便引起了广泛讨论，业内人人士更多是持一种辩证的态度，表示虽然用于训练所产生的碳排放是客观存在的，但是并没有文章中所说的那么夸张。

Reddit有网友评论：

在8个GPU上训练12小时6500万参数的一般网络总计消耗27千瓦时，并且排出26磅二氧化碳，计算成本为41-140美元。这是论文中耗能最小的例子，但其实与大多数人做的训练相比，它也算是规模比较大了。

而更大的BERT model，在64个GPU上训练110万个参数，耗时80小时，消耗了1507千瓦时的能量，排放了1438磅二氧化碳，计算成本为3751-12571美元。但这是一个相当大的ML项目，比大多数人运行过的规模都更大，很少有个人或者组织能够做这种项目。

论文中比较有意义的是神经结构搜索（NAS）消耗的能量和排放的二氧化碳。这是有道理的，因为搜索过程可能意味着运行几个大数量级的训练步骤。

而值得指出的是，该论文所阐述的一个例子：把TPU换成八块P100GPU，用同样的方式训练同一个Transformer达到同样的成绩，将会产生惊人的62.6万磅（约合284公吨）二氧化碳。这个结果虽然很震撼，但实际没有人会这样去做。

而Slashdot上则有网友用新能源汽车举例：

设计节能汽车也需要消耗大量能源。但是，从长远来看是有好处的。如果这些受过训练的人工智能能够通过它们所做的工作节省能量，那么从长远来看，这也将是有益的。

人工智能与环境保护站在对立面吗？

首先，人工智能并非是不落地的“实验室产物”。

提到人工智能，大众往往第一反应的都是资本市场所宣传的产品，这些产品往往由于宣传的需要被加入了许多噱头而不具备普遍的说服力，所以人工智能在应用上总给人一种很玄的感觉。

Petuum创始人兼CEO邢波也说，人工智能太高深了，为人所知的有自动驾驶、医疗等应用场景，其实最普通的土木工程领域，也需要人工智能技术的变革，但是这些小的应用场景很少有人关注。

新技术的落地往往会从大众不经意的地方开始。在以种植玉米和大豆出名的美国爱荷华州，初创AI公司Smart Ag公司正在开发无人驾驶拖拉机用来干农活，以解决农场劳动力短缺的问题。

图片来自英伟达中国

同样的，人工智能和机器学习已经开始在大数据医疗领域蓬勃发展，例如放射学、医学成像和医疗保健记录等。

在能源利用领域呢？人工智能也不是永远都是耗电的那一方。

谷歌就曾给DeepMind“找了个活”，让它通过操控计算机服务器和相关设备（例如冷却系统）来管理部分数据中心，从而减少了数个百分点的能耗，可不要小看这几个百分点，要知道谷歌一年的耗电量，几乎能赶上一个旧金山了。

其次这篇论文也并非是反对消耗资源来开发人工智能的。

作者的意图只是希望提醒其他NLP学者和业界人士，在提高模型表现的同时，也应该对环境影响有主动的、足够的关注。

论文的第一作者，马萨诸塞大学安姆斯特分校博士生艾玛·斯特贝尔(Emma Strubell)在接受硅星人的独家采访时表示：“不计任何计算量的代价也要追逐哪怕一丁点的准确率提升。这绝对不是一个好的趋势，我觉得我们应该做得更好，用更有创意，而不是纯粹‘加算力’的方式去做研究。”

如何做环境友好的人工智能研究，更多的使用清洁能源或是出路。从下面的表中我们可以看出，Google的数据中心用电56%来自可再生能源。

谷歌主要是通过采购大量可再生能源项目来应对能源消耗，目前已经包括肯尼亚的一个风力发电厂和在加州、德州等地的数个风力发电厂。

同样，亚马逊已经在美国的印第安纳、北卡罗莱纳、俄亥俄和弗吉尼亚州建设了风力和太阳能发电厂。

而国内的互联网巨头也有类似的做法，阿里巴巴张北云计算基地内数据中心将百分百基于绿色能源运转，建筑外表覆盖太阳能电板，同时采用自然风冷和自然水冷系统，预计仅数据中心的制冷能耗就可以降低45%。阿里巴巴技术保障负责人周明就表示：“我们将采用全球最先进的绿色数据中心设计方案，将张北源源不断的绿色能源转化成计算资源。”