酷应用

5300亿！巨型语言模型参数每年暴涨10倍，新「摩尔定律」要来了？

百家 作者：新智元 2021-10-28 19:26:12


  新智元报道  

来源：网络
编辑：David 洁茹mm
【新智元导读】近年来，大型语言模型参数量每年暴增10倍，最近的巨无霸模型MT-NLG，参数更是达到了5300亿！关于模型参数的「新摩尔定律」已呼之欲出。不过，这可不一定是好事。

前不久，微软和英伟达推出包含5300亿参数的语言模型MT-NLG，这是一种基于transformer的模型，被誉为「世界上最强，最大的语言生成模型」。
 
不过，这真的是一件值得欢欣鼓舞的事情吗？
 

大脑的深度学习

研究人员估计，人类大脑平均包含860亿个神经元和100万亿个突触。但不是所有的都用于语言。有趣的是，GPT-4预计将有大约100万亿个参数。


两个「100万亿」。

这会是一个巧合吗？我们不禁思考，建立与人脑大小差不多的语言模型是否是一个长期可行的方法？
 
当然了，经过数百万年的进化，我们的大脑已经成为了一个非常了不起的设备，而深度学习模型才发展了几十年。诚然，我们的直觉告诉我们，有些东西不能够通过计算来衡量的。
 

是深度学习，还是「深度钱包」？

在庞大的文本数据集上训练一个5300亿个参数模型，无疑需要庞大的基础设施。

 
事实上，微软和英伟达使用数百台DGX-A100的GPU服务器，每台售价高达19.9万美元，再加上网络设备、主机等成本，任何想要重复这个实验的人都必须花费大约1亿美元。
 
 
严谨地来看，哪些公司有业务例子可以证明在深度学习基础设备上花费1亿美元是合理的？或者1000万美元？如果设计出来，那这些模型是为谁而设计的呢？
 

GPU集群：散热、环保都成问题

实际上，在GPU上训练深度学习模型是一项十分费力的事情。

 
据英伟达服务器参数表显示，每台英伟达 DGX A100服务器最高能耗为6.5千瓦。当然，数据中心（或者服务器）也至少需要同样多的散热设备。
 
 
除非你是史塔克家族的人，需要拯救临冬城，否则散热将成为一大难题。
 
而且，随着公众对气候和社会责任问题的意识增强，公司还需要考虑他们的碳足迹问题。
 
马萨诸塞大学2019年的一项研究「用GPU训练BERT，其碳足迹大致相当于进行一次横跨美国的飞行」。
 
 
而BERT-Large的参数数量更是高达3.4亿，训练起来的碳足迹究竟有多大？恐怕只是想想都害怕。
 
 
所以，我们真的应该为MT-NLG模型的5300亿个参数感到兴奋吗?。用这么多参数和算力换来的基准测试性能改进，值得付出这些成本、复杂度和碳足迹吗?
 
大力推广这些巨型模型，真的有助于公司和个人理解和拥抱机器学习吗?
 
而如果，我们把重点放在可操作性更高的技术上，就可以用来构建高质量的机器学习解决方案。比如下面这些技术：
 

使用预训练模型

绝大多数情况下，并不需要定制模型体系结构。

 
一个好的起点是寻找那些已经为能为你解决问题的(比如，总结英语文本)预训练模型。
 
然后，快速尝试几个模型来预测数据。如果参数表明，某个参数良好，那么就完全可以了。

如果需要更准确的参数，那就尝试微调模型 (下面会有详细介绍)。
 

使用小模型
 

在评估模型时，应该尽量选择能够提供所需精度的最小模型。这样做预测速度更快，训练和推理所需要的硬件资源也更少。
 
算力昂贵，能省就省。
 
实际上，现在的机器学习模型越来越小，也早已不是什么新鲜事了。熟悉计算机视觉的人都会记得 2017年SqueezeNet 的问世，与 AlexNet 相比，SqueezeNet的规模缩小了98%，同时在精度表现上与AlexNet不相上下。
 
 
除了计算机视觉领域，NLP社区也在努力缩小模型的规模，其中大量使用了知识蒸馏等迁移学习技术。其中最出名的可能就是对谷歌BERT模型的改进型DistilBERT。
 
与原始 BERT 模型相比，DistilBERT保留了97%的语言理解能力，同时模型体积缩小了 40%，速度提高了60%。相同的方法已应用于其他模型，比如 Facebook 的 BART。
 
最近来自「Big Science」项目的最新模型也令人印象深刻。如下图所示，这些项目中的 T0 模型在许多任务上都优于 GPT-3的性能，但模型大小只有GPT-3的1/16。
 
 

微调模型

如果需要在一个高度专门化领域使用模型，大可不必从头开始训练模型，这时应该对模型进行微调，也就是说，仅在自己的数据集上训练几个时期。
 
实际上，微调模型也是迁移学习的一种方式，目的还是节约资源，能省就省！
 
使用迁移学习的好处不少，比如：
 

  • 需要收集、存储、清理和注释的数据更少

  • 实验和数据迭代的速度更快

  • 获得产出所需的资源更少

 
换句话说就是：省时、省钱、省资源！
 

使用云基础设施

 
云计算企业知道如何构建高效的基础设施。研究表明，基于云的基础设施往往比替代方案能效更高、碳足迹更浅。Earth.org 表示，虽然云基础设施目前并不完美，但仍然比替代方案更节能，可以促进对环境有益的服务，推动经济增长。”
 
确实，在易用性、灵活性和「即用即付」方面，云当然有很多优势。如果实在负担不起自购 GPU，何不尝试在 Amazon SageMaker（AWS 的机器学习托管服务）上微调模型呢？
 

优化模型

从编译器到虚拟机，软件工程师长期以来一直使用工具来自动优化硬件代码。

 
然而，和软件行业相比，机器学习社区仍在为这个问题苦苦挣扎，这是有原因的。最重要的是，对机器学习模型的进行优化是一项极其复杂的任务，其中涉及以下技术和条件：
 
 

  • 硬件：大量面向加速训练任务（Graphcore、Habana）和推理任务（Google TPU、AWS Inferentia）的专用硬件。

  • 剪枝：删除对预测结果影响很小或没有影响的模型参数。

  • 融合：合并模型层（比如卷积和激活）。

  • 量化：以较小的值存储模型参数（比如使用8位存储，而不是32位存储）

 
所幸，现在已经开始出现可用的自动化工具，如Optimum 开源库和 Infinity，这是一种容器化解决方案，延时低至1毫秒，但精度可以与Transformer相当。
 

另一个「摩尔定律」要来了吗？
 

在过去的几年里，大型语言模型的规模每年都以10倍的速度增长。看起来，另一个「摩尔定律」就要诞生了。
 
原来的摩尔定律，现在的命运如何？关于「摩尔定律行将终结」的话题，早几年就已经甚嚣尘上。
 

但有一点是确切无疑的，如果机器学习沿着「模型巨大化」的路走下去，路可能会越走越窄。收益递减、成本增加、复杂度增加，这些可以预见的问题，可能会在不远的未来，把机器学习行业逼进死胡同。
 
这就是人工智能未来的样子吗？
 
希望不是。与其追逐万亿参数的巨大模型，不如把更多精力放在构建解决现实世界问题的、实用且高效的解决更好么？

参考链接：

https://huggingface.co/blog/large-language-models


关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/

*文章为作者独立观点，不代表 爱尖刀 立场
本文由 新智元发表，转载此文章须经作者同意，并请附上出处( 爱尖刀 )及本页链接。
原文链接 https://www.ijiandao.com/2b/baijia/417614.html
摩尔定律
图库
新智元 新智元
公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数
iTrust
AiDeep Ued
关于我们 联系我们 升级日志 法律声明 广告服务 侵删通道
Copyright © 2021 K2CMS All rights reserved.
京ICP备14006288号