酷应用

用开源框架做生态“地基” ，百度PaddlePaddle做对了什么？

百家作者：硅谷洞察 2019-04-27 05:12:53

硅谷Live / 实地探访 / 热点探秘 / 深度探讨

今年3月，“深度学习三巨头”Yoshua Bengio、Yann LeCun、Geoffrey Hinton获得图灵奖。他们被称作“拯救了人工智能”的人，见证了深度学习一路走来的艰辛。

2005年前后，科学界几乎已无人看好机器智能化的前景。“人工智能”似乎都已成为科幻的代名词。但是，巨大的变革也正是在此时产生，而这一切，都是源于“深度学习”技术的出现。

“深度学习三巨头”之一的Yoshua Bengio曾撰文所说：“深度学习彻底改变了人工智能的面貌，让计算机视觉、语音识别、自然语言处理和机器人领域重新焕发生机。”

计算速度的大幅提升，以及海量带标记数据集的出现，是深度学习技术获得成功的关键；而深度学习框架的应运而生，让研究人员和开发者可以更方便、快速的搭建自己的神经网络，则是深度学习得以迅速助力行业产生落地应用的重要因素。

正如百度高级副总裁、深度学习技术及应用国家工程实验室主任王海峰在首届WAVE SUMMIT 2019深度学习开发者峰会上分享的观点：“深度学习框架承上启下，下接芯片、大型计算机系统，上承各种业务模型、行业应用，是智能时代的操作系统。”

人工智能领域的中美较量

在人工智能技术的发展方面，中国和美国的较量一直未曾停止。根据乌镇智库最新发布的数据，截至2018年，全球人工智能企业共计融资784.8亿美元，其中美国373.6亿美元，中国276.3亿美元。排名第三的英国仅融资35.6亿美元。中美两国的领先优势明显。

而对于人工智能的发展，技术研发是比拼的重中之重。从专利的角度，根据全球专利数据分析平台智慧芽（Patsnap）的数据，中国在机器学习方面的专利申请数量，已于2014年左右超过了美国，在计算机视觉方面更是远远赶超美国。

在深度学习框架方面，美国科技巨头起步较早。2012年前后，Theano作为历史上第一款深度学习框架，开创了深度学习的革命化先河。顶级科技巨头如Google、Facebook、亚马逊等，也纷纷推出自己的深度学习框架TensorFlow、PyTorch和MXNet.

而后的几年中，不少深度学习框架纷纷经历了辉煌和没落。例如，基于Java和Scala的开源的分布式深度学习库Deeplearning4J等，既无社区支持，又缺少像Python这样强大的社区，只能默默发展。而最早期的Theano，则已经停止更新维护走向没落了。

巨头的支持对于深度学习框架尤为重要。当前全球排名最靠前的深度学习框架，背后都是顶级科技巨头如Google、Facebook等，以及强大的社区支持。

中国的头部科技公司在开源深度学习框架方面却动作略慢一些。2016年下半年，百度开源了PaddlePaddle，成为首家也是目前国内唯一开源开放的深度学习框架，百度成为了国内趋势的引领者。

PaddlePaddle：“国货”当自强

PaddlePaddle源自于百度深度学习实验室于2013年创建的内部工具“Paddle”，旨在为百度提供能够支持多 GPU、多台机器并行计算的深度学习平台。

2016年下半年开源以来，PaddlePaddle一直在推动国内深度学习框架的发展。在刚刚举办的百度首届WAVE SUMMIT 2019深度学习开发者峰会上，PaddlePaddle首次对外公布了自己的全景图，使我们得以了解这一中国最具领先性的深度学习框架的发展进程和趋势。

PaddlePaddle核心框架层面的发布，涵盖了从开发、训练到部署的一整套能力。在开发层面，PaddlePaddle已开源60多个经过真实业务场景验证的官方模型，涵盖视觉、NLP、推荐等 AI核心技术领域，成为官方支持模型最多的深度学习平台。

其中，首次发布的视频识别工具集，为开发者提供解决视频理解、视频编辑、视频生成等一系列任务。

而面向工业应用的中文 NLP 工具集 PaddleNLP，将自然语言处理领域的多种模型用一套共享骨架代码实现，可减少开发者在开发过程中的重复工作。

依托于百度强大的中文能力，该工具的中文语义表示模型和基于用户大数据训练的应用任务模型可谓业内效果最好。

在训练环节和部署环节，PaddlePaddle也进行了升级。例如，优化分布式IO增加了远程文件系统流式读取能力，GPU多机多卡同步训练通过增加稀疏通信能力提升带宽不敏感训练能力，在低配网络带宽网络环境下，例如10G网络下，同步训练可提速10倍。

在核心框架之外，百度同时提供一系列配套的工具和组件，方便开发者去使用PaddlePaddle。例如AutoDL Design、升级PARL，并首次提出并发布预训练一站式管理工具PaddleHub。

技术之外，离不开生态和社区的支持。科技巨头推出的深度学习框架的一大优势，就是其有能力、资源建设社区，帮助开发者成长。

例如，百度此次发布了基于AI Studio的算力支持计划，提供总计1亿元免费算力，来破除算力桎梏，促进深度学习的发展。

该计划支持免费使用工业级应用的一些旗舰型的GPU硬件，包括V100的卡，另外提供免费、免安装的集成环境，让开发者可以直接上手使用。

目前，在应用场景和产业落地方面，深度学习的产品还需要大量的试错成本。科技巨头提供的免费算力的支持，无疑将给予开发者大胆探索的信心。

这一计划，不禁让我们想到硅谷诸多科技巨头在培育技术驱动类项目时候的做法。例如，Facebook在扶持Oculus的VR内容生态时投入的数亿美元，这些钱激励了VR内容生产者，使得VR硬件和软件在技术和产品迭代上互相促进，同步发展，也为未来的市场增长奠定基础。

由此可见，百度在深度学习架构领域的布局非常缜密，当技术前景越来越广阔时，就进一步展现出了深度学习开发框架在产业关系中的战略要冲地位。未来，借助深度学习，百度在AI方面的技术能力和未来TPU计算能力将有更多的发挥空间。

巨头们纷纷开始调整架构，意味着深度学习正在走向系统化和专注化，在这个数据、感知与运算的深度缠绕的产业领域，开发以及开发者生态自然成为了产业活跃度的基石，这也决定了只有Google TensorFlow、Facebook PyTorch和百度 PaddlePaddle这样的巨头才能玩得起。

中美深度学习博弈：一场关乎未来的战争

深度学习技术平台一直是全球科技巨头的部兵重镇。中美两国的深度学习框架产品，也各有特点。

国际科技巨头的产品，例如谷歌的TendorFlow相对偏底层，使用较为复杂。从技术层面来看，与之相比，PaddlePaddle 更加贴近应用者，能让开发者聚焦于构建深度学习模型的高层部分。

TensorFlow 里需要数行代码来实现的功能，可能在 PaddlePaddle 里只需要一两行。

很多开发者表示，百度的PaddlePaddle的代码和设计更加简洁，占内存小，易学易用且高效灵活。

本土化则是PaddlePaddle的另一个特点。PaddlePaddle不仅中国本地化的文档更加健全，支持团队也更加完备与本地化。相对于TensorFlow等海外产品，其对中国的开发者来说无疑能够提供巨大的支持。

此外，引领着产业互联网的大潮，百度除了面向开发者的底层接口外，还提供了更多面向企业快速应用的高层封装，使为企业提供服务的开发者能够更加易于快速入门, 相比现在的诸多开源框架更接近应用层面。

从社区的层面来看，老牌的TensorFlow起步早，全球用户基数大，社区或许相对领先一些。但是，PaddlePaddle的本土化特色，使其在中文社区影响力巨大。并且，在社区建设上，如上文所述，百度诚意满满，未来可期。

在今年3月Google的TensorFlow开发者峰会上，TensorFlow发布了两门TensorFlow课程，显示出TensorFlow对于社区和开发者教育的重视。但是，这两门课全部是在线课程，在Google Colab平台和Udacity的平台上教授。

而在这个方面，百度PaddlePaddle可以说是线上、线下并行，对社区建设和开发者教育的重视和投入上，相比TensorFlow更胜一筹。针对开发者，百度不仅提供免费在线课程、免费算力支持，还不间断举行赛事活动，持续推动深度学习发展。

除了开发者，百度还针对AI企业开办黄埔学院，计划深度扶持1000家AI企业，并针对高校也提供了深度学习师资培训项目。百度对于深度学习社区的建设，可以说是深入到了社会、产业的方方面面。

开源框架带来双赢，助力深度学习落地行业

图：AI 将可能给各行业带来的增量价值，自麦肯锡全球研究院《Notes from the AI frontier: AI frontier: Applications and value of deep learning》

深度学习正在给各行业的业务场景带来改变和颠覆。根据全球顶级科技行业分析机构CBInsights最近发布的《2019年AI趋势报告》，深度学习是当前绝大部分AI应用的引擎。

从行业采用度和市场优势两个分析维度来看，开源深度学习框架都是趋势的核心，已具备极高的行业采用度，且市场会越来越大。

图：CB Insights对于2019年人工智能发展的NExTT分析框架

CB Insights指出：“AI的进入门槛变得空前的低，这要感谢开源软件。开源AI框架是双赢的局面：一方面令人人都能用上AI；反过来，贡献者社区也为加速Google等公司的AI研究提供了帮助。”

报告同样分析了各行业采用深度学习框架的程度。可以看出，医疗影像与诊断、预测性维护（制造业）是当前采用度较高的行业。

那么，深度学习框架是如何运用到真实的行业场景里的呢？

以农业领域的森林虫害防治为例。北京林业大学研发了面向信息素诱捕器的智能虫情监测系统，研究对象是红脂大小蠹。这套检测系统的应用大幅降低虫情监测的人力成本，以往人工检测需要一周的工作量，现在用自动检测一小时内就能处理完。

还有中科院遥感与数字地球研究所应用PaddlePaddle Faster R-CNN模型，结合特征提取网络VGG16及区域建议网络（Region Proposal Network，RPN），以及融合attention机制的Deeplab v3网络对遥感影像进行目标检测与语义分割，从而实现对重大工程目标与建设用地变化图斑的提取。

辅助国家进行重大工程用地扩张与变化情况的监测工作，并对土地资源的利用进行有效管理与控制。

写在最后

从上世纪50年代人工智能成为一门科学到算法和算力成为不可承受之重，从本世纪初深度神经网络技术使人们重燃希望再到人们对机器学习的兴趣在过去十年经历爆炸式发展，深度学习正在经历它的高光时刻。

而站在又一次工业革命的拐点，深度学习开发者们需要的无疑是一个包容、开放的生态，这里面有个性化的服务，也有完备的技术，还有人能分享自己的经验，优化架构框架，从数据集特性、迁移学习、指标到可视化分析……更有发挥的空间，每一位开发者研究成果都能再次壮大这个生态。

幸运的是，这些事，百度正在做，并且做的很好。