酷应用

“地平线”驰骋深度学习之路，冲破海量数据层层屏障！

百家作者：企业网D1net 2018-12-10 03:33:43

点击上方“蓝色字体”，选择 “设为星标”

关键讯息，D1时间送达！

有没有想过有一天，当你要出门时，自动驾驶汽车已恭候在楼下，只需要输入目的地和需求，车子便开始自动驾驶护送你至目的地。

车前挡风玻璃处安装有一个摄像头，可检测出范围内的行人、车辆、车道线等等，还可以对目标的相对位置和相对速度进行分析，并提供高性能的前撞预警、车道线偏离预警等功能。

车内屏幕可以时刻关注驾驶员状态，进行预警提示，判断准确率高达99%，即使你戴着墨镜!

现在，这一切已不再遥远，地平线智能驾驶方案正在帮我们实现。

基于自主研发的人工智能芯片和算法软件，地平线以智能驾驶、智慧城市和智慧零售为主要应用场景，致力于为用户提供开放的软硬件平台和应用解决方案。为多种终端设备装上人工智能“大脑”，让它们具有从感知、交互、理解到决策的智能。这背后，离不开地平线雄厚的技术实力，尤其是基于深度学习的 AI 研发能力。

双管齐下：高算力+高IOPS，构建高效深度学习平台

深度学习的训练过程离不开海量数据的支持。而对于地平线深度学习平台而言，其需要利用的数据量则更为惊人。以面向智能驾驶的算法为例，地平线预测未来自动驾驶汽车每天在路上要产生高达4TB的数据，如此海量的数据，需要为其配备具备高性能计算力，并可实现弹性扩展的数据处理与训练平台。

同时，这些数据通常以几十KB大小的小文件形式存在。当地平线需要利用这些数据进行深度学习所需的数据处理与训练时，对存储系统的IOPS(Input/ Output Per Second,每秒输入输出操作)能力也有着非常严苛的要求。

为帮助地平线构建高效的深度学习平台，金山云为之提供了基于高性能云物理主机(Elastic Physical Compute，以下简称 EPC)集群的模型训练计算平台。同时，金山云也联手英特尔，借助英特尔领先产品和技术提供的强大计算、存储和网络性能，为这一深度学习平台构建了基于Ceph的高性能分布式存储系统。

云“优化师”：金山云EPC创新型云服务带来卓越性能

传统的云服务无法帮助地平线应对深度学习系统日益增长的计算力和存储能力需求，金山云提供的EPC显然更适于地平线的要求。EPC是金山云基于裸金属服务器理念构建的创新型云服务产品，其可为地平线提供性能卓越的独享物理服务器，通过安全、稳定、便捷的计算、存储服务帮助地平线深度学习应用提供强有力的计算力支撑。

除此之外，为应对不断扩展的海量训练数据集，地平线利用金山云EPC提供的弹性、易扩展能力，构建了基于Ceph的高性能分布式存储系统，为自己建立了高效、可扩展的存储系统。

存储“魔法师”：英特尔助力实现IOPS的突破性提升

在金山云 EPC存储集群采用的分级存储方案中，非活动数据(冷数据)被存放在由12块8TB容量HDD硬盘组成的存储池中，而活动数据(热数据)则被置放在由375GB版本的英特尔® 傲腾™ 固态盘DC P4800X构成的缓存区中。