HDC.Cloud | 网络AI扫地僧，你问我答

欢

迎

光

临

~

针对这三个话题，我们请来了华为网络AI领域的三位专家，来为大家答疑解惑。

互联网进入下半场，工业互联网、工业4.0等概念逐渐成为热点，和新一轮的AI浪潮不期而遇。如何让没有AI背景的业务专家也拥有AI建模的能力，如何让缺乏AI专家的企业快速搭建AI系统，我们在尝试为这样的场景提供一套通信行业AI解决方案，今天大家一起交流。

大家最熟知的AI平台大多是由互联网公司提供的，以类似语音识别、通用会话、计算机视觉等通用AI任务为主要特色，多少有点由互联网行业提供，为互联网行业服务的特点。当然，随着互联网公司对各个行业的介入越来越深，这些平台为其它行业提供的解决方案在逐步加强。

从哲学层面看，工业是人类几千年来挑战自己的先天智慧、不懈思辩的最大成果之一，有很强的人类后天习得智慧的痕迹，比如认为世界是有结构的、强调因果律、强调精确定义。相应地，在工业领域应用AI技术，会更加关注如何将原始信息、数据转化为有结构的知识，如何利用结构化知识进行推理、规划，如何确定模型结果的可验证性、可信性等问题。目前大部分AI平台提供的AI服务有有信息、无结构、重关联、轻因果、重归类、轻推理的特点，无法充分满足通信行业应用的要求。

工业的具体门类很多，相应的衍生出很多不同的AI应用，比如个性化的产品设计、预防性设备维护、专家向导的新药研发，等等。

最显著的共性问题，是每个行业都有各自的理论基础、规则规范、实践指南等等，这些知识或者有严格的定义，或者只是指导性原则，散落在书籍、专利、论文、产品文档、日志、工作邮件、代码或者行业专家的大脑中，知识的收集、整理、应用，会是一个长期的挑战。

具体到通信行业来说，生产环境非常复杂，比如设备类型众多、不同设备上的计算资源和环境差别巨大、对数据采集方式约束限制各不相同、每个设备的使用环境及参数设置千变万化，设备间通信、设备和中心云平台通信的模式和约束种类繁多，业务对预测及模型更新的时效性要求千差万别，这给模型以及整个数据链路的建设、部署都带来巨大的挑战。

生产环境复杂多变，带来的另一个问题是不同的设备、场景下，模型甚至数据链路都需要做相应的调整和适配，这又给系统的易用性带来了挑战。AI平台的目标是降低成本、把行业专家从缺乏创造性的繁琐工作中解放出来，如果行业专家必须同时成为AI专家、或者每个行业专家必须配一个AI专家，才能把AI应用转起来，就偏离了建设AI平台的目标。如何把模型及数据链路的调整和适配工作自动化，常用的暴力搜索式的auto-ml之外有没有更好的方法，都是正在探索解决的问题。

行业AI平台支持的应用，大致可以分成两类，将routine工作自动化，比如自动检测手机外壳上的划痕，或者降低知识工作者工作的复杂程度，比如根据设计文档自动生成代码。目前工业AI平台对前一类应用支持较好，后一类应用还处在比较早期的阶段。未来用AI来提高知识工作者工作效率的潜在应用场景有哪些？其中哪些可能最快成长为killer application，是值得思考和关注的问题。

当前网络向自动化与智能化快速演进，全世界的生产生活对网络越来越依赖，网络基础设施运维也变得越来越复杂。当网络出现故障，如何提高网络异常检测和根因分析效率，降低问题定位复杂度？成为无法回避的话题。如何将人工智能引入网络运维，实现网络故障自动定位。今天我们来讨论一下这个话题。

异常检测是个比较宽泛的概念，问题类型很多，算法设计也因具体网络环境和检测对象而异。例如针对KPI，网络流量和日志文件等我们需要设计不同的模型和算法。总体来讲，异常检测算法需要取得高查准率和查全率，低误警率，实时性等特点。因当前的通信网络和承载的服务极其复杂和多元，数据产生速度快，数量大，种类多，检测算法需要有诸多另外考量。例如某些服务数据虽然多，但质量不高，标注亦很少；因客户要求或法律规定等限制，数据只能当地处理，形成数据孤岛；异常检测算法和模型难以泛化，调差过程比较复杂；环境适应性差，当网络环境发生变动时，模型需要重新训练；数据高维度，且数据类型各异，往往需要多个算法一起使用。

针对此类痛点场景，传统的机器学习算法（如聚类，分类，预测等）和深度学习学法（DNN，LSTM）等需要改进，并用。而新兴的一些算法模式如联邦学习可帮助解决异常检测中的数据孤岛，小量数据样本，数据隐私等问题；迁移学习可帮助解决样本标注问题，提高异常检测模型的泛化能力等；知识图谱可以针对某网络异常事件，基于不同数据源综合分析，提高检测准确率，深入了解因果关系；在线学习和强化学习可提高检测模型的可适应性等。

根因分析往往被认为是异常检测的更近一步：异常检测是基于网络现象判定异常，根因分析是在异常中挖掘因果关系。例如告警信息是异常检测算法的输出，但是如何在大量告警信息中找出与异常事件最相关的一部分便是根因分析。因此，异常检测算法的效果一定程度上决定了根因分析的成败。当然，原始事件也可以直接输入根因分析模型，因此分析的结果亦取决于根因分析模型与算法本身。

衡量某个根因分析模型或算法的性能，除了分析其结果完整性，准确性，和时效性，一个好的根因分析模型还应该具有一定通用性，可处理不同数据类型（日志，告警信息，KPI等），可扩展（网络和数据规模等对根因分析结果影响不大），可适应（网络配置更新，变化等）。例如贝叶斯网络常被应用到根因分析中，但效果常常不令人满意。我们需要针对具体场景和业务需求探索更有效的算法和模型。

数据是人工智能领域最关键的一部分，决定了模型算法的上限，也是人工智能开发过程中占用人力最多的环节；高效、高质量治理数据，使能数据集准确承载业务场景成为人工智能关键。今天我们就讨论网络领域数据集是如何构建的，以及AI开发者如何使用网络领域数据集？

三点：

1. 电信网络领域涉及的数据源、数据类型、数据格式等与当前主流AI应用领域都存在很大差异：电信网络经过历代发展，无线从2G、3G、4G到5G，固网从ADSL、VDSL到G.FAST、FTTH，技术更新周期长，网络并行存在多种设备和业务，每种设备、业务对应自己的网管系统，因此，网络中存在多种设备、多个系统采集、管理数据，每个管理系统采集的数据只有对应的设备和本系统才能理解该数据，需要有专业的业务知识才能理解、治理该电信领域数据。

2. 根据业务属性、网络类型、数据特点等将电信领域数据总结定义为12大类，比如资源类、性能类、故障类等。

3. 因为电信网络技术在持续发展，同时提供的业务、运维方式等也在不断变化中，因此电信领域数据有很强的时序性，构建的数据资产也有一定的时效性，因此需要持续更新数据集。

电信网络数据治理主要是定义统一的数据标准规范和数据字典，并且构建对应的数据治理、标准化的工具链，实现各类型原始数据的快速治理，同时实现降低对业务知识和经验的依赖，让更多的AI开发者快速使用数据资产。

关键困难：

• 如何从数据中呈现业务场景和业务变化，降低对业务经验的要求；
  

• 数据工程师需要具备一定的数据分析挖掘能力；

• 电信数据标注也很难，电信网络的数据需要很强的电信专业业务知识，需要能够深刻理解数据对于业务的含义，并通过方便易用的工具快速完成数据的标注和最终治理。

华为NAIE构建的数据集已覆盖电信领域的6个网络子域，如无线接入、固定接入、云核心网、承载网、数据中心网络，园区网络，构建了包括设备网元、网络状态、网络拓扑、用户体验、网络时空等领域的高质量电信网络数据集，目前已经支撑网络故障类预测，网络故障定位类，网络KPI异常检测类，网络流量预测类，网络资源利用率类等几大类型的AI应用场景开发。典型的，如核心网KPI异常检测、基站节能、无线小区流量预测以及告警压缩等。

举例，提供核心网领域的智能运维的AI特性应用数据集，包含EPC/IMS域的各类型网元的网络状态和故障数据(性能、告警、日志等数据)，覆盖日常运维、升级等业务场景，包含5+类故障类型。

核心网KPI异常智能检测：提供包含EPC/IMS类型网元的共20+个训练数据集，包含200+关键KPI指标，2W+基本性能指标，支撑异常检测查全率和查准率均达成80%以上。

2020年华为开发者大会HDC.Cloud将于2月11-12日在深圳会展中心召开，邀请志同道合的开发者HDC大会现场与三位大咖将面对面进一步探讨以上问题，欢迎大家点击  左下角【阅读原文】或扫码预约“ 扫地僧早午餐会 ”  。

华为开发者大会HDC.Cloud是华为面向ICT（信息与通信）领域全球开发者的年度顶级旗舰活动。大会旨在搭建一个全球性的交流和实践平台，开放华为30年积累的ICT技术和能力，以“鲲鹏+昇腾”硬核双引擎，为开发者提供澎湃动力，改变世界，变不可能为可能。我们期待与你共创计算新时代，在一起，梦飞扬！

点击人工智能园地公众号 【菜单栏】-【开发者】- HDC ，了解更多网络人工智能(NAIE)展区详情。

人工智能园地，力求打造运营商领域第一的人工智能交流平台，促进华为iMaster NAIE理念在业界（尤其通信行业）形成影响力！