什么样的AI，让你的安全智能更值得信任？

11月27-28日，CIS 2019网络安全创新大会在上海举行。本次大会是原“FIT互联网安全创新大会”的全面升级，由网络安全新媒体FreeBuf、赛博研究院、上海市信息安全行业协会联合主办，以“世纪漫游”为主题，邀请众多安全行业资深专家、学者、顶级白帽嘉宾，吸引逾5000位专业人士，围绕网络安全创新的主题展开精彩分享。大会主、分论坛内容，覆盖人工智能前沿、物联网与工业互联网、金融安全、攻防演练、智慧城市等诸多领域。

绿盟科技资深研究员张润滋博士应邀参与人工智能安全前沿论坛，并发表题为《XAI与可信任安全智能》的主题演讲。

张润滋博士表示，技术平台的自动化、智能化水平，愈发成为网络安全空间攻防双方角力的重点。随着数据的积累，算力的提升，人工智能技术的演进，语音、图像、文本处理等应用场景自动化程度大幅提升，也让我们看到安全任务自动化演进的曙光。

学术界和工业界纷纷尝试基于人工智能技术的安全分析方法，包括深度学习、机器学习、知识图谱等人工智能技术，已经逐渐应用到恶意软件检测、入侵检测、欺诈检测、行为分析等等安全业务和应用。几轮炒作和试错下来，火热的期盼逐渐归于平静，实践经验的积累倒逼参与者思考，到底什么样的智能化方案才能够与安全应用契合？机器智能如何才能赢得人的信任，更有效的解放生产力？

AI系统可解释性的缺乏是导致机器智能难以获取人类信任的关键因素之一。目前以准确性、误报率等预测性能指标为主驱动的模型设计与评估方案，忽略了模型的可解释性，导致在涉及关键决策的领域时，如国防、金融、医疗、网络安全等，AI技术难以集成到更高层次的自动化任务中。

XAI(eXplainable Artificial Intelligence)技术主要研究如何使得AI系统对人类更透明、更易懂、更可信，通过XAI技术提供的可解释性，能够从多个方面构建人与机器的信任：

1.向使用者证明结果是稳定的、准确的、道德的、无偏见的、合规的，从而提供决策的支持以AI自身安全性的可视性。

2.向开发者提供模型改进、调试的基础信息。

3.向研究者提供机器洞见，展现被人忽视、难于发现的潜在规律。

结合绿盟科技多年来在行为分析、情报分析、流量分析、软件分析等场景中的人工智能的实践，张润滋博士将XAI技术框架与安全场景深入结合，在论坛上分享了基于XAI技术构建可信任的安全智能化技术的理论与实践，为人工智能等创新技术的落地提出了新的见解。