技术分享 | 智能护盾安全大脑:移动应用智慧检测能力构建
12月4日,由OPPO发起、OPPO安全主办的“极智担当,不燃怎YOUNG——OPPO安全AI挑战赛”总决赛,即OPPO安全AI高峰论坛在深圳圆满落幕。本场论坛聚焦AI在安全领域的优秀应用与实践,探讨如何在AI这个新的安全战场,打赢攻防之战。
本文整理自议题《智能护盾安全大脑:移动应用智慧检测能力构建》,演讲嘉宾为OPPO高级算法工程师 张文刚。
主要内容如下:
移动应用安全隐私发展趋势与挑战
AI在OPPO移动应用安全的实践
智能护盾移动应用检测能力构建
AI在OPPO移动应用安全的展望
近年来由于移动应用成本低廉、传播容易、受众范围广等特性,使得移动应用安全隐私呈现出以下两种发展趋势。
趋势一:恶意移动应用的危害日益严重,比如2020年木马盗取账号密码,恣意盗刷、滥刷,今年9月宁夏通信管理局通报了多款金融欺诈杀猪盘的诈骗应用,以及应用中恶意锁屏广告、弹窗广告都给用户带来了很大的困扰、甚至是隐私泄露与财产损失;315也通报了应用内嵌SDK插件,盗取用户隐私等,除了给用户造成了危害,也给集成SDK的应用开发者带来重大损失。
(图1)
趋势二:传统手机病毒如木马、蠕虫日渐式微。从2011年到2019年移动端新增恶意样本趋势图可以看出,2017年达到峰值的60万家,2019年下降到了200万家。而基于内容与业务做恶且逃逸对抗技术升级的黑会产APP日渐泛滥,遍布各种各样的场景。To C场景类恶意应用,有投资理财诈骗,风险广告、隐私泄取等类型,To B场景类恶意应用有广告作弊、刷量、刷榜、游戏外挂等,这些不同场景下APP行为和代码特征不明显,如何全面、准确、及时识别和拦截成为移动应用检测重大挑战。
(图2)
面对上述挑战,OPPO给出了在不同移动安全场景下的AI解决方案。
场景一:马甲弹窗等To C类恶意移动应用检测
在To C类恶意移动应用检测场景中,传统的方法高度依赖于专家经验。常通过提取应用的规则进行检测。但恶意样本的类型多样,作弊方法和结果也不同,导致规则提取耗时、规则库庞大不易维护,同时情报来源比较单一,缺乏主动的发现方法。其次,某些恶意类型的样本量较少,也会给检测造成一定困难。
为解决上述难题,OPPO安全团队研发了基于深度学习及行为序列的多策略恶意APP检测。
(图3)
首先在通过对大量的恶意移动应用进行数据分析后,发现了恶意应用有很多特点,如组件共用等,并创建了一个较完备的恶意移动应用知识库,这个知识库包含移动应用从应用商店上架、运行、更新、下架等各项数据,然后基于各维度数据采取了以下三种方法构建模型的特征:
构建包含企业信息标签、资源影响标签、安全与隐私标签、社会影响力标签等开发者画像;
通过统计策略,如签名匹配、包名的相似性等,将应用和这些恶意样本进行关联;
对包含恶意样本的设备安装、卸载行为序列进行建模,通过训练item2vec模型得到行为特征;
最后,将上述特征进行综合并采取一定的方法降维筛选,最后分别训练监督机器学习模型和异常检测模型。
在整个方案中有两个比较有意思的深度学习模型应用。
提取行为序列特征的item2vec模型,该模型的核心思想源自于Wod2vec skip-gram模型,常被用在推荐自然语言处理等领域,其可对包含应用安装、卸载行为的时间序列进行学习得到每个应用行为特征。
对链式行为序列训练DNN图神经网络,通过构建应用下载、卸载行为图,可以得到部分图的结果特征,如节点的出度、接近中心性等图结构特征。
(图4)
最终这个方案取得了一个比较好的效果,在线下的数据集上,两个模型的Top100的准确率都在90%以上,模型上线以后检测出1000款恶类应用。
场景二:广告作弊等To B类恶意移动应用检测
在To B场景中,如广告作弊、推广作弊、刷量、外挂等形成的黑灰产产业链,覆盖应用的全生命周期,严重破坏了商业生态,给广告主、开发者带来巨大的损失。但传统的关键指标的域值方法效果不佳,云控、热更新等作弊方式和异常样本数量少等问题,也给这类应用的检测带来了较大的挑战。
为应对上述的挑战,OPPO安全团队采用了基于深度学习异常学习的移动应用广告作弊识别方法。
(图5)
首先通过对正常的广告转化链路指标进行建模。如使用DAE模型会得到一个正常应用指标的向量空间和向量空间的边界值,当某些应用的指标超过这个边界值的时候,则认为该应用有很大可能是异常的。同时我们还通过LSTM神经网络模型对关键的指标,如点击率,构建动态基线模型,当关键指标超过这个基线,则认为应用异常。最后,通过一个综合研判的模块,多方复合得到最终的预测结果。
在整个方案中主要涉及了以下两个异常检测深度学习模型:
Deep-OC模型,是One Class-SVM模型的变种,其核心思想是利用神经网络提取数据特征,将正常的样本收缩在一个超球面内,异常的样本远离这个超球面。该模型通常使用的样本都是正常的样本,并且通过优化下图中的目标函数,把所有样本的平均距离都离中心比较近,推理的时候则计算样本与中心的距离是否大于超球面的半径来决定。
AE模型,是一种自编码器模型。它的核心思想是利用神经网络对数据进行编码、解码,然后将编码、解码后的数据与自身进行对比,如果输入的样本经过编解码后与输入不相等或者不相似,则判断它是异常数据。该模型训练时通常也使用正常样本,并且会通过在模型的训练、测试时的样本表现来确定它的边界阈值,用于后面的推理
(图6)
场景三:移动应用隐私政策协议文本检测
现在,很多用户在下载APP时,并不会仔细查看隐私协议;但一旦签署协议,就表示主观同意,并具有一定的法律效率。那么,如何保证应用不滥用隐私权限,严格为用户把关协议的内容,并且高效、准确、自动化的审核协议成为了当前一项比较迫切的任务。
但是,不同开发者提供的协议格式是不同的,并且需要检测的某些项已标注好的样本也很少。传统基于模板、甚至浅层记忆学习的NLP方法准确率比较低,这些问题迫使文本检测需要尝试一些新的方法,如基于预训练语言模型的小样本文本识别方法。
首先,通过对法规的分析,确定一个合规的隐私协议文本需要哪些关键项。比如信息的目的是什么?协议生效、更新的发布日期是什么?协议里面是否存在开发者的企业主体的关键信息?为了在协议当中准确地找到这些信息,该模型构建了三个NLP任务,分别是关键要素句的相似性检测、分类以及关键实体的提取。整个模型的构建步骤分为以下几步:
(图7)
第一步,创建数据集,包括超50万条的隐私协议文本,每个任务各2000条的标注语料。
第二步,利用隐私协议的领域内数据微调语言模型。
第三步,提示学习,也是在NLP任务领域比较前沿的小样本学习方法。
最终整体模型效果表现还可以,三个任务的评测指标均在95%以上,克服了标注数据少的问题,从无到有构建了OPPO隐私文本自动化检测引擎。
在本方案中有以下两个关键技术。
一. 预训练语言模型,也是是双向语言模型,基于注意力的机制,内部结构如图8,从下到上分别是嵌入层、n个encoder层、输出层。
二. NLP第4学习范式:Prompt Learning。首先选择一个合适的预训练语言模型,再基于任务,如实体识别或分类,设置正确的模板,再设计任务目的、制定映射函数。当模板和任务目的工程都设置完成后,进行基于提示的模型训练、预测。这种半监督的学习方式可以在保证模型精度的前提下,有效降低对监督数据的依赖,从而实现小样本学习。
(图8)
在介绍应对上述场景难题的AI解决方案后,OPPO安全隐私治理体系——智能护盾又是如何将这些方案融合落地的呢?
智能护盾的核心基于大数据和AI的安全大脑。
(图9)
在大数据侧,随着黑灰产技术对抗升级,单纯基于APP样本分析检测的方法已经不能有效应对最新的黑灰产应用。除了样本大数据外,智能护盾还引入了业务大数据和信息大数据进行多维度的关联分析,使得恶意APP的识别更加准确。
智能护盾的智能检测引擎,构建了数十款基于专家经验、前沿深度学习的AI模型,通过多模型之间交叉识别综合研判使得检测更加全面。
通过云服务,智能护盾统一中控联动多个产品进行持续运营,使得响应更加及时,无论是漏报还是误报都可以秒级解决,全网生效。
智能护盾作为OPPO实时应用安全体系,目前已贯穿了APP从测试、上架到下载以及下架全生命周期的安全隐私治理,打通了软件商店、快应用商店、浏览器、游戏中心、手机管家等产品的安全防护能力,同时也覆盖了用户使用的APP所有场景,为用户构建起一个全方位的防御体系。
除了以上分享内容,AI还能为移动应用安全做哪些事呢?
首先,AI可以作为一种智能化的数据分析手段。近几年在网络安全领域,AI的应用越来越多,但仍然存在着很大发展空间。
其次,应用实践表明不同的恶意应用之间往往存在着一定的关系和联系。比如,某一类有效的作恶方法、某些共用组件、某些代码层的函数调用逻辑会转移到其他的应用当中从而形成恶意家族,如何挖掘出恶意应用之间有价值的关系,并将这些关系应用于移动应用检测,这点尤为重要。知识图谱和图神经网络固有的特性,使得其能很好地挖掘出有价值的关系网络。比如,对于恶意应用代码层的函数控制流,就可以用知识图谱的方式表示出来,在表示出来后,利用图神经网络,可有效发现网络中有价值的模式或者规律。
最后,期望真正的认知智能可以完全智能化。借用西游记中的一句俚语:“路途虽远,终需有到之日”。
最新动态
【双旦活动】社恐萌妹探秘白帽年度颁奖,带来最新挖洞福利!
汇聚极客顶尖高手和行业大咖,OPPO安全AI挑战赛暨高峰论坛圆满落幕
OPPO携手益普索Ipsos正式发布《2021年-中国智能手机用户安全需求洞察报告》
一张图带你了解ODC21安全与隐私专场内容亮点
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 澳门是伟大祖国的一方宝地 7932226
- 2 日本火山喷发灰柱高达3400米 7930258
- 3 女子穿和服在南京景区拍照遭怒怼 7831290
- 4 2024 向上的中国 7741999
- 5 肖战新片射雕英雄传郭靖造型曝光 7671152
- 6 大三女生练咏春一起手眼神骤变 7551590
- 7 胡锡进与你聊聊2024 7406043
- 8 男子钓上一条自带“赎金”的鱼 7369103
- 9 赵丽颖带儿子探班 7270514
- 10 高考601分女生为何选择殡葬专业 7108733