酷应用

UEWAF免费月系列：网络BOT流量解析

百家作者：Ucloud 2017-06-22 09:38:10

互联网安全公司Imperva Incapsula公布的《2016年机器流量报告》（Bot Traffic Report 2016）显示：人类在线流量为48.2%，bot流量（“机器人”流量，即自动化程序流量）达到了51.8%。bot流量在互联网流量中的地位已毋庸置疑，今天就来详细解析一下网络bot流量。

一、bot流量分为正常和恶意两大类

1、正常网络bot流量是指增进web创新和成长，拥有者是合法企业，通过bot来完成一些大数据任务，比如进行数据搜集或网站扫描等。主要有以下3种：

搜索引擎爬虫产生流量；
自动化完成业务逻辑（例如应用自动提取关联信息和一些自动化工具的统计类工作）产生流量；
监控机器人，主要用于网站可用性等指标的实时监控。

2、恶意bot流量是对互联网不利的，可用于攻击网站等，最具代表性的就是僵尸网络，其来源非常广泛：

僵尸网络发起DDoS以及CC攻击产生流量；
刷接口：比如刷票、羊毛党、短信接口、垃圾注册等；
垃圾邮件机器人；
自动化扫描工具，探测网站潜在漏洞，为后续攻击收集情报；
不规范搜索引擎的爬虫，不遵循robots.txt规范；
恶意爬虫抓取网站数据，尤其是来自竞争对手的抓取；
恶意行为，多为模拟人操作特征，其访问逻辑异常，多因网站存在漏洞，攻击者专门开发的恶意程序进行访问。

二、恶意bot流量占多大比例？

接近30%的流量是恶意流量，超出很多人的预期。

恶意bot流量已经完成从蛮夷时代到模拟时代的过渡。

恶意bot流量会造成服务不可用、可用性降低、用户体验降低、数据被爬、网站漏洞安全问题、业务故障等，这些危害的损失难以估计。
恶意bot流量从蛮夷时代过度到模拟时代也导致防御难度上升。在蛮夷时代，限速和检查ua、referer、cookie可能是许多网站使用的安全防御策略，但在模拟时代的效果已经微乎其微了。

三、针对恶意bot流量的检测和识别应使用系统方法

“限速”这种暴力方法有可能误伤正常的bot流量。部分bot流量会在固定时间点收集一波数据，形成报告，从而导致短时间内请求速率较高。网站的秒杀活动在一瞬间同样也会引起请求速率激增，特别是对于某些使用代理，例如移动应用都会通过手机网关来请求流量，攻击者很容易探测到限速阈值，降低速率而继续攻击。伪造搜索引擎的ua、refer也很容易实现，浏览器自动化操作会使绝大多数运维人员在梳理日志时感觉到头痛。

相对于人类的请求流量，bot流量的请求是一种“异常”，而对“异常”的解释也就是对bot流量的判别。问题本质是“异常”的检测和解释，异常不一定是威胁，但威胁一定是异常。

“异常”检测并不困难，基于机器学习技术能构建多种异常检测模型来识别潜在的bot流量。目前UCloud UEWAF使用行为基线模型的效果比较突出，例如一个精心构造的爬虫工具，专门针对感兴趣目标url提取数据，请求速率下降到和搜索引擎一样，每分钟请求0.5至1次，ua也伪造为搜索引擎的ua，行为模型会跟踪这个访问，对访问目标url进行基线距离计算，从而检测出异常。基于此方法，bot流量类的访问不论是正常还是恶意都能检测出。

检测出“异常”的解释属于领域知识。例如，CC攻击和爬虫异常表现是有区别的，CC攻击发起的访问url一般固定，来源众多，以降低服务可用性为目的，但爬虫在于爬取更多感兴趣的数据。因此领域知识是一种分类的思想，是否有足够证据表明属于哪一类别。

在“异常”的解释部分，IP风险情报的作用不可忽视。假如我们知道搜索引擎的bot IP白名单、移动网络手机网关IP、恶意扫描IP情报信息、恶意DDoS&CC源IP、更多IP情报等，那么异常的解释将会更加准确。UCloud借助云数据中心，运营维护IP情报信息，同时也会和行业共享IP情报，构建高质量的IP情报系统。

数据分析离不开数据分析平台的支撑，借助数据平台，将上面的检测融合在一起，形成UCloud UEWAF网络bot流量行为检测功能。在用户流量出现异常时，模型在恶意行为开始阶段就发现、甄别并做出记录、判断甚至拦截。对于企业来说，专业的“异常”检测模型、IP情报系统以及数据分析平台是一个不错的方案。

好礼相赠