我是如何在自动驾驶CTF里“欺骗”机器学习模型的?

百家 作者:百度安全应急响应中心 2020-09-30 14:18:43
对图像数据叠加⼈类难以通过感官辨识到的细微扰动,就可以“欺骗”机器学习模型,做出错误的判断,业内将这种影响AI决策边界的细微扰动称之为“对抗样本” (AdversarialExample Attack)。

9月26日,百度安全举办的自动驾驶CTF比赛中,主办方通过3D仿真环境,运行了一部自动驾驶汽车,这辆汽车通过深度学习系统对前置摄像头捕获的输入进行判断,以保证车辆安全行驶。

这天,马路杀手“卡车小白“突然出现,横穿马路时正好挡在了自动驾驶车辆“小红”的正前方。正常情况下,身经百战的“小红“会利用它的自动驾驶系统,在距离障碍物30米时就开始按照固定频率持续对前方物体进行检测(每0.05秒检测一次)。
但是现在,这一切都失效了!
因为有一个神秘组织正在对“小红”进行样本攻击,攻击者通过在卡车上张贴对抗样本图片,扰乱“小红”的判断,使其连续三次不能正确识别到卡车,从而引发撞击事件。
神秘人1号,直接贴了一张畅通无阻的路面,想以此蒙骗自动驾驶系统,结果发现低估了“小红”的智商,攻击未果。
神秘人2号,脑峰一转,欲图利用激将法,直接亮出一张红牌“STOP”,试探“小红”的叛逆程度,看它会不会一反指令成功撞击,结果仍无果。
神秘人3号,以思路清奇著称,贴了一张雪人图片。当然,正是因为他的努力,神秘组织再次攻击失败。
看到这里,正当我迷恋于自己的智商远高于神秘组织时,说时迟那时快,“卡车小白”被撞倒了,神秘组织成功了!利用“苹果开会”这张图片成功欺骗了自动驾驶的机器学习模型,导致车辆发生撞击。

对抗样本攻击图片验证成功

对,这就是“苹果开会”本尊

万分惊愕之时,我仍满心疑惑,求知欲驱使我立刻去请教了百度安全的AI安全专家们,这才明白,原来攻击原理是这样的:

经过分析发现,神秘组织在做攻击的时候,“需要把图像归一化到0~1的浮点数类型,而真正的图像范围是0~255。因此生成的patch在映射回去的时候,会有一点误差。” 随后,神秘组织考虑加高斯噪声来提高攻击的鲁棒性,从而克服这个误差,最终成功“欺骗”模型。

 最终,神秘组织攻击成功

虽然“小红”“小白”和“神秘组织”都只是我们虚拟出来的一个场景,但是在真实的物理世界中,知名汽车制造厂商Tesla就曾因为其辅助驾驶故障,引发与白色卡车的数次“亲密接触”,导致几起重大交通事故,引发社会哗然。由此可见,随着自动驾驶技术的不断发展,如何保证技术的安全性仍然是重中之重的研究方向

百度安全一直致力于AI安全的前沿研究,研究论文也多次入选国际四大安全顶会,并一直保持领先地位。未来,我们欢迎更多致力于安全研究的科研人员加入我们,持续推动安全社区的共同发展,为工业安全贡献力量。
往期回顾:
百度安全推出全球首个自动驾驶CTF | 趣味挑战等你来通关
自动驾驶CTF大赛圆满落幕 | 冠军花落加州大学asguard战队

点击【阅读原文】,直达比赛官网

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接