酷应用

学界 | NIPS 2018对抗视觉挑战赛结果公布：CMU邢波团队包揽两项冠军

百家作者：机器之心 2018-11-10 06:17:13

选自medium

作者：Wieland Brendel

机器之心编译

参与：张倩、王淑婷

今日，NIPS 2018 对抗视觉挑战赛结果公布。本次比赛共分为三个单元：防御、无针对性攻击和有针对性攻击。CMU 邢波团队包揽两项冠军，另一项冠军则由来自加拿大的 LIVIA 团队斩获，清华 TSAIL 团队获得「无针对性攻击」的亚军。本文介绍了这些团队的方法大纲，不过具体细节将在 12 月 7 日 9:15–10:30 举办的 NIPS Competition 研讨会上揭晓。

NIPS 2018 对抗视觉挑战赛地址：https://www.crowdai.org/challenges/nips-2018-adversarial-vision-challenge-robust-model-track

今天，NIPS 2018 对抗视觉挑战赛（NIPS Adversarial Vision Challenge 2018）结果公布，超过 400 个参赛团队提交了 3000 多个模型和攻击方法。今年的比赛聚焦于真实世界的场景，攻击对模型的访问量很小（每个样本至多 1000 个）。模型仅返回它们给出的最终结果而不是梯度或置信度分数。这种做法模拟了部署机器学习系统面临的典型威胁场景，有望推进基于决策的高效攻击方法的发展，也有利于构建更加鲁棒的模型。

CrowdAI 平台上已完成的 model track。

所有获奖者的表现至少比标准基线（如从普通模型或普通边界攻击（Boundary attack）迁移）好一个数量级（根据 L2 扰动的中值大小计算)。我们向每个比赛（防御、无针对性攻击、针对性攻击）的前三名要了他们方法的大纲。获奖者将在 12 月 7 日 9:15–10:30 举办的 NIPS Competition 研讨会上展示其方法。

攻击赛道获奖者的共同主题是边界攻击的低频版本以及不同防御方法组合起来作为替代模型。在 model track 中，获奖者使用了一种新的鲁棒模型方法（细节恐怕要等到研讨会才能知晓）以及一种用于对抗训练的基于梯度的新迭代 L2 攻击。在之后的几周，我们将再次发帖，公布更多结果细节，包括针对防御模型生成的对抗样本的可视化。获奖团队将在几周后公布。

防御

第一名：Petuum-CMU 团队 (排行榜上代号为「91YXLT」)
作者：Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等贡献)，分别来自 Petuum Inc 公司、卡内基梅隆大学、弗吉尼亚大学。
为了学习对对抗样本鲁棒的深度网络，作者分析了对对抗样本鲁棒的模型的泛化性能。基于其分析，作者提出了新的公式来学习具有泛化和鲁棒性保证的鲁棒模型。

第二名：Wilson 团队（目前尚未收到该团队的回复）

第三名：LIVIA 团队（排行榜上代号为「Jerome R」）
作者：Jérôme Rony & Luiz Gustavo Hafemann，来自加拿大蒙特利尔魁北克高等技术学院（ETS Montreal，Canada)
作者用提出的基于梯度的新迭代 L2 攻击（解耦方向和范数——Decoupled Direction and Norm，DDN）训练了一个鲁棒的模型，这种攻击速度够快，可以在训练中使用。在每个训练步骤中，作者找到一个接近决策边界的对抗样本（使用 DDN），并最小化这个例子的交叉熵。模型架构没有变化，也没有对推理时间产生任何影响。

无针对性攻击

第一名：LIVIA 团队（排行榜上代号为「Jerome R」）
作者：Jérôme Rony & Luiz Gustavo Hafemann，来自加拿大蒙特利尔魁北克高等技术学院
该攻击方法基于众多代理模型（包括用作者提出的新攻击方法——DDN 训练的鲁棒模型）。对于每个模型，作者选择两个方向来攻击：原始类别的交叉熵损失梯度，以及通过运行 DDN 攻击给出的方向。对于每个方向，作者对范数进行二进制搜索，以找到决策边界。作者采取最好的攻击，并通过《Decision-Based Adversarial Attacks: Reliable Attacks Against Black-Box Machine Learning Models》中的边界攻击（boundary attack）方法来改进它。

第二名：TSAIL 团队 (排行榜上代号为「csy530216」)
作者：Shuyu Cheng & Yinpeng Dong
作者使用一种启发式搜索算法来改进对抗样本，这与边界攻击方法类似。BIM 攻击使用了《Adversarial Logit Pairing》中的基线来迁移，从而找到了起点。在每次迭代中，随机扰动是从具有对角协方差矩阵的高斯分布中采样的，该矩阵由过去的成功试验进行更新以模拟搜索方向。作者将扰动限制在 64*64*3 图像的中心 40*40*3 区域内。其首先生成一个 10*10*3 的噪声，然后使用双线性插值将其调整到 40*40*3。限制搜索空间让算法变得更高效。

第三名：Petuum-CMU 团队 (排行榜上代号为「91YXLT」)
作者：Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等贡献)，分别来自 Petuum Inc 公司、卡内基梅隆大学、弗吉尼亚大学。
作者在来自 Foolbox 的几个距离测量度量下集成了不同的鲁棒模型和不同的对抗攻击方法，以生成对抗扰动。此外，他们选择了在不同距离度量下攻击鲁棒模型时最小化最大距离的最佳攻击方法。

有针对性攻击

第一名：Petuum-CMU 团队（排行榜上代号为「91YXLT」）
作者：Yaodong Yu*, Hongyang Zhang*, Susu Xu, Hongbao Zhang, Pengtao Xie 和 Eric P. Xing (*表示同等贡献)，分别来自 Petuum Inc 公司、卡内基梅隆大学、弗吉尼亚大学。
作者根据 Foolbox 集成了不同的鲁棒模型和不同的对抗样本方法来生成对抗扰动。他们发现集成方法使得目标攻击模型对于各种鲁棒模型变得更加有效。

第二名：fortiss 团队（排行榜上代号为「ttbrunner」）
作者：Thomas Brunner & Frederik Diehl, 来自德国 Fortiss GmbH 研究所
该攻击方法与边界攻击类似，但不是从随机正态分布中采样。此外，作者采用迁移良好且不易被防御者过滤的低频模式。作者还使用替代模型的投影梯度作为采样的先验。通过这种方式，他们将两者（PGD 和边界攻击）的优点结合成一种灵活又采样高效的攻击方法。

第三名：LIVIA 团队（排行榜上代号为「Jerome R」）
作者：Jérôme Rony & Luiz Gustavo Hafemann，来自加拿大蒙特利尔魁北克高等技术学院
该攻击方法基于众多代理模型（包括用 DNN 训练的鲁棒模型）。对于每个模型，作者选择两个方向来攻击：目标类别的交叉熵损失梯度，以及通过运行 DDN 攻击给出的方向。对于每个方向，作者对范数进行二进制搜索，以找到决策边界。作者采取最好的攻击，并通过边界攻击方法来改进它。