淘宝“明星同款”可能要被AI抓出来打了，阿里新研究专攻服装局部抄袭丨CVPR
乾明 发自 凹非寺
量子位 报道 | 公众号 QbitAI
阿里用AI打假，又有新研究成果问世。
这次，他们把目光集中在了服装盗版上，而且把难度值拉到最大：盗版者抄袭过程中，修改了领子、袖子等细节，比如淘宝上的各类“明星同款”，一样能够快速锁定。
背后的思路是：基于服装区域性表达的检索模型，对图像中的服装进行区域化的相似性学习和度量。
该研究成果已被CVPR 2020 收录，并被选为Oral论文。
阿里安全图灵实验室表示，该工作将用到阿里原创保护平台，在淘宝、天猫等阿里系电商平台上线，提供侵权检测能力。
精细化抄袭魔高一尺，打假道怎么高一丈？
就服装领域而言，虽然打假一直不断，但盗版抄袭问题依旧普遍存在。而且从线上到线下，抄袭手段越来越刁钻，打假难度逐年提高。目前来看，服装领域的抄袭只有有三类。
第一类集中在图片盗用上。盗版者通常未经授权，拿正版品牌的商品图使用或修改使用，比如在图上添加自己店铺的水印，或进行一些图像处理（反转、缩放、拼接等）。
这一类侵权抄袭成本很低，但很容易被平台的图片检索系统锁定，然后快速“治理”。
第二类是创意盗用，不良商家直接抄袭原创商家的整体商品设计和创意，制作同款或者仿款。
这类侵权的成本稍高一些，但基于商品整体相似度度量的同款检索算法，可以对它们进行召回和治理。
第三类是盗用是对服装的某些局部区域进行修改，像是洗稿，比如改变领口的设计款式、或者胸前印花的布局，甚至改变服装的款型等。
但如下图所示，仍然是抄袭正版品牌服装的风格和设计元素（左侧为正版，右侧为盗版），甚至还当做“明星同款”来卖。
这类盗版的成本最高，并不易被传统的基于商品同款检索的算法锁定。通常情况下，电商平台只能通过人工审核来发现，打假成本很高。
那有没有一种方法，能够让系统自动锁定此类抄袭现象？这就是阿里安全图灵实验室最新研究的方向。
此前，他们基于属性感知细粒度相似度学习方法，提出服饰版权算法来锁定局部抄袭，被AAAI2020收录。
现在他们又提出了一个新思路，基于服装区域性表达的检索模型，对图像中的服装进行区域化的相似性学习和度量，从而实现更有效打假。
精确到袖子、领子的 “盗版服装图像”检索算法
“盗版服装”的定义，是整体上抄袭原版服装设计和风格，并在一两个区域进行修改，以逃避现有同款服装检索模型筛查的服装样本。
阿里的研究人员将图像中的服装分为五个区域，包括领子、胸部、腰部和两个袖子区域，并在四类服装（短袖T恤、长袖上衣、外套、连衣裙）上实验，各服装区域划分如下图所示：
在算法设计上，他们提出了一种服装关键点引导的区域注意力机制。
首先利用服装关键点估计分支来预测服装的关键点，即分布在服装图像各个关键位置的点位，如领口、袖口、肩部、腋下等。
每类服装的关键点数量和分布有一定差异，点数在每件25-40个左右。根据这些关键点，算法可对服装图片进行多个区域的划分，如领子、袖子、胸部、腰部区域等。
区域划分信息通过基于ROI Pooling思想的方式引入，一体化的服装图像特征被解耦为多个区域化的特征表达，以独立地进行特征相似度的学习和度量。
同时，服装关键点结合区域化的表达可作为一种注意力机制，引入到图像检索网络上，关键部位的特征权重被提升，非关键部位的权重被削减，以提升模型对关键部位的判别力。
服装关键点估计分支和图像检索分支使用相同的HR-Net主干网络，其多级并联结构在获取多尺度特征的同时保持了高分辨率。
在损失函数的选择上，关键点估计分支采用了均方差损失函数，检索分支采用了区域化设计的Triplet损失函数。而损失函数的数值不再是整个图片范围的特征triplet差值，而是各个区域特征差值的累加结果。
文中方法的框架如下图所示，网络可分为服装关键点估计分支和服装检索分支，其中检索网络包含同款服装检索和盗版服装检索两种输出形式：
通过对平台侵权服装样本的分析，阿里研究人员发现，不同类别服装易被盗版的区域是不一样的，因此只将服装图像特征的相似度度量过程解耦是不够的，还需要为每类服装的多个区域设定差异化的权值，进行加权的区域相似性计算，以召回更多的盗版服装样本。
为此，他们基于平台盗版服装数据，建立了一个名为“Fashion Plagiarism Dataset”的数据集，该数据集中，每组“原版服装”的query图像对应gallery中多个“盗版服装”图像，数据覆盖短袖T恤、长袖上衣、外套、连衣裙四类样本。
他们在该数据集上，对在Deepfashion2数据集上预训练过的检索网络进行Fine Tune训练，用Coordinate Ascent算法对不同服装类别的各区域权值进行迭代优化，以降低损失函数数值。
“盗版服装”检索训练过程的损失函数，同样基于Triplet损失函数设计。最终，训练后的盗版检索网络可以基于上图中的Input服装图像召回Output中绿框内的盗版服装样本。
打假效果怎么样？不输、甚至超越此前SOTA
在论文的实验部分，阿里研究人员首先在“Fashion Plagiarism Dataset”上对算法的“盗版服装图像”检索能力进行了评估。
除了论文所提出的方法外，他们还设定了两种方法进行对比：一种是传统检索方法，使用相同的backbone网络和Triplet的损失函数，但是不包含区域化特征学习和表达机制；另一种是包含区域化特征表达机制，但是使用非Fine Tune训练得到的区域权重，评价指标为mAP。
从表中结果可以看出，论文所用方法在各个服装类别都取得了最佳效果。
除上述“盗版服装检索”的评价实验外，他们还在Deepfashion系列数据集上进行了服装关键点估计，和同款服装图像检索任务的实验。
在服装关键点估计部分，阿里研究人员在目前复杂度最高的Deepfashion2数据集上进行了评测，与现有Match-RCNN, CPN, Simple-Baseline等方法相比，服装关键点估计模型在各个子集上都取得了最高的mAP结果：
在同款服装检索实验中，他们选用了FashionNet, Match-RCNN, PCB等方法作为对比，在Deepfashion和Deepfashion2上分别进行了实验。
其中，Deepfashion主要针对In-shop检索场景，Deepfashion2则针对于Consumer-to-shop场景。评价指标分别为Top-N recall和Top-N accuracy。
结果如下图所示，阿里的方法在Deepfashion数据集上取得了与SOTA方法相近的效果，在Deepfashion2数据集上的结果要明显优于现有baseline方法。
来自阿里安全图灵实验室
一共有5名研究人员参与了这项研究，分别来自阿里巴巴、浙江工商大学和 阿里巴巴-浙江大学前沿技术联合研究中心。
文章第一作者Yining Lang、第二作者Yuan He、第三作者Fan Yang来自阿里安全图灵实验室。阿里安全图灵实验室负责人薛晖，是文章的通讯作者。浙江工商大学Jianfeng Dong也是论文作者之一。
阿里安全图灵实验室正式成立于2016年，前身是阿里安全基础算法团队，主要从事安全与风险方面的AI系统研发，核心技术包括计算机视觉、自然语言处理、生物特征识别、图计算以及异常检测和分析等，截止到2018年，已申请50多项专利。
目前，他们还在大举招兵买马，包括研究型实习生和正式研究者，如果你有兴趣，可以关注下~
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
高能直播 | 云体验无人车试乘+顶级技术专家拆解仿真系统
直播报名 | 图像与视频处理系列课程
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
关注公众号：拾黑（shiheibook）了解更多
[广告]赞助链接：
四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/
量子位
关注网络尖刀微信公众号
