酷应用

SOTA排行榜大变天！MIT研究十个CV测试集，平均错误率超3.4%

百家 作者：新智元 2021-03-31 11:26:47


  新智元报道  

来源：arxiv
编辑：LRS
【新智元导读】如果测试集不靠谱，那测出来的模型性能会靠谱吗？MIT研究了10个流行的CV的数据集，平均测试集的错误率超过3.4%，最多的竟然错误超10%。「2021新智元首期AI家论坛——“创新之都 AI赋智”在中关村软件园召开。新征程，新跨越，新智元邀您在新浪直播一起见证。赶快戳下方链接直达会场：新浪视频直播https://zhibo.sina.cn/news/118265?vt=4；图文云直播链接https://v.alltuu.com/r/2iaey2/」‍

「clean code」是机器学习的基础，在公开的数据集取得更好的效果也是发表论文的基础。
 
众所周知的是，公开数据集并不都是完美的，或多或少都存在标签错误的问题。之前的工作主要关注「训练数据集」中的错误，忽视了「测试数据集」的错误。
 
MIT在arxiv上传了一篇论文，研究了10个流行的数据集，借助Amazon的众包平台Machine Turk来检验错误率。
 
通过算法识别并人工验证，发现确实普遍存在标签错误，10个数据集的平均错误率为3.4％
 
 
MNIST也会出错？
 
即使是久经沙场，被无数论文作为基准测试过的MNIST数据集，在测试集中也包含15个（人工验证过的）标签错误。
 
不过大部分错误都属于有争议的结果，手写体写出来和看起来确实存在较大差距，例如0和6。
 
 

CIFAR-100迷惑性的标签

通过自然语言来定义标签，一个问题就是语言的「歧义性」。
 
下面三张标签中，图一过于抽象，并没有看出来是大象或是什么其他物种。

第二幅图被标注为「碗」，而被纠正为「茶杯」。cup与bowl之间的区别在于用途、大小。而根据图中比例来说，并无法分辨是碗还是杯子。

图三小编觉得更像是桌子，一个带花纹的桌子，可能纠正错了。

 
QuickDraw数据集有10%都是错的？

QuickDraw共包含了五千万幅画，其中抽样测试集错误率约为10%，也就是说五百万个样例都是错误的。
 
例如下图中，眼睛被标注为了老虎，灯泡被标注为鳄鱼皮。
 
第三幅图笔画过于简单，想象空间比较大，数据集给出的标签是落地灯，众包人员认为是回旋镖，但还有许多其他的答案，例如大雁或者其他的具有翅膀的动物。
 
 
还有其他离谱的标注，天使被标注成三角形，鸟标注为火炉，苹果标注为衬衫，差的有点大吧？只能说标注人员脑洞开的真的很大！

 
ImageNet也有5.83%不可信赖

ImageNet的错误分类有许多是动物类的，需要标注人员具有专业知识，能够准确区分各个动物。
 
花鸡、松鸦、夜莺之间的区分，对于小编来说太难了。
 
 
跑车和赛车之间的区别还是比较大的，图一难道不是「玩具车」？
 

纠正标签有什么作用？

图(a)显示，移除更多的错误标签，能够线性地提高ResNet-18的准确率。
图(b)和图(c)说明，当纠正更多的错误标签时，准确率也会上升。
 
 
当数据集中错误标签被纠正后，不同模型之间的排名也会发生较大变化。
 
 
人工标注是一个既客观又主观的事情，人在做图像识别任务的时候，也无法达到100%的准确率，错误无可避免。
 
训练集的错误标签同样会影响到模型在测试集上的表现，错误的标记可能会导致科研人员得出模型在现实世界中性能更佳的错误结论，从而破坏了机器学习系统的基准测试结果。
 
如何建立一个可依赖的公开数据库，或依赖半监督算法来有效清洗数据，也许是下一步研究方向。


参考资料：
https://l7.curtisnorthcutt.com/label-errors

上云赋智，AI新家！
 
2021年3月31日，首期AI家主题论坛——「创新之都 AI赋智」将在中关村软件园举办。

本期论坛由新智元创始人杨静主持，中关村软件园总经理张金辉到场致辞，主题演讲环节荣幸邀请到达闼科技创始人&CEO黄晓庆、科大讯飞执行总裁胡郁、英伟达亚太区副总裁潘迪等AI科研产业先锋，分享「5G上云  AI赋智」的精彩案例。现场还有达闼云端机器人Ginger小姜与大家进行精彩互动，还将根据新智元创新指数研究，公布「2020 AI Era 创新大奖」！（特邀合作嘉宾清华大学新闻学院沈阳教授致辞）
 
新征程，新跨越，新智元&达闼科技邀你在新浪直播平台一同见证！赶快戳下方链接直达会场：

点击阅读原文跳转新浪视频直播：https://zhibo.sina.cn/news/118265?vt=4

图文云直播链接：https://v.alltuu.com/r/2iaey2/


还可以扫描下方二维码，获取视频直播、图片云直播呦！


关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/

*文章为作者独立观点，不代表 爱尖刀 立场
本文由 新智元发表，转载此文章须经作者同意，并请附上出处( 爱尖刀 )及本页链接。
原文链接 https://www.ijiandao.com/2b/baijia/406740.html
图库
新智元 新智元
公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数
iTrust
AiDeep Ued
关于我们 联系我们 升级日志 法律声明 广告服务 侵删通道
Copyright © 2021 K2CMS All rights reserved.
京ICP备14006288号