酷应用

新闻
- 看点
- 观点
- 读点
- 热点
科技
- 数码
- 软件
- 应用
- 极客
企服
- 电商
- 运营
- 移动
- 访谈
- 动态
- 招聘
- 访谈
- 百家
安全
- 业界
- 快讯
- 技术
- 校园
- 工具
文娱
- 明星
- 影视
- 音乐
- 网娱
- 韩娱
- 词典
游戏
- 手游
- 页游
- 端游
好货
- 报道
- 值得买
- 健康

Science | 人工智能领域很多引人注目的进展并不真实

百家作者：新智元 2020-06-01 13:48:28

新智元报道

来源：Science

编辑：白峰

【新智元导读】近日，一名MIT的自由科学家Hutson在Science发文，抨击「人工智能的一些进展并不真实」，MIT研究人员对当前的一些AI论文进行了系统评估后发现，新模型和之前的经典模型结果相差并不大，论文作者宣称的效果提升大部分是旧模型的微小改动，并采用了不同的评价标准。

人工智能似乎变得越来越聪明。每一部 iPhone 都比上一部更好地了解你的面孔、声音和习惯，各种性能的提升真的是来自算法的创新吗？

Matthew Hutson

多数算法改进缺乏创新性

麻省理工学院(MIT)计算机科学专业的研究生戴维斯•布拉洛克(Davis Blalock)表示，有些算法改进来自微调，而不是发明者声称的核心创新，而且有些改进可能根本不存在。

Blalock 和他的同事比较了几十种改进神经网络的方法。「我们梳理了50篇论文，但是我们仍然不知道最先进的技术到底是什么。」

研究人员评估了81种剪枝算法，这些剪枝算法主要是裁剪一些不必要的连接以提高神经网络效率。所有人都都变着法说自己的算法是最好的，但他们很少进行公允的有说服力的比较ーー当研究人员把这些算法放在同一标准下评估时，10年的时间，并没有什么显著的改善。

以剪枝算法为例，质疑这些论文主要原因有以下几点：

缺乏一个完备的比较。2010年之前的算法没有加入评估，最近的更新也没有，对比较多的是VGG、ResNet这些经典架构，而最新的EfficientNet则很少。

你用了ImageNet，好我用CIFAR；什么你也用CIFAR，RseNet架构？那我用CIFAR和VGG。。

数据集和神经网络架构都不统一，得出的结论实在很难让人信服。

评价指标不一致，结果描述不完整。仅从效率和准确率无法评估出模型的对比效果。只有一篇论文使用了标准差来评估整体的趋势。

还有一点就是大家用的数据预处理方法、超参数的调整策略，使用的框架，剪枝和微调介入的时期等都没有统一，这些都会导致结果的不同。比如同样的算法，有些PyTorch的实现就比TensorFlow的好，当然反过来也有可能。

水论文到底在玩什么把戏？

今年三月份在MLSys上公布的结果让 Blalock 的博士导师，麻省理工学院的计算机科学家 John Guttag 感到惊讶，「这种不平衡的比较本身就可以解释为什么停滞不前了」。这是老一套了，对吧?

从当前主流的机器学习架构来看，机器学习算法的收益主要来自其结构、损失函数或优化策略的根本性变化。

卡内基梅隆大学的计算机科学家 Zico Kolter 研究图像识别模型，该模型被训练后可以对黑客的「对抗性攻击」免疫。

一种早期的对抗性训练方法投影梯度下降法(PGD) ，现在一些更复杂的方法看似超越了PGD，但是在二月份的 arXiv 论文中，Kolter 和他的同事们发现，只需要一个简单的技巧来增强PGD，所有这些方法的效果都差不多。

论文灌水成风，但剪枝算法建议别发了

网友对如今AI论文灌水之风也是颇有微词，比如NIPS2018入选千篇。

知乎网友@Xiang Wang提出，论文要么跟实际贴合提升业务，要么就是理论创新，但是很多论文两者都没有做到，纯用捏造，实在是尴尬。

即使新方法并不比旧方法好到哪里去，每隔一段时间也会有一个新的算法实现应用上的突破，「这几乎就像一个风险投资组合，其中一些东西并没有真正发挥作用，但一些业务却表现出色」。

一些工业界看起来很好的效果可能是因为该领域的爆炸性增长，论文数量超过了有经验的审稿人。评审人员时间紧任务重，只与基准进行比较，很容易得出偏见性的结论。

今年早些时候，Blalock 的合著者，麻省理工学院的研究员 Jose Gonzalez Ortiz，发布了一款名为 ShrinkBench 的软件，该软件是基于PyTorch并且是开源的，它使得比较剪枝算法变得更加容易，以后再发这类的论文可要注意了！

参考链接：

https://www.zhihu.com/question/59002888)

https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real)

https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/

*文章为作者独立观点，不代表爱尖刀立场

本文由新智元发表，转载此文章须经作者同意，并请附上出处( 爱尖刀 )及本页链接。

原文链接 https://www.ijiandao.com/2b/baijia/366099.html

人工智能

图库

公众号

关注网络尖刀微信公众号
随时掌握互联网精彩

赞助链接

百度热搜榜

排名热点搜索指数