8亿参数，刷新ImageNet纪录：何恺明团队开源最强ResNeXt预训练模型

栗子 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

来自Facebook何恺明团队，比以往都强大ResNeXt预训练模型开源了。

它叫ResNeXt WSL，有超过8亿个参数，用Instagram上面的9.4亿张图做了 (弱监督预训练) ，用ImageNet做了微调。

注：WSL是弱监督学习，不是Windows里面的Linux。

ImageNet测试中，它的 (32×48d) 分类准确率达到85.4% (Top-1) ，打破了从前的纪录。

LeCun大佬作为公司首席AI科学家，转推了开源的喜讯，而后众人奔走相告，赞数已经超过1600。

评论区涌起了难以置信的声音：

拿ImageNet做微调？？

我头一次听说，在更大的预训练集面前，ImageNet成了微调用的小语料库。

9.4亿张图？谁能做完这么多计算？

所以现在好了，你并不需要做这样大大大量的计算，可以直接从预训练的模型开始。

更好的是，开源的不止这一个模型。

究竟是有多强大

预警：先交代一下历史，后面是最新的成绩。

ResNeXt，其实诞生在2016年。

它的前辈是2015年发表的ResNet (残差网络) ，用“shortcut”这种能跳过一些层的连接方式，解决了梯度消失问题，训练几百上千层的网络不是梦。

ResNet在图像分类、目标检测、定位、分割等等项目上完胜各路对手，拿下当年CVPR最佳论文，震动了学界和工业界。

后来，作为ResNet的一个高能进化版，ResNeXt在宽度和深度之外，引入了“基数 (Cardinality) ”的概念。在网络不加深不加宽的情况下，就能提升准确率，还能减少超参数的数量。

一个101层的ResNeXt，准确率已媲美200层的ResNet。于是，它也中选了CVPR。

而这一次，ResNeXt WSL系列是在当年的基础上，又探索了弱监督 (Weakly Supervised Learning) 的可能性：

Instagram图片，没有经过特别的标注，只带着用户自己加的话题标签 (#) ，就当做预训练的数据集了。

经过9.4亿张图的预训练，再拿ImageNet去微调，四个ResNeXt模型的考试成绩如下：

团队说，比起直接用ImageNet训练，加上弱监督的预训练步骤，分类准确率有明显的提升。

其中，32×48d的准确率 (Top-1) 刷新了ImageNet的纪录。

弱监督可行，今后AI就可以在更大规模的数据集上训练/预训练了。

一行代码可调用

现在，四个预训练模型都已经开源。加载只需：

1import torch
2model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')
3# or
4# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')
5# or
6# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')
7# or
8#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')
9model.eval()

说不定你已经看出来了，所有模型都已加入不久前刚发布的PyTorch Hub豪华彩蛋。所以，一小段代码便可以轻松调用。

只有一点需要注意：这次开源的模型，要求所有输入图像，都用相同的方式归一化 (Normalization) 。

具体示例，可以从文下传送门前往主页观摩。

One More Thing

在这样鸡冻人心的日子里，总有些小伙伴的关注点和其他人不一样：

他们用Instagram啊，我以后是不是要把所有的图都做个对抗样本，再发状态？(以达到欺骗AI的目的)

AI啊，你相信我，这真是一只长臂猿。(误)

ResNeXt主页：

https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/

GitHub项目：
https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py

Colab Demo：
https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb

ECCV论文：
https://arxiv.org/abs/1805.00932

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

AI社群 | 与优秀的人交流

小程序 | 全类别AI学习教程

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 ! 

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/