酷应用

CVPR 2020线上分享 | Oral论文：逆转ResNet-50重现完整ImageNet的优化算法

百家作者：机器之心 2020-06-01 16:09:46

作为计算机视觉领域的三大国际顶会之一，CVPR 每年都会吸引全球领域众多专业人士参与。如 2019 年，CVPR 注册参会人数高达 9227 人，突破历届记录。其中，来自国内的参会人数就达到 1044 位，仅次于大会举办地美国（4743 位）。

CVPR 2020 原定于 6 月 16 日至 20 日在华盛顿州西雅图的华盛顿州会议中心举行，但是当前全球疫情势态严峻，越来越多的国际 AI 顶会开始转向线上，CVPR 也不例外。

虽然无法去现场交流，但这无法阻挡我们学习的热情。

为向读者们分享更多 CVPR 优质内容，在 CVPR 2020 开幕之前，机器之心将策划多期线上分享。这是机器之心 CVPR 2020 线上分享的第六期，我们邀请到普林斯顿大学博士、英伟达（硅谷）研究科学家尹洪旭为我们分享主题《逆转 ResNet-50 重现完整 ImageNet – 梦幻蒸馏》，在此分享中他将为大家细致解读 Oral 论文《Dreaming to distill: Data-free knowledge transfer via DeepInversion》。

个人介绍：尹洪旭，普林斯顿大学博士，英伟达（硅谷）研究科学家，研究方向为 efficient deep learning。

分享概要

在此分享中，我们将介绍一种全新的逆向优化算法，DeepInversion。该算法仅基于一个训练好的神经网络（固定），优化噪音输入就能生成符合原本训练集分布的新数据集。我们发现使用已训练的 ResNet-50 分类器，已经可将 Gaussian Noise 优化成完整的 ImageNet 训练集，全程无需任何辅助信息。DeepInversion 仅依靠模型内部的信息，已可将一原本只 discriminative 的网络转变成 generative，全程无需任何 GAN 的训练。

基于此方法，我们实现了无数据模型压缩与剪枝、无数据知识蒸馏与迁移、无数据持续与增量学习。