酷应用

ECCV 2020线上分享 | 阿里达摩院Oral论文：一种新型神经网络优化策略

百家作者：机器之心 2020-08-17 14:45:25

不久之前，计算机视觉三大国际顶级会议之一的 ECCV 2020 论文接收结果公布。今年 ECCV 有效投稿 5025 篇，最终被接收发表论文 1361 篇，接收率为 27%。在接收论文中，oral 的论文数为 104 篇，占有效投稿总数的 2%，spotlight 的数目为 161 篇，比例约为 3%。

今年 ECCV 原定于 2020 年 8 月 23-28 日在英国格拉斯哥举行，但和众多学术会议一样，受疫情影响，ECCV 2020 将完全以虚拟方式线上进行。

虽然无法去现场交流，但这不能阻挡我们学习的热情。

为向读者们分享更多 ECCV 2020 优质内容，在此大会开幕之前，机器之心将策划多期线上分享。这是机器之心 ECCV 2020 线上分享的第二期，我们邀请到香港理工大学 (HK PolyU) 计算学系在读博士、阿里巴巴达摩院视觉计算组研究型实习生雍宏巍为我们分享 Oral 论文《Gradient Centralization: A New Optimization Technique for Deep Neural Networks》。在此论文中，研究者们提出了一种梯度中心化的神经网络优化策略。

分享主题：基于权重约束和梯度约束的深度学习优化策略

讲者简介：雍宏巍，香港理工大学 (HK PolyU) 计算学系在读博士，西安交通大学 (XJTU) 应用数学系硕士。目前在阿里巴巴达摩院视觉计算组研究型实习生，从事深度学习方面的基础研究工作。主要的研究方向包括神经网络的优化算法，优化技巧和训练策略等。

分享概要：

对于深度神经网络，好的优化策略和优化技巧往往可以加速训练并且提升泛化性能。优化过程中对权重和其梯度进行合适的约束往往可以取得更好的优化效果。本讲座首先分享现有的深度学习优化问题中权重和梯度的约束方法和其求解策略，然后重点介绍 ECCV 的 oral 论文《Gradient Centralization: A New Optimization Technique for Deep Neural Networks》。

文章提出了一种梯度中心化的神经网络优化策略。通过对神经网络的权重的梯度进行中心化，来加速优化算法的收敛速度并且提升泛化性能。理论上，梯度中心化的方法可以被看成是一种梯度投影的方法，其可以提升目标函数的利普西斯性，同时约束权重的优化范围，在多个实际应用中，包括图像分类，检测分割等，梯度中心化测试都可以更快更好的优化我们的神经网络，进而得到更好的泛化性能。

论文链接：https://arxiv.org/abs/2004.01461
开源代码链接：https://github.com/Yonghongwei/Gradient-Centralization

直播时间：北京时间 8 月 20 日 20:00—21:00

参与方式：

添加机器之心小助手（syncedai5），备注「ECCV」，进群一起看直播。PS：如本小助手无法添加，请添加小助手的兄弟姐妹们：syncedai2、syncedai3、syncedai4、syncedai6。或者将「微信 ID」发送邮件到 shidongle@jiqizhixn.com，我们将与你联系，邀你入群。