酷应用

AAAI 2020 线上分享 | 加州大学伯克利分校：Hessian矩阵下的神经网络

百家作者：机器之心 2020-01-06 06:11:55

最新一期机器之心 AAAI 2020 线上分享，我们邀请到了加州大学伯克利分校 Zhewei Yao 博士为我们介绍将二阶方法用于训练深度神经网络的最新成果。这是一期硬核的线上分享。

今年春节后不久，人工智能学术顶会 AAAI 2020 就将于美国纽约开幕。为向读者们介绍更多 AAAI 2020 优质论文，机器之心组织策划了 AAAI 2020 线上论文分享。

目前，机器之心 AAAI 2020 论文分享进行到了第三期，本期我们邀请到了加州大学伯克利分校 Zhewei Yao 博士，他的论文《Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT》被 AAAI 2020 所接收。在这期分享中，他将介绍把二阶方法用于训练深度神经网络的最新结果。

讲者简介：Zhewei Yao，加州大学伯克利分校 BAIR、RISELab（前 AMPLab）、BDD 和数学系博士。他的研究兴趣包括计算统计，优化和机器学习。目前，他对利用随机线性代数中的工具来为大规模优化和学习问题提供有效且可扩展的解决方案感兴趣。他也在研究于深度学习的理论和应用。

演讲概要：在此演讲中，我将介绍把二阶方法用于训练深度神经网络的最新结果。首先，我会介绍一种使用二阶信息进行模型压缩的新系统性方法，这种方法能够在图像分类、目标检测和自然语言处理等一系列具有挑战性的任务中产生前所未有的小模型，超越所有的行业水平，包括昂贵的、可大规模搜索的 AutoML 方法。

其次，我将介绍一个用于计算 Hessian 信息的全新可扩展框架，以解决二阶信息计算速度很慢的问题。此外，我还将为大家展示在训练期间也可以使用 Hessian 信息，且开销很少。与 ImageNet 上基于一阶方法训练 ResNet18 的时间相比，我们的方法可提速 3.58 倍。

论文链接：https://arxiv.org/pdf/1909.05840.pdf

时间：北京时间 2020 年 1 月 9 日 20:00-21:00

AAAI 2020 机器之心线上分享

2020 年 2 月 7 日-2 月 12 日，AAAI 2020 将于美国纽约举办。不久之前，大会官方公布了今年的论文收录信息：收到 8800 篇提交论文，评审了 7737 篇，接收 1591 篇，接收率 20.6%。

为向读者们分享更多的优质内容、促进学术交流，在 AAAI 2020 开幕之前，机器之心将选出数篇优质论文，邀请论文作者来做线上分享。整场分享包括两个部分：论文解读和互动答疑。

线上分享将在「AAAI 2020 交流群」中进行，加群方式：添加机器之心小助手（syncedai4），备注「AAAI」，邀请入群。入群后将会公布直播链接。