牛！他本科没毕业就进入Google Brain，还发表了最火的深度学习顶级论文... 你呢？

这位本科还没毕业，就已进入谷歌大脑，与Google资深研究员Lukasz Kaiser共同发表了最近的一篇热门论文----"One Model To Learn Them All"，成功证明，一个神经网络是能同时处理多项任务的。

这小子到底是谁？是什么大学这么牛逼，造就了他？关于这篇论文，这位本科生脑子里到底怎么思考的？

作者 | U of T,  Google

译者 | failbetter

编辑 | AI100

这位传奇人物就是Aidan Gomez，而他目前就读的大学为多伦多大学。

在多伦多大学，Gomez主修计算机科学和数学。

刚过去的那一学期，他选择了休学，前往硅谷的Google Brain团队实习。

尚未毕业，尚未毕业，尚未毕业...（小编邪恶抛问：请问你大学在做什么？）

But，在Google资深研究员Lukasz Kaiser的指导下，他们共同发表了最近的一篇热门论文，主题是用一个神经网络进行多任务学习。这篇论文一经推出，迅速火遍了全网。

论文地址：https://arxiv.org/abs/1706.05137

来看现状。

当前，大多数神经网络都是单任务的，只能专注于鉴别图片内的物品、理解自然语言或语音识别的某一个目的。而Kaiser与Gomez等人的研究就是要证明，一个神经网络是能同时处理多项任务的。

既然提到这个论文了，让我们先放下鸡汤，再深入扒一扒这个论文。

这篇题为"One Model To Learn Them All"（Kaiser是第一作者）的论文甚至证明，多任务学习还能让神经网络的整体性能得到提升。

Gomez的论文模型：包括多种网络模型及编码器、I/O混合器、自回归解码器

“Lukasz和我基本上是退了一步来考虑问题：为什么不能用某种特定类型的模型来解决所有问题呢？”Gomez说到。

他以人类基于过往的经验来习得认知工具的过程来做类比。

“结果证明，我们的神经网络确实能做到这点。它不仅能用上这些工具，而且在新任务的性能表现上也更出色。”Gomez解释道。

Kaiser和Gomez所训练的模型，可同时解决八个问题，其中包括ImageNet大赛的图像分类识别。

在此插播一个小背景：

2012年，多伦多大学的Geoffrey Hinton，与Emeritus教授和他的研究生Alex Krizhevsky、Ilya Sutskever一起，以深度神经网络的突破性成果赢得过该比赛的冠军。而今，Sutskever在马斯克的OpenAI掌管人工智能研究。

（小编说：你想搞那块研究，你在哪个学校，学校有哪些名师，这个太重要了。所谓站在巨人肩膀嘛。又是一年高考时，希望各个小鲜肉想清楚自己未来想要的，慎重填志愿啊...）

对于ImageNet大赛，Gomez认为非常难，因为它的任务涉及到1000项分类，超过一百万张图片。

“一开始，我们比较担心——用ImageNet数据集来训练模型会不会跟其他数据冲突？我们的模型会不会把所有计算资源都用来处理最难的ImageNet数据？事实证明，我们多虑了。” 

Gomez继续说，

“不同的任务之间，似乎存在着某种协同关系；每项任务的训练都能有助于其他任务的执行，模型的整体性能就有了显著的提高。”

用相同的参数来同时处理不同的任务：Gomez论文模型各部分的架构

• Dot-Prodcut注意力模块：Google最新的机器翻译论文"Attention Is All You Need"所用的注意力架构。

• 注意力模块：关键是定时信号，基于位置来对内容的注意力进行集中；拥有源张量和目标张量两个输入。

• 卷积模块：用于发现局部模式，并将其泛化；内含线性整流函数ReLU、SepConv和归一层三个组件。

• 编码器：由6个重复的卷积模块搭成，中间为专家混合层。

• 混合器：由注意力模块与2个卷积模块构成。

• 解码器：由4个卷积模块加上注意力模块组成，中间为专家混合层。

“事实上，我们的神经网络已经做到了用相同的参数来同时处理不同的任务，正如你我的神经系统无需任何架构调整就能处理各项新任务一样。”

Gomez解释此次研究的主要目的，是针对“迁移学习（transfer learning）”，也就是如何把已经学到的知识重新应用到新的任务中。他们的模型还解决了语言翻译、图片注释、英语音频转录文本、语法分析（把语句拆解成语法树）中的同步问题。

“尽管看上去不是很相关，但同时处理语法分析与图像分类这样的任务，却能让我们的模型表现出更好的性能。这跟过去是截然相反的。”

Gomez的研究成果，分别用于图片注释、图片分类、不同语言翻译与句法分析

Gomez认为，这里的方法会有助于模型性能的提升，即便是面对数据非常有限的情况。

“数据匮乏是模型训练的拦路虎，” Gomez解释，“但我们的研究说明，多重任务的训练可以等同于更多数据的训练——只需让模型执行更多的任务，无论其内容相似与否，模型的性能都能获得提升。”

Gomez在Google Brain的研究，是多伦多大学计算机科学系本科暑期研究项目的一部分。今年有50多名学生参加了该项目。（小编想再次强调平台的重要性，吼吼）

尽管这篇Google论文一经推出，马上火遍了整个机器学习圈子，但Gomez透露，稍后还有更加重磅的机器学习研究成果会发布，届时他和他导师将共同推出一篇新论文。Gomez的导师是多伦多大学助理教授Roger Grosse，这位助理教授同时也是Geoffrey Hinton的Vector人工智能研究所的联合创始人。

在此，多提两句多伦多大学的牛逼之处。

在Hinton等大神级人物的开创性工作下，多伦多大学已成为全球的人工智能与深度学习研究中心。他们所创造的技术，对各行各业的影响都太深远了，特别是癌症检测，还有将AI用于律师诉讼案件的研究。

就连最近因创始人离职而不断上头条的Uber，也在想跟这个学校建立起关系，即便是砸重金也在所不惜。它在今年早些时候宣布，要在这里打造一个由多伦多大学副教授Raquel Urtasun领导的无人驾驶研究中心。

类似的事例不再一一例举......

看来，想要在一个领域有突出的成就，到底背靠哪里的学术氛围，能给你多深的底蕴，这点太重要了。

牛逼的平台+过人的天资，这是让这位本科生突颖而出的背后原因。

“这里的本科生活非常棒，不过我已经准备好去做博士研究了。”

Gomez说，

“倘若没有进入多伦多大学的话，我真不认为自己能做出这么多成果。这里的学习和灵感，让我找到了真正热衷的方向，并不断地推动自己前进。”

你呢，找好让自己不断进取的好地方和好方向了吗？

原文链接：

https://www.utoronto.ca/news/making-impact-u-t-undergrad-co-authors-important-machine-learning-study-google

https://research.googleblog.com/2017/06/multimodel-multi-task-machine-learning.html

招聘

AI100现招聘技术编辑、实习生，有意向请将简历投往：puge@ai100.ai

咨询请联系微信greta1314

课程结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤，着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法，并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践，所选案例均是深度学习的经典应用，非常具有代表性。

就差你还没关注这个号了

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/