酷应用

CCAI专访 | 清华大学朱军：深度学习“盛行”，传统方法何去何从？

百家作者：AI100 2017-07-13 11:32:41

清华大学计算机系长聘副教授朱军

朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年，入选IEEE Intelligent Systems的“人工智能10大新星”（AI’s 10 to Watch）。他主要从事机器学习研究，在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

记者 | 何永灿

近日，朱军博士接受了CSDN的专访，采访中分享了目前最新的研究进展，深度学习与传统机器学习如何融合发挥最大作用，成为优秀青年科学家的必备特质，以及在CCAI 2017上的分享与筹备工作。

7月22-23日，中国人工智能大会（CCAI 2017）将于杭州国际会议中心举行，朱军将作为“人工智能青年论坛”共同主席主持会议，欢迎青年学者到现场参与讨论。

深度学习 VS. 传统机器学习

CSDN：在深度学习“盛行”的大环境下，如何看待相对来说比较传统机器学习（如支持向量机、贝叶斯学习、决策树等）？

朱军：这个问题可以从两个方面来看：

首先，深度学习不是万能的，它虽然在特定任务上取得了显著性能提升，但也面临着很多挑战，比如：对抗样本的鲁棒性、可解释性、处理不完全信息与不确定环境等，随着应用范围的扩大，深度学习不擅长解决的问题会逐渐明显，未来肯定会有更好的机器学习方法出现，或许还叫“深度学习”也可能是其他的名字。
其次，深度学习不是孤立的，它的进展与所谓的“传统机器学习”是分不开的，不能把功劳都归于“深度学习”，例如：用于保护深度神经网络避免过拟合的Dropout技术实际是一种贝叶斯学习方法，用于AlphaGO的深度神经网络需要在强化学习框架下发挥作用等。

因此，学术界和工业界都应该更客观地看待深度学习，它的优点可以与其他机器学习方法共融，比如已经取得很多进展的贝叶斯深度学习、深度产生模型（如GAN）等。同时，它的缺点也需要从其他方向寻求改善，比如：我们最近从信息论的角度出发，设计了一种新的训练准则和测试准则，可以显著提升深度神经网络（如CNN,VGG,ResNet）对对抗样本的鲁棒性；另外，我们与清华大学的刘世霞老师合作，研制了CNNVis和DGMTracker可视化系统，它们综合利用了信息可视化与图形学的工具，对深度模型的学习过程进行解释，帮助调试。

CSDN：对于“有了生成模型之后，引入深度学习就能解决统计学习的核心问题（如模型复杂度的选择、泛化性能的理论保证、学习效率等）”的观点你怎么看？

朱军：这个问题也要从两个方面来看待：

首先，生成模型通常要引入假设，在假设符合实际的情况下，这种模型是最优的，可以提升学习效率和泛化性能。
其次，也是因为假设，如果假设不符合实际，这种模型可能带来偏差。实际应用中，还需要对模型进行检验。

CSDN：去年参加CCAI 2016的AAAI主席Rao Kambhapati认为中国学者基本都在研究机器学习，范围有点窄，你是否认同中国人工智能研究存在这样的误区？除了机器学习之外，还有哪些领域或者哪些问题是值得我们关注的？

朱军：机器学习受到很多关注是有一定道理的。作为实现现代人工智能的主要技术途径（之一），机器学习的目标是从经验数据中不断改善性能，它的作用在大数据时代变得更加明显。目前，机器学习已经成为很多应用领域的首选技术方案。

但是，人工智能的其他方向也同样重要，而且在国内也正在受到很多的关注，比如自然语言理解、模式识别、知识工程、机器人，甚至是从脑科学寻求启发的尝试等。目前，可能是因为机器学习已经融入到这些方向中，才给人一种“到处都是机器学习”的感觉。但是，每种方法都有优点和缺点，学术界和工业界都需要鼓励多样性。比如：数据驱动的方法（如深度学习）往往需要大量的训练数据，而知识驱动的方法（如贝叶斯方法）可以在小样本下进行有效学习，二者具有互补的优势，它们的有机融合是当前的一个热点。

关于珠算平台

CSDN：请谈谈你近期的研究课题和进展，以及目前关注的研究和应用情况。

朱军：我们近期主要关注贝叶斯方法与深度学习的融合。我们的最近工作包括建模、学习算法和平台，在无监督、半监督等学习任务上取得了一些进展。为了有效支持这方面的研究，我们研发了珠算(http://zhusuan.readthedocs.io)，它提供了一个Python编程库，能够便捷地实现贝叶斯深度学习的建模和推理。同样在贝叶斯框架下，我们对不确定、不完全信息环境下的决策也非常感兴趣，最近也做了一些博弈论的工作，包括即将发表在ICML上的文章。另外，如上所说的，我们也在提升深度学习的鲁棒性和可解释性方面做了一些积极尝试。

我们所做的机器学习工作，研发的算法和平台（如珠算）通常都是开源的，工业界可以使用。另外，我们也与一些公司合作，针对具体应用开发特定的机器学习技术。

CSDN：能否概述你的团队基于贝叶斯深度学习构建的“珠算”有哪些创新之处？适用于哪些领域？目前有哪些比较好的应用案例？

朱军：首先，珠算是一个概率编程的库，用户在上面可以很容易地实现贝叶斯深度学习的模型和推理，就像在TensorFlow上写一个神经网络一样便捷。贝叶斯深度学习是一个前沿方向，它的基本框架是概率图模型（贝叶斯网络），融合了深度神经网络在可学习的函数拟合方面的长处。和确定性的深度神经网络（如CNN）比，它的主要优点在于可以刻画不确定性（如噪声、信息不完整、随机过程），进行推理和决策。

其次，珠算上支持的应用已经有很多，比如无监督学习、半监督学习、贝叶斯学习等。我们在珠算上已经实现了目前主要的模型，如变分自编码器（VAE）、生成对抗网络（GAN）、主题模型、贝叶斯神经网络等，以及最好的概率推理算法。用户可以直接使用这些模型，也可以便捷地实现自己的模型。

最后，珠算在技术上也有很多创新，与TensorFlow很好地融合在一起。我们正在整理文章，很快将会公布技术细节。

CSDN：“珠算”选择构建在TensorFlow之上，其中有什么故事可以分享？

朱军：我们做珠算的主要目的是希望能够通过开源社区，支持大规模贝叶斯深度学习的概率编程，让这个前沿方向的科研和实践变得更容易。

我们考察过不同的平台，选择TensorFlow是有一些原因的。首先，TensorFlow已经有庞大的社区，并且展示出成为通用计算图框架的潜力。建立在TensorFlow之上有利于融入当前的生态系统。其次，TensorFlow计算图（computation graph）支持的操作（operation）种类远多于其他框架，能够最大程度满足概率编程的需求。最后，Tensorflow是少数支持多机多卡的分布式计算图框架，非常适合做为大规模贝叶斯深度学习的基础设施。

如何成为优秀的青年科学家

CSDN：成为人工智能领域优秀的青年科学家，你认为需要具备哪些特质？

朱军：科研是一个长期的过程，需要兴趣和坚持，同时，对问题要形成自己的认知和选择。现在是人工智能、机器学习发展快速的时期，是好事也可能是坏事，太快的进展容易让人失去定力，追逐一些容易出成果的“热点”。随大流虽然能发很多文章，但是，很难形成自己的系统性工作。因此，有些时候需要“少做”，才能选择重要的问题集中精力去做。

CSDN：就你自己而言，理论扎实，成果丰富，能否介绍是哪些因素对你今天的成绩起到了关键的作用，是时代机遇，个人坚持，前辈指导，同行交流，还是其他？

朱军：有很多因素。正如前面所说的，首先是要有兴趣，愿意投入精力去学习和钻研。其次要能够坚持，遇到困难不回避，能够主动思考解决的办法。只有通过思考得到的东西才是属于自己的。最后，要善于向前辈和同行学习，别人的观点可能是启发思路的火种。

CSDN：你介绍过一些工作在付出很多努力之后不得不中止，所以说选择方向很重要，这方面有哪些心得可以分享？

朱军：越是创新性高的科研工作，它的不确定性也会越高，导致结果有时会与预期相差甚远。但是，一个失败的探索过程也是有价值的，它至少告诉你哪些路是不可行的。选择了大方向以后，可以大胆尝试，遇到困难或挫折是很正常的，不用气馁。

CSDN：CMU博士后研究的经历给你最大收获是什么？如何理解国内外环境的差异？以目前的情况来看，你对青年是否要出国深造有什么建议？

朱军：博士后是一个过渡阶段，从科研和教学两个方面，都为后来的清华任教打下了好的基础。CMU有最好的学术环境、非常友好的同事和朋友，给我的帮助很大，我自己也在尝试借鉴CMU的经验指导学生。

目前，国内外的差异已经越来越小了，信息的不对称也在逐渐消失，国内的机会也很多。最近，我也很高兴看到有很多CMU的朋友陆续回国工作，这和几年前我回国时的情形完全不同，当时我们甚至开玩笑说我是先回国给大家探路的。因此，我觉得每个人可以根据自己的情况选择是否出国深造，盲目跟随应该会成为过去式。

CSDN：你如何理解和处理科研与教学二者的关系？

朱军：清华非常注重教学。我认为如果能平衡好二者的关系，教学与科研是可以相辅相成的。科研做的好能够帮助教学，对一个领域的深入理解能够将课堂上讲的知识点融合贯通，形成有机整体，而不是生硬式的拼凑。同时，教学的过程也能帮助系统地整理学科知识，加深理解，有时也能激发科研想法。

在CCAI 2017上的分享与筹备工作

CSDN：作为 CCAI 人工智能青年论坛的共同主席，对于组织这一论坛，你的出发点是什么？本次论坛将主要围绕哪些内容展开？希望为听众解决哪些问题？

朱军：随着数据和计算资源的增加，以及算法的改进，以深度学习为代表的现代人工智能技术正在越来越多的领域中获得应用和发展，并已经在一些特定领域取得显著进展，包括图像识别、语音识别、电脑游戏等。

但是，随着应用范围的扩展和复杂化，人工智能仍然面临着多方面的挑战，包括鲁棒性、可解释性、安全性、隐私保护等等。

目前，人工智能获得显著进展的领域通常需要大量的训练数据，如何发展对训练样本更高效的人工智能技术是很多场景下要解决的关键问题；另外，如何在信息不完全、不确定的非结构化环境下进行高效学习和决策也是未来要解决的重要问题。该论坛将探讨人工智能领域的前沿进展和未来趋势，嘉宾们将通过分享自己的观点、与听众互动，解答听众关心的问题。

CSDN：你是从哪几个维度来组织嘉宾阵容的？由此构建起的人工智能青年论坛将有哪些独特之处？

朱军：该论坛尽量覆盖人工智能的多个方面。邀请的嘉宾有学术界和工业界的优秀代表，也有优秀的女性科学家代表。另外，嘉宾的背景也具有很好的代表性、多样性。希望该论坛能够给听众带来最前沿的思想碰撞。

关于CCAI

中国人工智能大会（CCAI），由中国人工智能学会发起，目前已成功举办两届，是中国国内级别最高、规模最大的人工智能大会。秉承前两届大会宗旨，由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办，CSDN、中国科学院自动化研究所承办的第三届中国人工智能大会（CCAI 2017）将于 7 月 22-23 日在杭州召开。

作为中国国内高规格、规模空前的人工智能大会，本次大会由中国科学院院士、中国人工智能学会副理事长谭铁牛，阿里巴巴技术委员会主席王坚，香港科技大学计算机系主任、AAAI Fellow 杨强，蚂蚁金服副总裁、首席数据科学家漆远，南京大学教授、AAAI Fellow 周志华共同甄选出在人工智能领域本年度海内外最值得关注的学术与研发进展，汇聚了超过 40 位顶级人工智能专家，带来 9 场权威主题报告，以及“语言智能与应用论坛”、“智能金融论坛”、“人工智能科学与艺术论坛”、“人工智能青年论坛”4 大专题论坛，届时将有超过 2000 位人工智能专业人士参与。

目前，大会 8 折优惠门票正在火热发售中，扫描下方图片中的二维码或点击【阅读原文】火速抢票。