酷应用

专栏 | 田渊栋：第一届FLAIR感想

百家作者：机器之心 2017-12-27 06:05:27

机器之心专栏

作者：田渊栋

作为这次东方科技论坛，人工智能海外博士生研讨会（Future Leaders of AI Retreat, FLAIR）的组织者之一（感谢上海纽约大学张峥教授牵头），我觉得这次会议举办得很成功。首先学术水平非常高，每个领域做得最好的几个海外博士生过来演讲，工作也是他们亲手做的，更可贵的是演讲质量，包括原创性、流畅性和组织性，都非常好。我有种感觉是大家都把它当成主题演讲（Keynote）来准备了。此外，与观众的互动也非常有效率，提问切中要害，讨论热烈而不流于形式，没有空话套话。从某种程度上说，这比请他们的老板还要有效。一个会好不好，就看内容是否充实，交流是否充分，这次的会议全都做到了。

这次议程中有三个专场和我有关，理论、强化学习和系统，前者（基于数据分布的非凸优化）是我博士阶段一直做的方向，之后将相似的思路运用于深度学习上，而我们最近的 ELF 训练平台则和后两者密切相关。这次理论环节有很多人听并且提出高质量的问题，让我感到非常惊讶。我想这主要是因为最近在 NIPS 上有关深度学习是否「炼金术」的争论吧。虽然整个领域在理论方面有所进展，但仍然局限于形式比较简单的非凸问题（如矩阵低秩分解）或者很强的假设（如浅层网络高斯输入）。希望在新的 2018 年会有更多深入的理论文章出来，在这方面我也会尽自己的绵薄之力。

关于深度学习的理论，来自卡耐基梅隆大学的杜少雷说等十年二十年，我觉得有点悲观。其实只要有一两篇打开局面指导大方向的文章，那大部队（做数学、统计学、理论计算机等方向的学者）会很快涌入，把整个体系建立起来。现在的问题是这不是好摘的果子，没人愿意碰。我还是坚信目前深度学习没理论未必意味着真没理论，回顾历史，哪一个使用广泛效果卓著的东西没被整理成漂亮的形式？行星运动、电磁现象、热力学、频谱分析、空气动力学，没找到理论前都十分复杂，等到经过千锤百炼简化了之后，银妆粉黛进了教科书，大家才会感叹一切如此完美精致。我的想法是，在欣赏理论之美之余，还是要记得是现实问题塑造了数学工具而不是倒过来，更不能在现有工具暂时无法解决新问题之前轻言放弃。

要是没路，就要自己开条路出来。

强化学习专场由我主持。每个演讲都有出彩的地方，像来自英国剑桥大学的顾世翔用时序差分模型去做任务规划，来自卡耐基梅隆大学的周佳骥使用预设的物理模型来教机器人完成复杂任务，来自斯坦福大学的朱玉可让机器人自动拼接子程序，还有北京大学的孔祥宇用主-从关系来控制即时战略游戏多兵对战的战术指挥。这些都代表着强化学习的最新探索方向。最后，我把我们组的轻量快速灵活的强化学习训练平台 ELF 再宣传了一次。演讲完之后的讨论涉及到几个强化学习的根本问题，比如说到底是要用数据训练（这样样本复杂度会比较高）还是加入尽可能多的先验知识（这样灵活性会受影响）；如何探索巨大的状态和行动空间，如何处理探索未知和利用现在好的策略之间的关系，等等。

关于（深度）强化学习，我觉得一个目前比较困难的点，是很多算法设计都是人为加入的，比如说物理模型的选取，比如说程序里那些函数的设置，比如说层次式强化学习中每一层的设计，这些都是预先给定的，而计算机只是调整里面的参数，以达到最优的性能。若是要再往上走一层，达到对结构本身的学习和对概念的自动抽取，目前还非常困难；然而若是要达到人的水平，这些能力是必不可少的。目前来看，这样的研究用进化算法或者随机搜索是可以做的，只是需要耗费大量的资源，目前只有大公司才可以办到。

第一天傍晚是自然语言专场，先是今日头条的李航博士讲解了对话系统的构建，然后是深度好奇创始人吕正东介绍了如何在自然语言分析中使用预先定义好的类信息来构建知识图谱，来自伯克利的胡戎航则介绍了我们组（Facebook AI Research）在 CLEVR 数据集上的基于图像的问答系统。这里的一个核心问题是如何结合符号表示和深度学习，如何处理模糊语义，还有如何表示更高级的抽象概念，这些都是很大而且还完全没有解决的问题。

第二天的系统专场有来自华盛顿大学的陈天奇向大家讲解 TVM，一种张量操作的中间层表示方案，整个演讲很清晰并且展示了用这种表示方案自动生成代码后的加速效果，接下来是王敏捷讲解上海纽约大学在这方面的努力。很明显这两个工作是互补的，我相信在这之后会有进一步的合作。在讨论环节，上海纽约大学的张峥教授问大家为什么选系统方向？我觉得这是个很好的问题。愿意做系统的人，往往都是想要认真解决实际问题的人，而不是只想着猛发文章了事。是以做系统的学者尽管文章不多，但是做的东西非常扎实可用，也可以推动其他方向的发展，所以我希望将来更多的同学参与到这个领域中来，做可重复且实用的研究（这个对深度强化学习尤其重要）。另外，做系统可以锻炼人多方面的能力，使用现有软件乃至想出想法并不难，但能不能把一个系统调通做好，可以说是进阶者和初学者的分界线，也是在职场上极度稀缺的能力。

最后一个专场是讨论 AI 的创造性的。主要有来自斯坦福的施正珊讲述了一些人和 AI 合作创作音乐的实践，还有筑波大学的两位本科生介绍结合众包和 AI 做时装设计的系统。之后的讨论顺理成章地滑向了「AI 本身是否有创造力」及「如何评价 AI 创造的艺术」这个话题，讨论非常热烈，话筒难求。和围棋这种有绝对标准的游戏不同，我的意见是对于艺术作品，得是要全人类来做评判，对于人本身的建模非常难，而且评判标准会随时而变，所以在这方面，AI 会和人类一起前进吧。