百度王海峰Quora精华整理：未来5-10年，NLP领域将会有什么进展？

雷锋网 (公众号：雷锋网) 按：近日吴恩达发文将在4月底离职百度。几乎在同一时间，百度也宣布进一步深度整合，将包括NLP、KG、IDL、Speech、Big Data等在内的百度核心技术， 组成百度AI技术平台体系（AIG），并任命百度副总裁王海峰为AI技术平台体系（AIG）总负责人 ，同时晋升为Estaff成员，转向百度集团总裁和首席运营官陆奇汇报。 王海峰是自然语言处理领域的权威科学家，是该领域最具影响力的国际学术组织ACL 50多年历史上唯一出任主席（President）的华人，同时也是截至目前最年轻的ACL Fellow，也是唯一来自中国大陆的ACL Fellow。此外，王海峰博士还是中文信息学会理事、中文信息学报编委、中国计算机学会（CCF）高级会员、国家自然科学基金委员项目评审会评审专家组成员。此前，雷锋网也整理过王海峰博士在AAAI2017上的演讲《 深度 | 百度副总裁王海峰：百度在NLP领域都做了什么？ 》。 王海峰博士出席的媒体活动不多，但在Quora上比较活跃。雷锋网根据王海峰博士在Quora上的五个精华问答整理成本文。 1、从一名科学家转变为一个IT公司的总裁，你如何看待这种职业变化？ 我对技术感到着迷，并乐于沉浸在研究工作里。我始终相信，科技能够改变世界。百度为我提供了一个理想的平台，在这里我从事的技术工作可以快速直接地让用户受益。这就是我一开始加入百度的原因。在百度最初的几年时间里，我领导了NLP、语音、图像、数据挖掘、知识图谱、机器学习、深度学习等多个团队。后来，我意识到伟大的产品将会连接技术与广大用户，反过来也会更加促进技术进步。 伟大的产品，不仅需要先进的技术，还需要杰出的设计、优秀的营销和高效管理 。因此我渐渐改变了自身的角色，从一个单纯的研发团队负责人，转变为管理层的一员。我如今领导的团队有3000多人，包括技术、产品和营销成员，他们都很年轻、精力充沛、富有激情。我们拥有着一个共同目标：用技术和产品改变大众日常生活。 当掌管一个大型商业团队的时候，我需要首先制定策略和目标，然后建立一个合适的执行团队。对于一个大型团队来说，良好的规则和文化，开始成为支撑和保证业务运行的重要因素。与此同时，对于科技领域的重大突破、用户需求的演变，以及整个社会的发展趋势，我都保持极大的关注。 2、未来5-10年，NLP领域将会有什么进展？ 机器翻译、语义理解、问答和对话技术将会有重大突破。这些技术将会被广泛应用，并最终改变人与计算机、人与各种硬件设备、以及人与人之间的沟通方式。

这些技术的发展将得益于以下四个领域的发展：大数据、学习机制、知识图谱、推理和规划。

大数据。随着互联网的繁荣，数据量和种类都在高速增长。即便是非常传统的商业领域，都在开始把数据放到网上。一切都在网上进行，一切都在互联。大数据的价值将继续在物联网领域增长。 学习机制。学习机制的发展将会持续进行，这使得我们能从大数据中学习更多的东西。 知识图谱。通过大数据和更多强大的学习机制，我们可以打造更大的知识图谱，来对整个世界进行建模。 推理和规划。通过大型知识图谱，我们可以在推理和规划领域取得突破。推理和规划的能力将会把更多智能注入NLP系统中。 3、在NLP领域，中文和英文的主要区别是什么？ 从语言学上来说， 中文与英文有很大不同。中文书面文本单词之间是没有空间的，中文的语法关系是通过单词的顺序来表达的。这些因素增加了中文在词汇、语法和语义层次上的模糊性，因为现代语言概念和原则更适用于英文，而非中文。 目前，主流NLP方法都是语言无关性（language-independent）的。这些统计学或神经网络算法，根据不同的应用，都更进一步优化了特定语言 。 比如，在2015年5月，百度发布了第一个大型在线神经机器翻译系统。基础的NMT模型就是语言无关的，并输出了非常好的翻译结果。为了进一步改善翻译性能，我们使用特定语言特征优化了翻译系统。 4、NLP技术如何应用于百度产品里？ 在百度，我们开发出很多NLP技术，包括知识图谱、语义理解、内容标注、情感分析、生成、摘要、问答、机器翻译和对话系统等等。这些技术已经应用于许多百度的产品里，比如搜索、新闻流（news feed）和智能助理，每天为数亿用户服务。我们将以上这些技术通通整合进一个名为NLP Cloud的平台中。 NLP Cloud提供20多种NLP模块和方案，服务于百度产品。我们的NLP Cloud服务每天被调用1千多亿次。 以搜索为例，典型的NLP模块，比如切词、命名实体识别、语法分析、释义都是基本特征。这些模块一直在持续优化并取得突破。另一个典型的NLP技术应用案例就是问答系统。一个高性能的问答系统需要对查询语句进行精准的语义分析，构建覆盖面广的知识图谱，同时对网页搜索结果进行全面分析。当用户在搜索框输入查询语句时，搜索引擎能够立马提供答案。很多用户也使用搜索引擎来查询相关性高的信息，帮助做决策。这种情况下，情感分析（也称观点挖掘）技术可以帮助提取多种备选观点，并将聚合的信息提供给用户。 另一个案例就是新闻流，这个领域文章质量是极其重要的。NLP技术可以帮助检测各种垃圾文章，比如谣言、抄袭等等；而文本分析技术可以帮助识别高质量文章，并生成最能够描述该文章的标签。此外，从不同维度描述用户偏好的“用户模型”也十分依赖于NLP技术。

总而言之，在所有跟自然语言相关的产品里，NLP技术都是不可或缺的。

5、在未来10年，搜索引擎将会如何演变？ 今天当我们谈及搜索引擎的时候，首先想到的就是搜索框和搜索结果。而未来的搜索引擎将会是什么样子呢？我们并没有确切答案。但是我们乐于拥有更强大的搜索引擎，让我们在不同的场景、不同的产品或不同的交互界面里，能够看见、听见和感受到。 搜索，将会无处不在 。 第一点，更深入理解用户的意图、更深入理解内容，并将两者更精准地进行匹配，这将会使搜索引擎更为强大。用户的意图理解并不是依赖于单一查询语句，也还依赖于更广泛的搜索语境，包括查询session、时间、地点、设备以及用户性格特征。另一方面，内容理解涉及的范围也非常广，需要更好地理解每一部分内容的语义、语境、观点，以及从内容中提取的知识。意图与内容的匹配，将会涉及到以上提到的所有因素，使得在任何一个特定语境下，为每一个查询提供最好的结果。此外， 搜索引擎将会变得更像一个“回答引擎”和“执行引擎” 。大部分用户的查询，将会得到直接的回答或执行。 第二点，搜索交互界面将会发生很多新变化。除了键盘以外，其它输入方式，比如声音和图像，将会越来越广泛地使用。伴随更实际的语音和图像等技术，用户会十分青睐高效和便利的多模式搜索。特别地，自然语言交互将会成为搜索引擎的主流交互方式。用户可以跟搜索引擎“对话”，告诉它自己想要什么，这绝对比现有的键盘输入文字查询要方便和自然的多。用户也可以跟搜索引擎进行多轮对话交互。百度搜索已经率先应用了这类新型交互方式，提升用户体验。 第三点，搜索将会超越现有的搜索引擎的范围。搜索会嵌入各种产品当中。比如，搜索会是AI硬件产品的基本特征之一。未来，搜索将会包围在我们身边，无处无在。相应地， 我们也将重新定义什么是可以被搜索的。除了现有的被索引的内容，在未来，服务、物品、设备和数据都可以被索引，变得可搜索。 很长时间以来，搜索引擎在人们日常生活中扮演至关重要的角色。人们的需求决定了搜索引擎演变的方向，而技术进步则决定了这种演变将走向多远。 雷锋网版权文章，未经授权禁止转载。详情见 转载须知 。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/