酷应用

IEEE智能系统10大AI青年科学家公布：南大俞扬、腾讯AI Lab刘威入选

百家作者：机器之心 2018-05-14 07:52:18

选自IEEE

机器之心编译

近日，IEEE Intelligent System 评选的「AI's 10 to Watch」青年科学家榜单公布，其中有许多我们熟知的华人研究者，包括腾讯 AI Lab 的刘威、南京大学的俞扬等。

IEEE Intelligent System 一直致力于通过「AI's 10 to Watch」特辑向人们介绍全球最有抱负的青年 AI 科学家。和往常一样，今年的榜单包含了 10 位 AI 领域里的新星研究者。2017 年，IEEE Intelligent System 从全球范围内寻找候选提名，本榜单的要求是候选人必须在过去五年之内获得了博士学位。由 IEEE Intelligent System 编辑和顾问组成的评选委员会对候选人进行了投票最终形成了本次榜单，其评价是根据候选人在声誉、影响力、专业认可等方面的考量作出的。

值得一提的是，杨强教授是 IEEE Intelligent Systems 选拔委员会主席、编委成员。

今年的 AI's 10 to Watch 入选者介绍如下：

安波（Bo An）

新加坡南洋理工大学

安波是南洋理工大学计算机科学与工程学院的助理教授。他从麻省大学阿默斯特分校的计算机科学系获得博士学位。他的研究兴趣包括 AI、多智能体系统、博弈论和优化。他的研究曾获多个奖项，包括自动智能体和多智能体系统国际基金会（IFAMAS）2010 年的 Victor Lesser 杰出博士论文奖，以及运筹学和管理科学研究所（INFORMS）2012 年的 Daniel H. Wagner 奖（奖励其在运筹学研究方面的杰出成果）。他受邀在 IJCAI 2017 会议上做关于早期生涯的 spotlight 演讲。他还带领团队赢得了 2017 年的微软协作 AI 挑战赛的胜利。他是 Journal of Artificial Intelligence Research 杂志的编委会成员、Journal of Autonomous Agents and Multi-Agent Systems 杂志的副主编，并被推选为 IFAAMAS 的理事会成员。

计算博弈论的安全性和可持续性

安全性是一个重要的问题，但由于资源限制，我们通常无法提供 24 小时的充分安全保障。因此，我们必须智能地部署有限的资源，考虑目标优先次序、攻击者对我们的防御机制的反应，以及关于它们的容量、知识和目标的潜在不确定性。

博弈论适用于安全-资源-配置和调度问题中的对抗推理。通过将问题定义为主从对策博弈（Stackelberg game），新的算法可以高效地为随机巡逻或检查策略提供解决方案。这些算法已经为很多现实世界的安全领域（包括基础建设安全和野生动物保护）提供了基于博弈的决策帮助。这些初步的成功为重要的未来研究和大范围的安全领域应用指明了道路。

在过去几年来，我们的主要工作聚焦于研究实际的、复杂的安全-资源配置问题中的实践性和有挑战性的问题，包括动态收益、防护外部性和策略保密性。另一个重要的聚焦点是，解决在新应用领域中出现的研究挑战，例如网络安全、运输网络安全、对抗机器学习、选举保护和核走私。为了解决这些问题，我们设计了特定的算法或相等质量的近似算法，来求解连续、无限策略空间上的大规模博弈。

我们还研究了计算可持续性，这是使用计算技术解决可持续发展中出现的环境、经济和社会问题的重要领域。通过策略性地决定如何使用公共资源，人类在这个领域中扮演重要角色。我们聚焦于在该领域中提供最优的规划和策略。在未来，我们必须：

构建更加实用的模型，使我们提出的解决方案在实践中有效；
开发新的可以高效计算现实世界安全场景最优解的算法；
进一步提高解决方案的鲁棒性；
将基于学习和基于模型的方法结合起来，用于数据密集领域的资源配置；
整合实时信息到安全资源的长期最优配置中。

Erik Cambria

新加坡南洋理工大学

Erik Cambria 是南洋理工大学计算机科学与工程学院的助理教授，他也是多个 AI 杂志的副主编，例如 IEEE Computational Intelligence Magazine、Artificial Intelligence Review、Knowledge-Based Systems、Information Fusion。Cambria 还是 SenticNet 的创始人，提供 B to B 的情感分析服务。除了情感分析，他的研究领域还包括自然语言处理、常识推理、多模态交互。在完成了斯特灵大学与 MIT 媒体实验室合作的 UK Engineering and Physical Sciences Research Council project 之后，他获得了计算科学与数学博士学位。

情感计算（Sentic Computing）

需要大量训练数据且受领域限制；
不同类型的训练或者参数调整会带来不同的结果；
黑箱算法使得推理流程不具备可解释性。

我们的研究团队通过自己的跨学科情感计算方法解决自然语言处理中的此类问题。该方法旨在填补统计 NLP 与其他理解人类语言所需的学科之间的距离，例如语言学、常识推理以及 affective computing。

情感计算不只是在段落级别上进行网页、文档的文本分析，也包括句子、小句和概念级别上的分析。因为这种既自上而下又自下而上的方法，情感计算才成为了可能。说它自上而下是因为它利用语义网络和概念依存表征这样的符号模型来编码意义。说它自下而上是因为它使用子符号（subsymbolic）方法（例如深度神经网络和多核学习）来推断数据的句法模式。

结合符号和子符号 AI 对促进 NLP 与自然语言理解非常重要。单独的机器学习只对基于经验的自然语言理解有帮助，因为子符号方法只编码关联性且只使用概率性的决策流程。而自然语言理解，需要的更多。

情感计算采用了一种整体的方法进行情感分析，解决提取文本意义与极性（polarity）中所涉及的多个难题。大部分其他方法只是把它当成简单的分类问题。然而，情感分析是一个复杂、综合的任务，需要同时利用多种不同的 NLP 技术。

情感计算通过一个三层的架构解决这一难题的复合性，同时也解决以下任务：

微缩文本分析（microtext analysis）：处理缩写、缩略与情感符；
概念提取（concept extraction）：把文本解构为单词和多词表达；
主客观检测（subjectivity detection）：过滤掉中性内容；
讽刺检测（sarcasm detection）：识别、处理讽刺性表达；
方面抽取（aspect extraction）：处理基于 aspect 的情感分析。

我们的方法可作为许多应用的后端，例如电子商务、电子政务、电子安全、健康、网络学习、旅游、出行、娱乐等。

Yoav Goldberg

以色列巴伊兰大学

Yoav Goldberg 是巴伊兰大学计算机科学系的高级讲师。他在以色列班固里昂大学获得博士学位，并在位于纽约的谷歌研究院担任研究科学家，进行博士后研究。他目前致力于自然语言处理（NLP）和机器学习方面的研究。具体来说，他感兴趣的领域是句法结构、结构化预测模型、贪婪解码算法的学习、多语言理解，以及跨领域学习和半监督表征。最近，他用基于神经网络的方法进行 NLP 研究。

自然语言处理

NLP 即使用计算机生成和理解人类语言文本，是一个重大挑战，因为人类语言是我们目前主要的沟通和信息迁移方式。今天的语言理解依赖于先进的机器学习技术。具体来说，深度学习方法在识别掌控句子结构和意义的复杂模式和规律方面有惊人的效果。现在我们已经有了匹配句子和底层语言结构、匹配一种语言中的句子和另一种语言中的句子的高效模型。

不幸的是，尽管我们知道如何应用深层网络，使它们很好地应用于很多自然语言任务上，但是我们并不了解如何解释网络的行为。我们不知道哪些因素掌控模型的行为（即它为什么做出这样的预测）以及模型能够学习哪种模式。我们也不知道网络的盲点。

解释和理解深度神经网络的行为和语言处理的动态，以及更严格地识别其能力和缺陷是一项重要挑战，而我的研究实验室正在探索这些。

我们还研究分析和理解文本的构建块，从学习理解句子中的单词彼此连接的方式（句法）到单词「and」的行为和「on」、「for」等介词的意义。例如，当我们说「We sat there for hours」、「We sat there for lunch」、「He paid for me」时，单词「for」分别表示持续时间、目的和受益者。那么计算机如何理解哪个对应哪个呢？

另一个例子是我们对恢复言语丢失元素的研究。当我说「I'll give you 50 for it」时，你会猜测 50 指的是货币。当我说「She just turned 50」时，你知道 50 指的是年龄。当我说「No thanks, I've had three already」，你回顾整个对话找出 3 指的是什么。那么计算机如何做到这些呢？

或许我们面临的最大问题是我们如何从 NLP 的碎片理解转向一个更全局连贯的视角。过去十年，NLP 取得了很大发展，但是要使用目前可用的工具和技术，你必须是一名 NLP 专家。我们如何改变这种情况，用一种非专家也能使用的方式展示我们的研究成果？我认为这是我们今天面临的大问题。

Akshat Kumar

新加坡管理大学

Akshat Kumar 是新加坡管理大学信息系统学院的助理教授。他的研究兴趣包括在不确定条件下进行规划和决策，主要关注点是多智能体系统和城市系统优化。Kumar 在麻省大学阿默斯特分校获得了计算机科学博士学位。他的毕业论文获得了 ICAPS 2014 的杰出博士论文奖。他的研究还获得 ICAPS 2014 的杰出应用论文奖等奖项。

多智能体系统的规划和推断

随着我们的社会和城市环境联系越来越紧密，我们面临着一个使用自主智能体的机会，从个人数字助手到自动驾驶汽车。此类基于智能体的系统可以极大地提高生产力和安全性，同时减少人类的努力和风险。我的研究旨在开发高计算效率的技术，通过使大型自主智能体团队制定到达常见目标的协调决策，同时处理好不确定性和信息有限的情况，来帮助实现这一目标。

这可能应用于自主出租车队伍优化等问题，该问题的关键在于根据出租车不断变化的局部环境（如同一区域的请求量和其他可用出租车数量）来有策略地定位出租车。我的研究解决了多个挑战，如向数千个智能体的扩展、不确定性、部分可观测性和城市环境下的资源约束优化。

我们正在开发可扩展的算法技术来控制和规划多智能体协调的大量正式模型，如分布式约束优化和去中心化、部分可观测的马尔可夫决策过程。此类模型中的确切规划变得越来越难以处理，即使是对小型多智能体系统来说。之前的方法存在可扩展性差或者依赖限制系统部署的假设等问题。我的博士论文介绍了多个通用扩展技术和框架，解决大量实际的多智能体规划问题。

除了基于搜索和动态规划的标准技术之外，我还发现多智能体规划和基于图模型与概率推断的机器学习之间的紧密联系。基于这些联系，我展示了大量机器学习方法对多智能体规划的帮助。此类联系向多智能体决策提供了多个新视角和可扩展性技术。

此外，我的研究还整合合一推断（lifted-inference）和图模型技术，利用城市系统通常由大量几乎一样的智能体（如出租车）组成的事实来进行可扩展性规划。城市规划者的关键问题是如何设计智能体的规范性策略，使得它们出现期望的集体行为，如减少交通拥堵或提高安全性。

我们正在为此类集体合作决策开发模型和算法，主要聚焦于设计多智能体强化学习方法，通过使用来自域模拟器的样本来优化策略。联系日益紧密的城市环境中的多智能体规划和控制提供了很多有趣的研究方向和大量实际应用的机会。

刘威

腾讯 AI Lab

刘威是腾讯 AI Lab 计算机视觉中心总监。他的论文旨在解决用于分类和搜索的大规模机器学习算法。刘威的研究兴趣涵盖机器学习、数据挖掘、信息检索和计算机视觉。他也对开发用于处理大数据的二元编码和哈希技术特别感兴趣。刘威目前正在研究用于解决各种多媒体 AI 问题的深度时空模型。

多媒体 AI

智能手机等智能设备的广泛普及创造了海量的多媒体数据，这些数据也被上传到互联网上。多媒体数据迅猛增长，已经显著超出了传统方法所能有效处理、分析和理解的能力。我的研究重点是开发强大的 AI 算法来创建和处理多媒体内容，分析和理解各种多媒体数据所传达的语义含义，以及实现多媒体内容与特定用户偏好的精确匹配。

我的腾讯 AI Lab 研究团队正在研究使用深度学习模型获取多媒体数据的复杂特征和行为。我们关注三大主要的多媒体 AI 研究主题：内容的生成、理解和分发。

生成对抗网络已被广泛用于图像、文本和视频生成。但是，多媒体数据由具有不同特征的不同形式构成，这使得生成尤其困难。幸运的是，图像和文本等某些类型的多媒体数据通常是同时出现的，而且表达或共享了同样的含义。因此，在生成阶段，相关的多媒体形式可以彼此助益并得到顺畅生动的多媒体内容。

多媒体数据可能会有噪声且量非常大，并且通常是由用户生成和上传的。这些数据还可能具有多种形式、属性和标签。因此，理解这样的数据的含义可能会很有挑战性。但是，用户在互联网上访问多媒体数据时的行为（比如点击或分享）能为相关数据提供有噪声的标签，我们可以将这些标签用于执行稳健且可扩展的机器学习方法。

鉴于多种多媒体形式之间存在语义相关性，那我们就可以利用一种形式来解读另一种形式。这样，一种形式的多个标签和属性就可以传递给另一种。这能提升我们对多媒体数据的解读效果。我的研究团队正计划为理解大量多媒体数据构建一个深度学习平台。

至于多媒体内容分发，我们不仅要考虑数据的特征，还要兼顾用户的个人资料。我们可以通过多媒体内容理解来了解多媒体数据的标签、属性甚至语义含义。我们可以整合用户行为来对用户的特征和偏好进行画像。我的研究团队正在利用这种能力开发一种全新的深度学习架构，以便将用户的偏好与他们感兴趣的多媒体内容合理地匹配在一起。

上述范式已经培育了多种使用深度学习的关键 AI 技术，包括图像和视频编辑、基于图像和视频内容的推荐、视频摘要和视频分类。

Cynthia Matuszek

马里兰大学巴尔的摩分校

Cynthia Matuszek 是马里兰大学巴尔的摩分校计算机科学和电气工程系的助理教授。她的研究方向是机器人、自然语言处理和机器学习的交叉领域，以及它们在人机交互中的应用。她致力于构建非专业人员可直观自然地指导、控制和交互的机器人系统。Matuszek 从华盛顿大学的计算机科学与工程系获得博士学位。

在语言和环境中实现机器人学习

随着机器人变得更加强大和自动化，它们正从工业控制环境转向人类中心的空间，例如医学环境、工作场所和家庭。物理智能体将很快能为全新类型的需要智能的任务提供帮助。然而，在其实现之前，机器人必须能够和人以及嘈杂、不可预测的世界优雅地交互。

这项任务需要来自 AI 多个领域的洞察。有用的机器人需要在动态环境的演化任务中保持灵活性，这意味着它们必须能够学习并且有效地同人类交互。构建高级智能的、可以鲁棒地同多个领域的非专业人员交互的智能体需要来自机器人学、机器学习和自然语言处理的洞察。

我的研究聚焦于开发统计学习方法，使机器人从和用户的多模态交互中获取关于世界的知识，同时学习理解新目标和任务中涉及的语言。与其分离地考虑这些问题，我们可以通过联合学习模型高效地并行处理它们，联合学习模型将语言、感知和任务理解当成强关联的训练输入。这使得每个通道都能提供手动强化的归纳偏置，强制得到在其它情况下不可控的搜索空间，并允许机器人从合理的多次持续交互中学习。

将自然语言处理和机器人对环境的理解结合可以提高两个方法的效率和效能。直观上，学习语言在它所描述的现实物理环境中会更加容易。并且如果人类能自然地和机器人交谈，教它们关于世界的知识，机器人会变得更加有用。我们已经利用这个洞察证明了机器人可以学习它预料以外的描述全新目标的语言。它们还学会了跟随指示执行任务，并解释未经预演的人类姿态，这些都是通过和非专业用户的交互得到的。

将这些不同的研究领域结合在一起，可以创建令机器人使用语言进行学习、适应和遵循指令的方法。理解人类的需求和交流过程仍然是一个长期存在的 AI 问题，该问题的大背景是理解机器人如何与人类环境进行优雅地交互。结合这些能力，我们可以开发出灵活、价格低廉的机器人，并将其融入到实际环境中。

Sinno Jialin Pan

新加坡南洋理工大学

Sinno Jialin Pan 是南洋理工大学计算机科学与工程学院的助理教授。他的研究领域包括机器学习及其在观点挖掘、社交媒体分析、文本信息抽取、推荐系统和软件工程中的应用。

迁移学习

最近，深度学习等监督学习算法对我们的生活产生了很大的影响，但它们也有明显的局限性。首先监督模型的学习很大程度上依赖于训练数据的标注数量与质量，但在很多现实应用中，高质量标注数据是很难获取的，所以模型的效果并不会很好。其次，由于如今很多监督学习算法都只针对特定领域，因此在改变领域后，模型的性能会有较大的损失。

我们的长期研究目标是使用迁移学习技术构建学习系统，以在很少的监督信息下适应新的相关领域。过去我们一直关注在不同的领域中发现新的特征，以便减少领域差异并保留原始数据的重要属性。利用学到的特征，我们可以复用标准监督学习方法进行跨领域预测。我们已经使用核嵌入和深度学习技术开发了一些高效的迁移学习方法，并将它们用于无线传感器网络、情感分析和软件工程等。

虽然迁移学习吸引了很多研究者的注意，但它仍然处于早期阶段。首先，迁移学习研究主要关注分类与回归问题。然而，很多现实应用并不能简单地建模为分类或回归问题，强化学习等优秀的机器学习范式可能更适合复杂的学习问题。根据不同深度强化学习问题构建的迁移学习，其目标不仅是提升预测结果，同时还可以减少不必要的工作量。原因在于用端到端的方式寻找最优策略非常耗时，这也是深度学习的瓶颈。

当前大多数迁移学习方法通常假设我们可以从不同任务数据中抽取任务间的相似性或通用特性。但实际上，不同任务间的数据在本地机器中可能是有分布的。因此由于昂贵的通信成本与数据隐私方面的考虑，将不同任务的数据集中到主机并执行迁移学习是不可能的。

因此在未来的五到十年间，我们准备探索两种新的迁移学习研究方向，即深度强化迁移学习和迁移学习的分布式最优化。我们相信如果该研究取得成果，那么迁移学习在实际应用中将变得更加重要。

B. Aditya Prakash

弗吉尼亚理工学院

B. Aditya Prakash 是弗吉尼亚理工学院计算机科学系的助理教授，也是该学院的探索分析中心的成员。他获得了 ACM 2012 年信息与知识管理国际会议的最佳论文奖，IEEE 2011、2012 和 2017 年数据挖掘国际会议的最佳会议选集，还有 IEEE/ACM 2013 年社交网络分析与挖掘国际会议的最佳会议选集。Prakash 关注于数据挖掘、应用机器学习和数据库等领域，并重点研究了大规模现实网络和序列的大数据问题。

网络与传播分析

如基因调控、通信、医院和在线社交网络等无处不在的网络，它们有效地建模了网络安全、流行病学、社交系统、生物学等许多现实现象，这些网络都揭示了局部依赖性与大规模结构。此外，网络上类似于蔓延的传播过程能产生多种宏观行为，它们同样能导致很多挑战与令人兴奋的研究问题。例如通过人口网络模拟疾病的传播，查找电网故障点或快速检测在线病毒等。

这些大数据问题通常是很具有挑战性的，因为它们涉及很多现实应用与技术问题。因此理解这样的传播过程，最终可以利用它们对现实问题进行建模，例如流行病的传播可帮助构建更强大的免疫策略等。

为了应对这些问题，我们需要跨学科研究多个概念与技术，例如组合学和随机优化的理论与算法、异步计算系统、机器学习与统计学习模型和非线性动力学等。

我们一直希望使用一系列模型以统一的方式描述疫情传播。使用这些新颖的特征，我们团队正设计可行的免疫策略。此外，对于其中一些模型，我们制定了第一个可证明为近似最优策略的方法。

最后，我们希望能开发用于控制疾病传播的数据驱动型框架。该框架可以使用细粒度的监督数据和人际间的联系模型构建强大的免疫算法，它无缝地考虑了约束条件并融合了噪声异质的数据源。相比之下，以前大多数工作依赖于先验建模方法，它对基线策略可能是足够好的，但对监督数据的增长并不会表现出较大的提升。

我们的工作也表明，网络传播会在不同领域间产生惊人的联系。例如与网络安全研究员合作，我们使用集成模型构建了恶意软件传播的方式，它不仅能检测恶意软件同时还能监控危险人物的行为。

Maria Vanina Martinez

阿根廷国立南方大学

Maria Vanina Martinez 是阿根廷国家科学和技术研究委员会（CONICET）的兼职研究员，以及阿根廷国立南方大学的人工智能研究和开发实验室的成员。Martinez 从马里兰大学帕克分校获得了她的计算机科学 PhD，并曾在牛津大学计算机科学系中做博士后研究。她的研究兴趣包括在不确定条件下的推理、关系数据库和知识库中的非一致性管理、可废止推理（defeasible reasoning）和论证。她目前的研究聚焦于开发一系列的容许非一致性和容许不确定性的数据的模型，用于从网页中提取数据库，并应用到可扩展的问答算法上。

实现混合的数据驱动和知识驱动的决策支持

大多数 AI 研究关注的要么是开发寻找和收集数据的自动化方法，要么就是构建知识表征模型。我相信接下来的一大步是更加深入自动化系统使用可用知识以增强人类在现实世界应用中的决策能力的方法。

为了开发智能决策支持系统（IDMSS），AI 可以自动将所获数据与来自用户的领域专业知识（哪些工具应该有用）结合起来。这可以通过结合数据驱动的 AI（机器学习）与基于知识的模型来实现。其中数据驱动的 AI 可以从原始数据中提取出尽可能多的信息，而基于知识的模型则可以处理更抽象和更复杂的认知任务。

我一直在研究为多种核心的 IDMSS 相关问题构建解决方案。为了让这样的系统能理解人以及与人合作，我重点研究了偏好建模、不一致或冲突信息的管理、理解知识和信念（belief）的动态以及建模社交互动对推理任务的影响。

在我的博士研究期间，我开发了一种框架，可用于管理关系数据库中不一致性的策略。之后，通过重点关注能让我们以不同方式建模不确定性的更具表现力的语言，我深化了在不一致性管理方面的研究。这些语言让我们可以定义更合理和计算更高效的语义，以便实现可包容不一致性的问答。此外，我也研究了信念修正理论（belief-revision theory）的一些方面及其与不一致性管理的联系。在这个过程中，我开发出了一些框架；相比于传统方法所用的框架，我开发的框架可通过从更全局的视角考虑冲突来融合和修正知识，利用有关问题所处的背景的信息，从而发现有意义结果。之后，我一直在研究社交媒体中的知识的动态，尤其是复杂社交网络中信念传播的建模。

截至目前，我已经从知识表征角度解决了这个研究问题，使用不确定知识定义了用于复杂推理的形式模型（formal model）。但是，基于知识的系统的形式化和 IDMSS 的实际构建是不一样的。我的下一个目标是通过设计开发数据驱动和知识驱动的混合方法来缩小这一差异，有效地找到原始异构数据、语义和抽象的推理模型之间的「甜蜜点」。

俞扬

南京大学

俞扬是南京大学计算机科学与技术系副教授，他在南京大学计算机科学与技术系获得博士学位。他的学位论文获得了全国优秀博士论文奖和计算机学会优秀博士论文奖。俞扬在 2008 年的亚太知识发现和数据挖掘会议、2011 年的遗传和进化计算会议（theory track）以及 2016 年的智能数据工程与自动化国际会议学习中均获得了最佳论文奖。

机器学习中的无导数优化

机器学习需要确定模型与环境是最佳拟合的。为了搜索该模型，学习系统的设计者必须考虑优化算法的能力，这是此类学习任务的关键。优化算法的局限性将限制模型类型、数据表征和学习目标的选择。基于梯度的优化被广泛使用，但是学习任务不总是那么简单可以使用该方法。大部分学习问题非常复杂，需要更强大的优化。

现在有一些强大的无导数优化工具，如进化算法。但是，很多人认为成功使用这些工具需要一些运气，因为关于这些工具需要多久才能获得优秀的结果、这些结果有多好、如何选择合适的参数等问题仍然没有明确的答案。

我的研究主要关注构建无导数（Derivative-Free）优化的理论基础。我们的研究覆盖了时间复杂度分析、近似率分析、算子作用（operators』 effects），最近还覆盖了高维空间和噪声环境中的优化。现在我们探索如何在不用担心非凸问题和不可导性（nondifferentiability）的情况下设计更好的学习系统。

对于组合优化，我们开发了 Pareto 优化方法（即 ParetoOpt），用于布尔约束函数（constrained Boolean function）。ParetoOpt 取得了目前子集选择问题最优的多项式时间近似率，因此使得我们能够创建当前最优的稀疏回归学习算法。ParetoOpt 还在更多设置中实现了最好的理论和实证性能，包括具备总成本约束的子集选择和单调集函数的近似率最小化等设置。

对于连续域优化，我们开发了 sampling-and-classification (SAC) 框架。我们证明该框架能够逼近多项式时间中任意函数的全局最优解。使用 SAC 可以解决高度非凸 ramp-loss 学习问题，性能优于使用当前最优的梯度方法。

目前，无导数优化在执行机器学习任务时仍然存在局限性。我们正在努力研究如何在现实世界中，大型带噪声的复杂任务克服该局限性。

我们认为机器学习调用整个 AI 的其他部分（如规划和 logic 表征）时，无导数优化将发挥更重要的作用。因此，我们会继续该领域的研究。