酷应用

NIPS 2017 | 线上分享第二期：利用价值网络改进神经机器翻译

百家作者：机器之心 2017-11-13 05:01:08

上周我们发布了《攻略 | 虽然票早已被抢光，你可以从机器之心关注 NIPS 2017》。在 NIPS 2017 正式开始前，我们将选出数篇优质论文，邀请论文作者来做线上分享，聊聊理论、技术和研究方法。

本周将进行线上分享的第二期，邀请到了中国科大—微软联合培养博士生夏应策讲解一篇有关神经机器翻译这一热门研究课题的 NIPS 论文。

日期：北京时间 11 月 16 日 20:00 至 21:00。

分享者简介：夏应策，博士五年级，现就读于中国科学技术大学-微软亚洲研究院联合培养博士班，研究方向为机器学习（包括对偶学习、神经机器翻译和多臂赌博机），是 2016 年微软学者奖学金获得者之一。

演讲主题：利用价值网络改进神经机器翻译

论文摘要：神经机器翻译（NMT）近几年变得很流行。在解码的时候，束搜索（beam search）能使得搜索空间缩小和计算复杂度降低，因而被广泛采用。然而，由于其在解码时只向前计算一步，所以只能在每个时间步搜索局部最优，而通常不能输出全局最优的目标语句。受到 AlphaGo 的成功和方法论的启发，在这篇论文中，我们提出了一种新方法，利用预测网络提升束搜索准确率，即在第 t 步选取源语句 x、当前可用的解码输出 y_1，...，y_{t-1} 和一个候选词 w 作为输入，并预测部分目标语句（假如它由 NMT 模型完成）的长期价值（例如，BLEU 分数）。根据强化学习的实践经验，我们将这个预测网络称为价值网络。具体来说，我们提出了价值网络的循环结构，并使用双语数据训练其参数。在测试过程中，当需要解码词 w 的时候，需要同时考虑由 NMT 模型给定的条件概率和由价值网络预测的长期价值。实验证明，这种方法可以显著提高多种翻译任务的准确率。

参与方式

线上分享将在「NIPS 2017 机器之心官方学霸群」中进行。加群方式：长按扫描下方二维码，添加「机器之心小助手Ⅱ」，备注暗号：147，由小助手拉大家入群。