Facebook用CNN做机器翻译:速度比对手快9倍

Facebook用CNN做机器翻译:速度比对手快9倍
2017年05月10日 17:00 量子位

陈桦 编译整理

量子位 报道 | 公众号 QbitAI

翻译一直是Facebook人工智能研究中最重要的应用之一。毕竟,Facebook的总目标是“让世界更开放、更互联”。对于这种目标的实现,多种多样的语言是一个明显的障碍。为了跨越这一障碍,Facebook本周公布了一种创新的机器学习翻译方法,据称速度比竞争对手快9倍。

目前,这项工作仍停留在研究阶段,Facebook公开了论文,并在GitHub上开源了相关代码。

但该技术尚未被集成至Facebook的产品,Facebook人工智能实验室的研究人员Michael Auli和David Grangier等人在接受科技媒体TheVerge采访时表示,未来Facebook将会把这项技术应用于产品。目前,Facebook已经使用人工智能去自动翻译用户的状态更新。不过,新技术从实验室阶段走到实际应用总是需要花一定时间。

“我们正在与产品团队沟通,希望将这项成果用于Facebook的环境。”Grangier表示,“对语言来说,从研究数据转移至真实环境将带来不同。研究数据用的是新闻风格的语言,而Facebook上的会话则更口语化。”Facebook此前表示,该公司正在建设俚语词汇表,让这样的翻译更简单。

这一项目的研究人员们在Facebook官方博客发表的文章称,通常情况下,人工智能翻译依靠递归神经网络,即RNN,而这种新技术利用了卷积神经网络,即CNN。

RNN以线性方式分析数据,对于一个句子将从左至右进行阅读,并逐个单词地翻译。与此不同,CNN同时关注数据的不同方面,这样的计算方式更适合GPU硬件,而GPU是用于训练当代神经网络的主要工具。

因此,使用CNN模型进行翻译意味着更多地从整体着眼,可以分析更高层次的句子结构。Auli表示:“在文字的基础上,CNN建立起了逻辑结构,有些类似于语言学分析。”

Facebook的CNN机器翻译包括两个步骤:系统读取一个法语短语(编码器),然后输出一个英语翻译(解码器)。也就是说,首先,编码器用CNN同时为每个法语词创建一个向量,然后,解码器逐个生成英语词。每一步,网络的注意力(attention)都会关注整个法语短语,来决定在生成下一个英语词的过程中,哪些法语词是最相关的。

博客文章中用一张动图简单展示了这个系统的工作原理:

解码器有两层,上图展示了注意力在其上如何运行。绿色线条的深度表示每个词的相关程度。

关于这项技术为何没有被更广泛地应用,Grangier指出,人工智能研究者已经在RNN翻译模型方面投入了大量精力,因此更喜欢在此基础上进行改进。他表示:“简单来说,这是因为人们没有在这项技术中投入太多时间。我们取得了一些新进展,让这项技术变得更好。”

相关资源

论文:

https://fb.me/convolutional-s2s.pdf

代码:

https://github.com/facebookresearch/fairseq

(完)

招聘

量子位正在招募编辑记者、运营、产品等岗位,工作地点在北京中关村。相关细节,请在公众号对话界面,回复:“招聘”。

One More Thing…

今天AI界还有哪些事值得关注?在量子位(QbitAI)公众号对话界面回复“今天”,看我们全网搜罗的AI行业和研究动态。笔芯~

另外,欢迎加量子位小助手的微信:qbitbot,如果你研究或者从事AI领域,小助手会把你带入量子位的交流群里。

△ 扫码强行关注『量子位』

追踪人工智能领域最劲内容

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部