首页 > 科技快讯 > 机器翻译怎样搞定“东北话十级”？

机器翻译怎样搞定“东北话十级”？

晰数塔互联网快讯
2020-04-01 15:20

本文来自微信公众号：大数据文摘（ID：BigDataDigest），作者：刘俊寰，题图来自：电影《降临》

最近，一款在线机器翻译软件在日本大火。

这款翻译软件名叫DeepL，大火的原因正是因为它工作太负责了，翻译得太过准确，在日本引起了热议。

从日本网友的民间测评来看，不仅日语方言翻译效果杠杠的，连文言文也被拿下，要知道，这可是连谷歌翻译都无法做到的事。

但是有多精确呢？作为一个严谨的科技软件，当然还是要用数据来说话，DeepL官方也公开了日英互译和中英互译的盲测结果，如下图所示，可以看出，DeepL简直就是碾压级的存在嘛：

盲测就是在专业译员评审们不知道哪个翻译版本是由哪个网站翻译的情况下，对翻译文本进行评估，这也一直是DeepL的测试方式之一。

DeepL由于极好的准确性，也同样引爆了Reddit，有网友指出，DeepL不是像谷歌翻译那样从字词上进行翻译，从Textractor的设置上可以看到，DeepL还支持用以前的翻译作为上下文对翻译结果进行改善。

也有不少网友直呼“DeepL牛逼”！

3年前，DeepL刚出现在大众视野的时候就已经吸引到了不少目光，DeepL首席执行官Gereon Frahling曾表示，DeepL的目标不止于翻译任务，神经网络将从理解文本开始，开启更多可能。

至于更多可能是如何被开发出来的，文摘菌做了一次小小的测评，然后再一起来围观DeepL的发家史，小板凳已经放好，欢迎就坐~

方言、文言文、学术论文，机器翻译神仙打架！

不管是民间测评还是DeepL官方的盲测结果，都暗示着DeepL可能是目前准确率最高的机器翻译，到底成色怎样，还是要亲自动手试试才知道。

既然本次更新也包含了简体中文，抱着一点点的怀疑和一点点的好奇，文摘菌也对DeepL进行了一次简单的测评，和目前主流的谷歌翻译、微软翻译、百度翻译、有道翻译进行了比较。

本次测评分为三轮，第一轮方言，第二轮文言文，第三轮学术论文。好，现在我们有请五位选手入场。

第一轮，我们来看看方言。

大家都知道，中国方言文化博大精深，要是不能正确译出方言，那这个准确率还是要打上问号的。

我们选择了东北话十级题目：“我嘞个去，你长得也太磕碜了”。本题有两个得分点，一个是“我嘞个去”，一个是“磕碜”。让我们来看看五位选手的表现。

在第一个得分点上，谷歌翻译成了“I'll go there”，微软和百度认为这是“I'll go”的意思，有道则给出“I don't know”的答案，DeepL表现很好，正确翻译成了带有惊讶语气的“oh my god”。

在第二个得分点上，五位选手都给出了不同的答案，谷歌“shy”、微软“snobful”、百度“shabby”、有道“bad”，DeepL“ugly”。

从得分点上看，百度在第二题表现尚可，有道…勉强过关吧，谷歌和微软则全军覆没。我们来欣赏一下DeepL的满分试卷：

这才第一题，不要担心，还有翻身的机会。接下来我们来看看文言文，既然DeepL都能翻译古日文，要是不能翻译古汉语可就不对了。

第二轮，文言文。

文言文部分我们以著名唐代诗人张九龄《望月远怀》中的名句“海上生明月，天涯共此时”为考题，这句诗的意思是，在辽阔无边的大海上升起一轮明月，使人想起了远在天涯海角的亲友，他此时此刻也该是望着同一轮明月吧。

本题的得分点是看看各位选手能否用英文把整句诗的意境表达出来。好了，中文版的标准答案已经公布，那么五位选手的表现如何呢？

首先从句意上看，谷歌、微软和百度都直接放弃了后半句的翻译，有道把后半句译成“Tianya at this time”；在前半句的翻译上，微软和百度都用到了born这个词，但是微软的译文是“The sea is born”？？？？

我们来看看DeepL，前半句和谷歌的答案一模一样，但是后半句的翻译是不是达到了信达雅的水平文摘菌不知道，但是读上去感觉非常舒服，大家也来品品：

第三题，也是最后一道压轴题，我们要考察的是各位选手对学术论文的中英互译。

学术论文的关键除了语句通顺外，还需要在专业词汇上做到准确，这也是本次考察的重点。

中译英部分，我们选择的是去年刊登在《国际新闻界》上的一篇文章，研究者调查的是社交媒体信任对隐私风险感知和自我表露的影响。

原文：实证结果显示：1.隐私风险感知与自我表露并无显著相关性；2.社交媒体信任负向影响用户的隐私风险感知，网络人际信任在其中发挥中介作用；3.社交媒体信任正向影响用户的自我表露，网络人际信任在其中发挥中介作用。

从翻译结果上看，五位选手给出的答案都比较让人满意，句型和语法也都没有问题，只是在一些具体的用词上各有千秋。比如，“自我表露”，DeepL和微软用的是“self-expression”，其余三位选手用的是“self-disclosure”；而“网络人际信任”，有道、百度和微软译成“network interpersonal trust”，谷歌给出“online interpersonal trust”的答案，DeepL则译为“cyber-interpersonal trust”。

照例，我们还是来看看DeepL的答案。

在英译中部分，我们选择了上周文摘菌报道的帝国理工大学论文的导论部分。在用户体验上文摘菌要插播一下，从中译英切换到英译中的时候，只有百度、有道和DeepL做到了自动识别，谷歌和微软仍需要手动选择语言。

原文：The global impact of COVID-19 has been profound, and the public health threat it represents is the most serious seen in a respiratory virus since the 1918 H1N1 influenza pandemic. Here we present the results of epidemiological modelling which has informed policymaking in the UK and other countries in recent weeks. In the absence of a COVID-19 vaccine, we assess the potential role of a number of public health measures – so-called non-pharmaceutical interventions (NPIs) – aimed at reducing contact rates in the population and thereby reducing transmission of the virus. In the results presented here, we apply a previously published microsimulation model to two countries: the UK (Great Britain specifically) and the US. We conclude that the effectiveness of any one intervention in isolation is likely to be limited, requiring multiple interventions to be combined to have a substantial impact on transmission.

从结果上看，五位选手的学术造诣都比较高，学术语言使用的规范性也都相差不大。但是，细节见真知，只有有道保留了双破折号的使用，但这在中文中其实并不常见；除有道外，其他三位选手在“非药物干预措施（NPI）”的表达上都没有做到尽善尽美。

仍然，笑到最后的还是DeepL，虽然还存在各种小问题，无法得到满分，但也是一张妥妥的高分试卷了：

以上就是本次测评全部的考题了，可以看出DeepL不愧是头号种子选手，不管是方言、文言文还是学术话语，都有不错的表现，看来DeepL官方还是很诚实的嘛。

从Linguee蜕变，机器学习赋能DeepL

见识到了DeepL的“独秀”表现，接下来，我们就重点介绍一下本次测评表现最佳的头号种子DeepL。

不知道DeepL？那Linguee应该听说过吧，就是那个运营十多年的在线外语词典，DeepL的前身正是Linguee。Linguee是一款出现多年的翻译工具，尽管使用广泛，也有一批忠实用户，但其翻译质量尚无法与谷歌翻译相提并论，尤其是考虑到后者品牌和地位的巨大优势。

但真正重要的是Linguee的技术积累，Linguee的联合创始人Gereon Frahling之前就在谷歌研究院工作，2007年，他选择开启新的征程，团队数年来一直致力于机器翻译，直到2016年，他们才开始全力开发全新的系统，建设新公司，也就是DeepL。

Linguee的核心竞争优势就是爬虫和机器学习系统，前者能够抓取互联网上超过10亿句翻译结果和查询的大型数据库，后者在网页上搜索相似片段的真实翻译方法并对其评估，两者结合使Linguee成为了当时“世界上首个翻译搜索引擎”。

十年积累下来，Linguee无论在数据和对算法的研究上都不可小觑，而这也直接成为DeepL的绝对优势，为团队训练新模型打好了坚实的基础。

DeepL变革性的神经架构在冰岛的一台超级计算机上运行，该计算机能力为5.1 petaFLOPS（每秒5100万亿次操作），不到一秒内能翻译100万单词。“冰岛可再生能源丰富，因此我们可以在这里用非常低廉的成本训练我们的神经网络。我们将继续专注于高性能硬件”，DeepL的CTO Jaroslaw Kutylowski说。

“我们的神经网络架构已经实现了多个显著改善”，Gereon Frahling表示，“通过用不同的方式安排神经元及其连接，我们的网络比目前其他神经网络更全面地映射自然语言。”

大学、研究机构和Linguee的竞争对手发布的研究进展表明，卷积神经网络才是机器翻译的正确道路，而非DeepL之前使用的循环神经网络，但现在不是探讨二者区别的时候，对于相关词语的长、复杂字符串，只要你能够控制其弱点，卷积神经网络效果会更好。

例如，CNN一次处理一个单词，当句末单词决定句首单词的形成时，这就成了问题。查找整个句子寻找句首单词，如果网络获取到的第一个单词是错误的，就太浪费了，还得使用该知识重新开始，因此DeepL和机器学习领域的其他机构在CNN转向下一个单词或词组时，使用能够监控此类潜在问题的“注意力机制”来解决。

DeepL在最新版本增加了对日语和中文（简体）的支持，包括日语汉字，平假名和片假名以及数千个汉字。目前，DeepL支持的语言数量增加到11种，虽然语言支持不如其他翻译服务广泛，如Google Translate和Bing Microsoft Translator均支持一百多种不同的语言，但翻译精度也是不可忽视的关键点。

掌握多国语言的Techcrunch编辑Frederic曾这么评价DeepL：“谷歌翻译的风格非常直接，但却错过了一些细节和习语（或者把这些习语翻译错了），而 DeepL 经常可以提供更加自然的翻译效果，就像训练有素的人类翻译一样。”