目录

介绍

机器翻译简史

LSTM网络如何处理MT

SMT简而言之

下一步


  • 下载原文件 -- 3.5k

介绍

谷歌翻译的效果非常好,它通常看起来很神奇。但这不是魔法——这是深度学习!

在本系列文章中,我们将向您展示如何使用深度学习来创建自动翻译系统。本系列可被视为分步教程,可帮助您理解和构建神经元机器翻译。

本系列假设您熟悉机器学习的概念:模型训练、监督学习、神经网络以及人工神经元、层和反向传播。

在深入了解使用深度学习(DL)进行翻译的具体细节之前,让我们快速了解一下机器翻译(MT)。

机器翻译简史

MT的概念,或使用机器自动将文本从一种自然语言翻译成另一种语言的能力可以追溯到1949年,当时Warren Weaver制定了主要的MT原则。最初,MT是使用专家规则(RBMT) 完成的,这需要人工翻译的大量工作。然后,在1970年代后期,统计机器翻译(SMT)出现并迅速蓬勃发展,尤其是在IBM资助的Candide项目的帮助下。

SMT基于计算从文本语料库(原始语言和目标语言)中提取的词和句子对之间最可能的关系。SMT一直统治着MT领域,直到2000年,当时提出将神经网络应用于MT——神经机器翻译(NMT)——作为替代方案。

虽然NMT一开始并不成功,但多年来取得了令人瞩目的进步。随着最近AI处理能力(GPU卡等)的增长,NMT开始提供优于SMT的结果。

随着对DL和长短期记忆(LSTM)设计的持续研究,NMT获得了越来越令人兴奋的结果;NMT取代商业翻译软件中的大多数SMT可能只是时间问题。

深度学习擅长MT,因为它旨在创造一个人工大脑。理论上,人脑能做的一切,深度学习系统也能做。此外,LSTM——一种深度学习技术,或者更准确地说,一种循环神经网络(RNN)——在回忆和检测时间模式方面有着前所未有的记录。当将自然语言句子视为单词的条件时间序列或作为马尔可夫过程的结果时,这非常有用。

LSTM网络如何处理MT

SMT简而言之

让我们专注于我们的LSTM在MT上下文中如何工作,首先简要描述SMT的主要原理。

该功能基于并行语料库。这本质上是一个“超级词典”——通常来自专业翻译人员或高年级学生——它可以匹配两种语言的单词或句子对。

SMT和NMT都使用平行语料库。SMT将输入的句子分成词组,然后使用概率找到最可能的匹配组合。

SMT,例如Moses,将从训练数据创建翻译模型并将该模型应用于任何输入。结果是目标语言中条件概率得分最高的句子。

互联网上的许多资源都提供了自然语言的平行语料库。很好的例子,包括喜欢的网站Tatoeba项目和Linguee。

来自Linguee.com网站的平行语料库。

Tatoeba项目为各种语言提供制表符分隔的双语序列对。例如,英语/荷兰语平行语料库包含大约50,000行翻译对。

来自Tatoeba项目的平行语料库(英语/荷兰语)。

通常SMT会为输入语言的非平行语料库创建语言模型。

然后使用翻译模型和语言模型,可能连同词典模型和对齐模型,使用贝叶斯规则和最大似然(MLE)估计器计算一系列概率。MLE对选项进行评分,MT选择目标语言中MLE分数最高的句子。换句话说,它选择最匹配输入句子的那个。通过计算条件概率,估计器(例如MLE分数)可以为翻译的句子提供候选值。

下一步

既然我们已经快速浏览了AI语言翻译的历史并对它的工作原理有了一个高层次的了解,现在是时候深入了解细节了。该系列的下一篇文章有点学术性,但它对于培养对AI翻译工作原理的直观理解非常有帮助。

如果您更喜欢直接查看代码以便开始创建自己的翻译模型,那也没关系!在这种情况下,您可以安全地跳转到用于构建AI语言自动翻译系统的工具。

https://www.codeproject.com/Articles/5299745/A-Brief-Introduction-to-AI-and-Machine-Language-Tr

(一)人工智能与机器语言翻译简介相关推荐

  1. 人工智能是计算机辅助翻译吗,人工智能背景下计算机辅助翻译在中国的研究现状述评原稿(图文高清版)...

    人工智能背景下计算机辅助翻译在中国的研究现状述评(原稿) 1.的‚即时视觉翻译‛通过摄像头即时取词翻译,利用增强现实技术把翻译后的文字原封不动地呈现在原来文字的位臵,则相当于人工同声传译人,哈尔滨师范 ...

  2. Matlab:基于Matlab实现人工智能算法应用的简介(SVM支撑向量机GA遗传算法PSO粒子群优化算法)、案例应用之详细攻略

    Matlab:基于Matlab实现人工智能算法应用的简介(SVM支撑向量机&GA遗传算法&PSO粒子群优化算法).案例应用之详细攻略 目录 1.SVM算法使用案例 1.1.Libsvm ...

  3. 人工智能多语言翻译插件批量多语种翻译

    外贸建站多语言翻译插件通过智能的人工学习,对接百度翻译.有道翻译和谷歌翻译等多方翻译平台api接口,只需要点选需要翻译的文本或文件夹就可以批量输入翻译成中文.英文.日语.韩语.俄语等多国语言,可以对多 ...

  4. Matlab:基于Matlab实现人工智能算法应用的简介(BP神经网络算法NN、SOFM神经网络)、案例应用(基于Matlab的GUI的方式创建/训练/预测神经网络)之详细攻略

    Matlab:基于Matlab实现人工智能算法应用的简介(BP神经网络算法NN.SOFM神经网络).案例应用(基于Matlab的GUI的方式创建/训练/预测神经网络)之详细攻略 目录

  5. 【人工智能】大语言模型简介 —— A Very Gentle Introduction to Large Language Models without the Hype

    [人工智能]大语言模型简介 -- A Very Gentle Introduction to Large Language Models without the Hype 目录 [人工智能]大语言模型 ...

  6. AI人工智能代替人工翻译后,我们还需要学习英语吗?

    AI人工智能翻译领域,现在国内各个大厂也都处于领先地位,下面几位大厂都声称自己的翻译准确率达到99%以上,达到日常交流完全无障碍水平,那在这样的情况下,我们或者说我们的孩子们还有必要继续学习英语吗 ? ...

  7. 实现人工智能辅助医疗翻译:促进医疗国际化

    作者:禅与计算机程序设计艺术 1.简介 随着人类对世界的了解越来越多.科技水平的飞速提升.全球化进程加快等因素的影响,人类的生活也越来越成为一个国际化过程.医疗保健事业也逐渐走向国际化进程,并形成了一 ...

  8. ai人工智能_人工智能(AI)简介

    ai人工智能 Here you will get an introduction to artificial intelligence. 在这里,您将获得有关人工智能的介绍. First of all ...

  9. 人工智能AI程序设计语言简介

    本文将介绍10多种不同的程序设计语言,以及如何下载它们的免费的编译器,(注意,是免费,而不是盗版),如果下载或者安装有问题,可以给我发邮件: ruoyu0088@sohu.com 20 年后,我们用什 ...

最新文章

  1. 转:45 Useful JavaScript Tips, Tricks and Best Practices
  2. 求 1~n 之间素数的个数
  3. 他22岁在家自造芯片,性能接近英特尔初代,连光刻机都有解决方案
  4. python输出一个数的每一位_Python练习实例88 | 读取7个数(1—50)的整数值,每读取一个值,程序打印出该值个数的*。...
  5. Elasticsearch7.15.2 mysql8.0.26 logstash-input-jdbc 数据增量索引构建
  6. 计算机发展英语思维导图,怎样画出英语课文总结思维导图
  7. (四)Qt实现自定义模型基于QAbstractTableModel
  8. C++ Primer 第二章 学习笔记及习题答案
  9. 神经网络的介绍与模型搭建
  10. mov相关汇编指令| movs | movsx | movzx | movsb | movsw | movsd 图文详解
  11. 机器学习 主成分分析(Principal Component Analysis)
  12. 离散数学3_第1章__一些重要的重言蕴涵式__推理定律
  13. 安装semantic segmentation editor
  14. 2019 年第 32 周 DApp 影响力排行榜 | TokenInsight
  15. 做好大型项目的五个关键
  16. nginx单点故障怎么破?
  17. python 获取网页的内容
  18. 交通行业大数据应用和发展现状
  19. 基于SSH的实验室预约管理系统
  20. JAVA Swing + Jdbc 实现宿舍管理系统

热门文章

  1. linux词语大全,简单词语大全二字学习软件-简单词语大全四字下载v1.5.3-Linux公社...
  2. gitlab ci 自动化部署_lt;为什么准备使用GitLab做CICD流水线?/gt;
  3. python 调用另一个py_Python打包:setuptools与setup.py/.cfg入门简介
  4. 神经网络的输出层有哪些_深度学习的数学-神经网络、输入层、隐藏层、输出层...
  5. candence的图纸大小设置_提前感受一下,CAD高手的字体和标注设置原则
  6. 数独解题程序的python实现_python实现自动解数独小程序
  7. idea安装activiti流程设计器_整合Activiti6.0流程设计器 | 字痕随行
  8. filter vue 循环_详解在Vue.js编写更好的v-for循环的6种技巧
  9. linux php没有bin,php - 执行Linux命令没有报错但也没有输出
  10. vb里面计算误差咱们解决_盘点3dmax渲染出来是黑色的6个原因及解决方法