神经网络机器翻译技术

1. 机器翻译所需要用到的神经网络结构是什么样的

encoder_decoder 是机器翻译所用到的神经网络结构，你也可以称它为seq2seq。encoder_decoder可以解决输入和输出不等长的问题。encoder可以输入转化为一个上下文向量c，再利用decoder可以对c进行解密得到输出序列。

下图显示了得到隐状态c的几种方式：

再得到隐状态c后，再利用RNN网络对c进行解码。解码过程如下图：

还有一种方式是将c作为每一步的输入，如下图：

注意力机制的引入

注意力机制引入的原因是当句子过长时，一个上下文c不能很好的区分一句话中每个词之间的不同含义。

在引入decoder机制后，解码器的结构变成了下图所示的样子

使用注意力机制后，每一个 c 会自动选取与当前所要输出的 y 最合适的上下文信息。具体来说，用 aij 衡量 Encoder 中第j 阶段的 hj和解码时第 i 阶段的相关性，最终 Decoder 中第 i 阶段输入的上下文信息 C来自于所高 hj 对aij 的加权之相。以机器翻译为例（将中文翻译成英文），每一个c的具体计算方法如图。

神经网络机器翻译技术相关推荐

神经网络机器翻译技术及应用（上）
何中军,百度机器翻译技术负责人.本文根据作者2018年12月在全球架构师峰会上的特邀报告整理而成. 本报告分为以下5个部分: 机器翻译基本原理,介绍机器翻译原理.主要挑战.发展历程,及评价方法神经网 ...
融合统计机器翻译特征的蒙汉神经网络机器翻译技术
融合统计机器翻译特征的蒙汉神经网络机器翻译技术杜健内蒙古大学 [摘要]:随着机器翻译的发展,统计机器翻译已经进入瓶颈期很难有所提高,因此研究人员逐步将研究目光投向神经网络机器翻译方向.神经网络机 ...
神经网络机器翻译（一）
文章目录序言 Encoder-Decoder 模型原理应用范围局限性注意力机制(Attention) 模型原理原理图示自注意力 (self-attention) 原理介绍图示讲解 ker ...
现代循环神经网络 - 机器翻译与数据集
文章目录机器翻译与数据集 1 - 下载和预处理数据集 2 - 词元化 3 - 词表 4 - 加载数据集 5 - 训练模型 6 - 小结机器翻译与数据集语言模型是自然语言处理的关键,而机器翻译是语 ...
编写程序实现通过有道或百度翻译url对用户输入数据进行翻译_8亿用户AI有道：超强神经网络翻译技术大解密...
[新智元导读]数据的作用在人工智能发展道路上愈发被重视.7月27日,在广州举行的GMIC大会上,网易有道技术总监林会杰表示目前AI+教育还在初级阶段,对于这一行业而言,得数据者得先机.这家拥有国内最大 ...
编写程序实现通过有道或百度翻译url对用户输入数据进行翻译_8亿用户AI有道，超强神经网络翻译技术大解密...
[新智元导读]数据的作用在人工智能发展道路上愈发被重视.7月27日,在广州举行的GMIC大会上,网易有道技术总监林会杰表示目前AI+教育还在初级阶段,对于这一行业而言,得数据者得先机.这家拥有国内最大 ...
机器翻译技术的含义、发展和应用
数年前,搜索引擎公司先后上线了机器翻译业务,并凭借其强大的数据挖掘和机器学习能力,不断扩充语言数量.提高翻译质量,提升整体的机器翻译水平.以百度翻译为例,目前已扩充至16种语言,186个语言方向,并支 ...
【笔记3-7】CS224N课程笔记 - 神经网络机器翻译seq2seq注意力机制
CS224N(七)Neural Machine Translation, Seq2seq and Attention seq2seq神经网络机器翻译历史方法 seq2seq基础 seq2seq - ...
深度神经网络可视化技术
深度神经网络可视化技术深度学习模型表述的难点与意义深度神经网络的可视化云脑 Deepro 采用的 CNN 可视化独立单元激活的可视化图案和区域生成法云脑 Deepro 采用的 RNN 可视 ...
统计机器翻译与神经机器翻译区别_神经网络机器翻译的发展趋势
神经网络机器翻译的发展趋势作者:Isabella Massardo 编译:TransliaMT 上个月,OpenAI 推出了其 GPT-3(生成型预训练变换器-3)的封闭测试版,展示了该模 ...

神经网络机器翻译技术

神经网络机器翻译技术相关推荐

最新文章

热门文章