02-NLP-04基于统计的翻译系统-03-短语翻译表构造—

统计翻译模型核心就是基于短语的翻译（短语与短语的对应）。

上一讲中词到词的对应就是为了短语对应做铺垫。

一致性短语需要满足三个条件：

条件1：如果“北京房价”对应的英文短语中包含“北京”、“房价”分别对应的英文单词（原因是在词对齐的时候，可以发现有很多轮空的.）

条件2：

以目标语言为基础，不同目标长度做标准：滑动窗口的大小先从1开始到2，3........

先以目标长度（英文拆分成一个个单词）为1开始遍历：housing对应房价，但是房价对应housing prices。此时，发现prices不在目标英文中，将prices标记上蓝色表示异常。

　　　　　　　　　　　　　　　　　　　　　　　　　“prices”对应的是房价，房价对应的是“housing prices”，此时“housing“”又不在目标英文中，将”housing”标记为蓝色表示异常。

接着以目标长度为2进行遍历，“beijing housing”对应的是“北京房价”，再找“北京房价”对应的却是“beijing housing prices”，将异常点prices标记为蓝色

　　　　　　　　　　　　　　“housing prices”成功双向对应“房价”，没有异常点

　　　　　　　　　　　　　　“prices continued”对应“房价持续”，而“房价持续”对应的是“housing prices continued”，将异常点housing标记为蓝色

以此类推。窗口加大一个单词的条件，窗口遍历到了最后一个单词。

遍历结束的条件：窗口大小达到了句子的长度。

在此过程中，利用上一讲的翻译表从词对词来生成短语到短语。因此本操作最后得到的是候选短语。

转载于:https://www.cnblogs.com/Josie-chen/p/9138258.html

02-NLP-04基于统计的翻译系统-03-短语翻译表构造——短语抽取相关推荐

NLP——8.基于统计的翻译系统
基于统计的机器翻译:mosesdecoder作为比对翻译效果的baseline,如果不如这个的效果,就说明测试系统效果不算好. 首先看看一共需要以下三个模型: 语言模型:用来评估这句话的通畅程度. 1 ...
004-基于统计的翻译系统
双语数据预处理学习目标:了解和学习开发汉英双语数据预处理模块. 双语数据预处理是统计机器翻译系统构建的第一步,为词对齐处理提供分词后的双语数据.预处理的工作本质上就是双语数据的分词处理,与传统分词 ...
基于统计复用的分组交换网络拥塞控制的科普解释
原文链接:https://blog.csdn.net/dog250/article/details/53138144 最近收到很多邮件咨询各种问题,一般而言我能回答的就都回答了,我自有自知之明,绝不是 ...
全球与中国翻译系统市场现状及未来发展趋势（2022）
本文研究全球及中国市场翻译系统现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美.欧洲.中国.日本.东南亚和印度等地区的现状及未来发展趋势. 根据QYR(恒州博智)的统计及预测,202 ...
基于struts2的登录系统
web.xml配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version=" ...
NLP——基于transformer 的翻译系统
文章目录基于transformer 的翻译系统 1. 数据处理 1.1 英文分词 1.2 中文分词 1.3 生成字典 1.4 数据生成器 2. 构建模型 2.1 构造建模组件 layer norm层 ...
C#毕业设计——基于C#+asp.net+sqlserver的证券术语解释及翻译系统设计与实现（毕业论文+程序源码）——翻译系统
基于C#+asp.net+sqlserver的证券术语解释及翻译系统设计与实现(毕业论文+程序源码) 大家好,今天给大家介绍基于C#+asp.net+sqlserver的证券术语解释及翻译系统设计与实 ...
【Python+C#】手把手搭建基于Hugging Face模型的离线翻译系统(如果你想，也可以在线)
前言:目前翻译都是在线的,要在C#开发的程序上做一个可以实时翻译的功能,好像不是那么好做(其实主要是第三方的都要AppID或者授权,太不友好了).而且大多数处于局域网内,所以访问在线的api也显得比较 ...
【Python+C#】手把手搭建基于Hugging Face模型的离线翻译系统，并通过C#代码进行访问...
前言:目前翻译都是在线的,要在C#开发的程序上做一个可以实时翻译的功能,好像不是那么好做.而且大多数处于局域网内,所以访问在线的api也显得比较尴尬.于是,就有了以下这篇文章,自己搭建一套简单的离线翻 ...

02-NLP-04基于统计的翻译系统-03-短语翻译表构造——短语抽取

02-NLP-04基于统计的翻译系统-03-短语翻译表构造——短语抽取相关推荐

最新文章

热门文章