基于n元语言模型整句拼音汉字转换

这是计算语言学的课程作业，对于n元语言模型不必多说。

先看一下程序的整体架构

这里只对我自己在些这样一个程序时遇到的一些问题做一些总结。

1.nGram非常稀疏

因为nGram非常稀疏，会导致0概率问题出现。我在程序中使用3元语言模型，所以最终使用3元模型和1元，2元模型的加权值来代替3元模型的概率。

nGram的稀疏，还带来一个问题，提取的nGram中有一些频率极低，这种nGram我认为工程上应该舍弃，因为语料规模即使很大，对于全局空间来说还是很小的，又考虑到中文语言的一定随意性，所以这种频率极低的nGram可以取出，这样也可以减小生成nGram文件的大小。

2.加载资源文件，消耗大量内存

我首先从一个1G左右的网页数据库中生成了3个nGram文件（1gram.dict,2gram.dict,3gram.dict），经过处理，3个文件大小分被是400k，2.8M，7.2M左右，但是加载到内存中却需要消耗差不多170M内存。这个是在windows下看到的（我最初是在linux下编写的程序，之后想增加一个可视化的界面，所以移植到VC6下了）。这个问题，我现在还没有解决。值得一提的是，我是把文件加载到map这样一个容器中的，师兄说map是基于红黑树的，不知道是不是这个容器导致消耗了大量内存，有空要好好研究一下stl。

3.程序中只使用了整数运算，导致整数运算溢出

对每次运算结果做了归一化处理。这个不详细说了。

最后说几句，现在程序的主算法部分基本完成，一半的工作应该是做完了，测试了一些，结果也还不错。下一步想给程序加上一个如现在常用拼音输入法那样的界面，还需要好好研究一下windows编程。后面我会给出重要算法的源代码，并作进一步改进。

基于n元语言模型整句拼音汉字转换相关推荐

NLP 拼音汉字转换
https://www.cnblogs.com/zh-1721342390/p/8276922.html https://blog.csdn.net/l1028386804/article/detai ...
python编程输出汉字_课内资源 - 基于Python的拼音汉字转换程序
1.实验内容利用统计语言模型实现拼音汉字转换输入:拼音串,输出:对应的汉字串给定10000字的测试语料,测试音字转换的准确率针对音字转换结果中存在的问题给出具体分析以图表的形式表示上述结果 2 ...
基于Python的拼音汉字转换程序
1.实验内容利用统计语言模型实现拼音汉字转换输入:拼音串,输出:对应的汉字串给定10000字的测试语料,测试音字转换的准确率针对音字转换结果中存在的问题给出具体分析以图表的形式表示上述结果 ...
[源码和文档分享]基于Python的拼音汉字转换程序
1.实验内容利用统计语言模型实现拼音汉字转换输入:拼音串,输出:对应的汉字串给定10000字的测试语料,测试音字转换的准确率针对音字转换结果中存在的问题给出具体分析以图表的形式表示上述结果 ...
小辩五笔输入法的高效及拼音输入法的盲目夸大－－评所谓整句输入技术
多数使用拼音的人不会使用五笔多数使用五笔的人不屑使用拼音(因为拼音实在太低效了) 好了,不想用太激烈或复杂的辩驳,单字.词.短语情况下,五笔的优势不论,且看数据: 1.现在大多数拼音输入法在使用整句 ...
五笔不熟输入法(用五笔、拼音、笔画来整句输入)
版本:0.1 可用于WindowsXP/7/8/8.1 (暂不支持metro) 如果你的五笔打字不熟,想用五笔输入整个句子,又不想换成拼音输入法的话, 如果你用五笔总是喜欢打前几码,尽量不打识别码,而 ...
javascript汉字转换成拼音
javascript汉字转换成拼音分类 JavaScript 2007-9-27 7:16:38 浏览 13791 回复 0 隐藏侧边栏转自 www.div-css.com . 阅读编辑运行 ...
Python3 如何实现汉字转换拼音？
目前常用的有两个包可以实现 Python 汉字转换拼音. 第一个是 pypinyin 比较有名,可以参考 pypinyin 官方地址或者 GitHub 地址开发文档. pypinyin 最初版本是基 ...
asp.net 汉字转换拼音及首字母实现代码
Default.aspx页面代码如下: <%@ Page Language="C#" AutoEventWireup="true" CodeFile=& ...
语音识别-基于CTC-BiLSTM联合模型的英语语音识别系统
本博客旨在学习和记录关于语音识别的相关资料,也参考网上大神(链接),在此表示感谢.话不多说,下面进入正题. 1 概要本博客偏向实践,以LibriSpeech公开英语语料数据集作为训练语料,搭建了基于 ...

基于n元语言模型整句拼音汉字转换

基于n元语言模型整句拼音汉字转换相关推荐

最新文章

热门文章