python 英语词汇_使用Python进行英文单词分割

由于在一些场景中，所有的字母都连在了一起，所以我们需要将字母分割成单词的形式。

1. 安装pip install -U symspellpy

2. 下载词典

curl -LJO https://raw.githubusercontent.com/mammothb/symspellpy/master/symspellpy/frequency_dictionary_en_82_765.txt

curl -LJO https://raw.githubusercontent.com/mammothb/symspellpy/master/symspellpy/frequency_bigramdictionary_en_243_342.txt

如果下载不了的话，也可以在CSDN上进行下载，链接为https://download.csdn.net/download/herosunly/12326704。

3. 单词分割import pkg_resources

from symspellpy.symspellpy import SymSpell

sym_spell = SymSpell(max_dictionary_edit_distance=0, prefix_length=7)

dictionary_path = pkg_resources.resource_filename(

"symspellpy", "frequency_dictionary_en_82_765.txt")

sym_spell.load_dictionary(dictionary_path, term_index=0, count_index=1)

# a sentence without any spaces

input_term = "thequickbrownfoxjumpsoverthelazydog"

result = sym_spell.word_segmentation(input_term)

print("{}, {}, {}".format(result.corrected_string, result.distance_sum,

result.log_prob_sum))

作者：herosunly

python 英语词汇_使用Python进行英文单词分割相关推荐

python 英语词典_使用Python的英语词典应用程序
python 英语词典 Module used: 使用的模块: In this script, we will use the JSON module because we will use a JS ...
python 英语分词_基于Python NLTK库进行英文文本预处理
文本预处理是要文本处理成计算机能识别的格式,是文本分类.文本可视化.文本分析等研究的重要步骤.具体流程包括文本分词.去除停用词.词干抽取(词形还原).文本向量表征.特征选择等步骤,以消除脏数据对挖掘分 ...
python 英语翻译_用Python将日语翻译成英语
我正在使用Python编写一些集成两个系统的脚本.系统扫描邮箱并搜索特定主题行,然后解析电子邮件中的信息.我要寻找的元素之一是一个HTML链接,然后使用Curl将HTML代码以文本格式写入文本文件.在 ...
python 时间序列预测_使用Python进行动手时间序列预测
python 时间序列预测 Time series analysis is the endeavor of extracting meaningful summary and statistical ...
python 概率分布模型_使用python的概率模型进行公司估值
python 概率分布模型 Note from Towards Data Science's editors: While we allow independent authors to publis ...
python英语词汇读音_利用PYTHON 爬虫爬出自己的英语单词库
为什么要建立自己的单词库用过各种的背单词软件,总是在使用其他人的词库或者软件自己提供的词库,基本是人家提供什么自己就用什么,要想有更多的自主基本没有,最近看一个 COCA的按单词使用频率来提取的2万 ...
python 英语词汇量_北大保安小哥英语词汇量一万五，会用Python编程，网友：北大保安都不会招我...
原标题:北大保安小哥英语词汇量一万五,会用Python编程,网友:北大保安都不会招我 11月11日下午3时,北大官方微博发文"遇见最强扫地僧!北大保安小哥英语词汇量一万五,会Python,准 ...
python 英语词汇量_最强“扫地僧”！北大保安小哥英语词汇量一万五，会用Python编程，网友：北大保安都不会招我...
原标题:最强"扫地僧"!北大保安小哥英语词汇量一万五,会用Python编程,网友:北大保安都不会招我 11月11日下午3时,北大官方微博发文"遇见最强扫地僧!北大保安小哥 ...
python英语词频_为了边看美剧边学英语，我写了个字幕处理脚本
每个英语学渣(好吧,其实这个说的就是学渣本渣了 ‍♀️)都有这样一个梦想:能够一边轻松愉快地看着美剧,一边自己的英语听力水平还能蹭蹭地往上涨.知乎上也有很多人分享了自己通过美剧练习听力的方法,比如说只 ...

python 英语词汇_使用Python进行英文单词分割

python 英语词汇_使用Python进行英文单词分割相关推荐

最新文章

热门文章