python英文分句_英文分句

分词技术目前已经在机器翻译领域广泛使用。今天我们说说分句。

分句的作用主要用在，当我们给翻译引擎一大段文字的时候，它很有可能就搞不定了，因为一般需要将分句后的句子送给引擎，引擎在翻译完后再将结果拼起来。

这里找到一个开源的分句，我们一起来看看它：

https://github.com/Tessmore/sbd

安装node的过程我这里就不说了，需要说的一点是，安装完后，我们在这里打开命令行：

打开命令行后，运行 npm install sbd

新建一个js脚本，代码如下：

var tokenizer = require('sbd');var text = "On Jan. 20, former Sen. Barack Obama became the 44th President of the U.S. Millions attended the Inauguration.";var sentences =tokenizer.sentences(text);

console.log(sentences)

我们运行下直接输出：

可以看到这句话分句成功了，且成功避开了日期当中的标点已经专有名词缩写的标点。

python版本

首先拿到我的压缩包。

先通过源码安装这两个库

python setup.py install

装完后发现在python的目录下多了 **。egg文件

此时只需要把egg文件加压即可。

最后再通过pip安装一个nltk即可

此时我们用以下代码运行一下

#coding = utf-8

from nlup.decorators importIOfrom detectormorse importDetectorif __name__ == '__main__':

detector= IO(Detector.load)('./DetectorMorse/DM-wsj.json.gz')print("\n".join(detector.segments("The family only had to contribute 3,000 yuan of the cost, while the government paid the remainder. Jinhuo also received 2,000 yuan to buy basic necessities so the family could start its new life as soon as possible.")))print __name__

就可以得到分句的结果:

python英文分句_英文分句相关推荐

python文献翻译_英文学术文献翻译软件有哪些推荐？
想要日读10篇英文Paper,别说,还真的可以!有了下面这8个免费的文献翻译工具,相信你阅读文献的速度会直线上升! 适用场景:长篇文献直接将文档上传到网站,就可完成翻译. 彩云小译翻译的结果有一个很 ...
python 英语分词_英文分词算法(Porter stemmer)
python金融风控评分卡模型和数据分析微专业课(博主亲自录制视频):http://dwz.date/b9vv 最近需要对英文进行分词处理,希望能够实现还原英文单词原型,比如 boys 变为 boy ...
关于python的英文参考文献_英文参考文献格式
英文文献采用" APA 格式": 单一作者著作的书籍: 姓,名字首字母 .( 年 ). 书名 ( 斜体 ). 出版社所在城市:出版社 . Sheril, R. D. (1956). ...
英文语音识别_英文语音识别软件_英文语音识别翻译 - 云+社区 - 腾讯云
广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 语音识别功能是否支持英文识别? 2. 语音识别是否支持离线命令词识别?3 ...
java英文试题_英文java题
Question3.(a)WriteaJavadefinitionforaclassPersondefinedbynameThenameofthepersonageTheperson'sageheig ...
利用python对一段英文文本进行分词，分句
这两天一直在学习用python进行自然语言处理这本书,当然开始的开始就是要学习python这门脚本语言,遇到了利用自己的语言对一段英文文本进行分词这个问题,找了好多资料都没有找到具体的解答,自己修修改 ...
python怎么处理中英文符号网名_英文带符号的网名_英文网名带符号加中文
导读:小编根据大家的需要整理了一份关于<英文带符号的网名_英文网名带符号加中文>的内容,具体内容: 很多人喜欢用一些带符号的英文作为自己的个性网名,下面请欣赏小编为大家整理的英文带符号的网 ...
python外文文献翻译_英文学术文献翻译软件有哪些推荐？
想要日读10篇英文Paper,别说,还真的可以!有了下面这8个免费的文献翻译工具,相信你阅读文献的速度会直线上升! 适用场景:长篇文献直接将文档上传到网站,就可完成翻译. 彩云小译翻译的结果有一个很 ...
python英文文献_python英文文献
php英文文献_计算机软件及应用_IT/计算机_专业资料.php 英文文献翻译及... 浅谈我眼中的 python 吴凡摘要: 作为一门非常有潜力的高级语言,python 正在编程上发挥着越来越大的作 ...

python英文分句_英文分句

python英文分句_英文分句相关推荐

最新文章

热门文章