nltk中文分句_利用NLTK进行分句分词

1.输入一个段落，分成句子(Punkt句子分割器)

import nltk

import nltk.data

def splitSentence(paragraph):

tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')

sentences = tokenizer.tokenize(paragraph)

return sentences

if __name__ == '__main__':

print splitSentence("My name is Tom. I am a boy. I like soccer!")

结果为['My name is Tom.', 'I am a boy.', 'I like soccer!']

2.输入一个句子，分成词组

from nltk.tokenize import WordPunctTokenizer

def wordtokenizer(sentence):

#分段

words = WordPunctTokenizer().tokenize(sentence)

return words

if __name__ == '__main__':

print wordtokenizer("My name is Tom.")结果为['My', 'name', 'is', 'Tom', '.']

nltk中文分句_利用NLTK进行分句分词相关推荐

python随机生成中文字符串_利用python3随机生成中文字符的实现方法
前言运行环境在Python3.6下,Python2的解决方案网上有很多.,想学习python2实现的朋友们可以参考这篇文章://www.jb51.net/article/34884.htm,下面来一 ...
java集合中中文排序_利用Collator和Collections.sort对list进行中文排序，注意与Arrays.sort的区别...
//两者的关系:1.Coollections.sort的内部实现是用Arrays.sort来实现的. //2.如果要排序的list中的对象已经实现了Comparable接口,那么可以用Arrays.s ...
利用NLTK做中英文分词
美图欣赏: 一.NLTK环境配置 1.安装nltk包(如果开始能装忽然爆红多装几次) pip install nltk 2.在python consol里面 //1.先导入包import nltk ...
python英文分句_教你如何对英文段落进行分句
做nlp的时候,我们数据往往是一篇文章或者一大段文字,在进行其他处理之前,你需要先对文章进行切割或者处理(去除多余字符.特殊符号,分句和分词),或者是分句以句子级别为最小单位进行后续处理.那么如何进行 ...
jieba入门记录——nltk中文语料处理
jieba入门记录--nltk中文语料处理环境:pycharm(Anaconda) 1.官网下载jieba:https://pypi.org/project/jieba/ 2.将下载好的压缩包解压到 ...
【python】文本处理：利用NLTK断句
[python]文本处理:利用NLTK断句 [Code] import nltk.datadef stripTags(s):intag = [False]def chk(c):if intag[0]: ...
fitbit手表中文说明书_如何获取和分析Fitbit睡眠分数
fitbit手表中文说明书 Smartwatches and other wearable devices have gained popularity over the past couple of ...
python批量爬取小网格区域坐标系_Python爬虫实例_利用百度地图API批量获取城市所有的POI点...
上篇关于爬虫的文章,我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取,总结过程,网页爬虫本质就两步: 1.设置请求参数(url,headers,co ...
中文编程语言_文言文编程语言，让你明白什么叫“中文比英语还难”。
毕竟有易语言在前,有人认为中文可以降低国人学习编程的门槛,也增强汉语的国际地位.然而最近大火的文言文编程语言,让你明白什么叫"中文比英语还难". Hello wenyan 最近有个 ...

nltk中文分句_利用NLTK进行分句分词

nltk中文分句_利用NLTK进行分句分词相关推荐

最新文章

热门文章