# encoding=utf-8
import jiebaseg_list = jieba.cut("我在学习自然语言处理", cut_all=True) print seg_list print("Full Mode: " + "/ ".join(seg_list)) # 全模式：会将有意义的词都取出来（划分结果会有重复） seg_list = jieba.cut("我在学习自然语言处理", cut_all=False) print("Default Mode: " + "/ ".join(seg_list)) # 精确模式：找最合适的方式将原话切分开。（可以自己添加词包或者给出建议）切分结果不会有重复的字段 seg_list = jieba.cut("他毕业于上海交通大学，在百度深度学习研究院进行研究") # 默认是精确模式 print(", ".join(seg_list)) seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在哈佛大学深造") # 搜索引擎模式：所有有意义的词可能都会被提取出来 print(", ".join(seg_list))

Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/pn/xp31896922n9rqxgftrqk3l00000gn/T/jieba.cache
Loading model cost 0.496 seconds.

<generator object cut at 0x10bbd91e0>

Prefix dict has been built succesfully.

Full Mode: 我/ 在/ 学习/ 自然/ 自然语言/ 语言/ 处理
Default Mode: 我/ 在/ 学习/ 自然语言/ 处理
他, 毕业, 于, 上海交通大学, ，, 在, 百度, 深度, 学习, 研究院, 进行, 研究
小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 哈佛, 大学, 哈佛大学, 深造

result_lcut = jieba.lcut("小明硕士毕业于中国科学院计算所，后在哈佛大学深造") print result_lcut print " ".join(result_lcut) print " ".join(jieba.lcut_for_search("小明硕士毕业于中国科学院计算所，后在哈佛大学深造"))

print('/'.join(jieba.cut('如果放到旧字典中将出错。', HMM=False))) #动态设置的时候一定要将HMM设定为False。因为用隐马的方式可能会忽略掉给出的专属名词的信息 

如果/放到/旧/字典/中将/出错/。

jieba.suggest_freq(('中', '将'), True) 

494

print('/'.join(jieba.cut('如果放到旧字典中将出错。', HMM=False))) 

如果/放到/旧/字典/中/将/出错/。

import jieba.analyse as analyse
lines = open('NBA.txt').read() print " ".join(analyse.extract_tags(lines, topK=20, withWeight=False, allowPOS=()))

lines = open(u'西游记.txt').read() print " ".join(analyse.extract_tags(lines, topK=20, withWeight=False, allowPOS=()))

import jieba.analyse as analyse
lines = open('NBA.txt').read() print " ".join(analyse.textrank(lines, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))) #动词和名词都要 print "---------------------我是分割线----------------" print " ".join(analyse.textrank(lines, topK=20, withWeight=False, allowPOS=('ns', 'n'))) #只要名词

lines = open(u'西游记.txt').read() #正本小说 print " ".join(analyse.textrank(lines, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')))

import jieba.posseg as pseg
words = pseg.cut("我爱自然语言处理") for word, flag in words: print('%s %s' % (word, flag))

import sys
import time
import jieba jieba.enable_parallel() content = open(u'西游记.txt',"r").read() t1 = time.time() words = "/ ".join(jieba.cut(content)) t2 = time.time() tm_cost = t2-t1 print('并行分词速度为 %s bytes/second' % (len(content)/tm_cost)) jieba.disable_parallel() content = open(u'西游记.txt',"r").read() t1 = time.time() words = "/ ".join(jieba.cut(content)) t2 = time.time() tm_cost = t2-t1 print('非并行分词速度为 %s bytes/second' % (len(content)/tm_cost)) 

并行分词速度为 830619.50933 bytes/second
非并行分词速度为 259941.448353 bytes/second

nltk主要是针对英文的，自带的不能对jieba处理后的进行处理，可以导入一些库。但是其实jieba已经可以很好的处理中文了，不需要扯上nltk

print "这是默认模式的tokenize"
result = jieba.tokenize(u'自然语言处理非常有用') for tk in result: print("%s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) print "\n-----------我是神奇的分割线------------\n" print "这是搜索模式的tokenize" result = jieba.tokenize(u'自然语言处理非常有用', mode='search') for tk in result: print("%s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])) 

这是默认模式的tokenize
自然语言         start: 0        end:4
处理       start: 4        end:6
非常       start: 6        end:8
有用       start: 8        end:10-----------我是神奇的分割线------------这是搜索模式的tokenize
自然       start: 0        end:2
语言       start: 2        end:4
自然语言         start: 0        end:4
处理       start: 4        end:6
非常       start: 6        end:8
有用       start: 8        end:10