云计算 5
李小福 2 nr
创新办 3 i
easy_install 3 eng
好用 300
韩玉赏鉴 3 nz 八一双鹿 3 nz 台中 凱特琳 nz Edu Trust认证 2000 石墨烯

 1 #encoding=utf-8
 2 from __future__ import print_function, unicode_literals
 3 import sys
 4 sys.path.append("../")
 5 import jieba
 6 jieba.load_userdict("userdict.txt")#导入用户自定义词典
 7 import jieba.posseg as pseg
 8
 9 # jieba.add_word('石墨烯')#动态添加自定义单词
10 jieba.add_word('凱特琳')
11 jieba.del_word('自定义词')
12 jieba.add_word("易风化")
13
14 test_sent = (
15 "磷酸氢二钠在空气中易风化，常温时放置于空气中失去约5个结晶水而形成七水物，加热至100℃时失去全部结晶水而成无水物\n"
16 "例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n"
17 "「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"
18 )
19 words = jieba.cut(test_sent)
20 print('/'.join(words))
21
22 print("="*40)
23
24 result = pseg.cut(test_sent)
25
26 for w in result:
27     print(w.word, "/", w.flag, ", ", end=' ')#标注词性
28
29 print("\n" + "="*40)
30
31 terms = jieba.cut('easy_install is great')
32 print('/'.join(terms))
33 terms = jieba.cut('python 的正则表达式是好用的')
34 print('/'.join(terms))
35
36 print("="*40)
37 # test frequency tune
38 testlist = [
39 ('今天天气不错', ('今天', '天气')),
40 ('如果放到post中将出错。', ('中', '将')),
41 ('我们中出了一个叛徒', ('中', '出')),
42 ]
43
44 for sent, seg in testlist:
45     print('/'.join(jieba.cut(sent, HMM=False)))
46     word = ''.join(seg)
47     print('%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True)))
48     print('/'.join(jieba.cut(sent, HMM=False)))
49     print("-"*40)

Building prefix dict from the default dictionary ...
Loading model from cache c:\users\wangyuguang\appdata\local\temp\jieba.cache
Loading model cost 0.363 seconds.
Prefix dict has been built succesfully.
磷酸氢二钠/在/空气/中/易风化/，/常温/时/放置/于/空气/中/失去/约/5/个/结晶水/而/形成/七水物/，/加热/至/100/℃/时/失去/全部/结晶水/而成/无水/物/
/例如/我/输入/一个/带/“/韩玉赏鉴/”/的/标题/，/在/自定义词/库中/也/增加/了/此/词为/N/类/
/「/台中/」/正確/應該/不會/被/切開/。/mac/上/可/分出/「/石墨烯/」/；/此時/又/可以/分出/來/凱特琳/了/。
========================================
磷酸氢二钠 / nz ,  在 / p ,  空气 / n ,  中 / f ,  易风化 / x ,  ， / x ,  常温 / n ,  时 / n ,  放置 / v ,  于 / p ,  空气 / n ,  中 / f ,  失去 / v ,  约 / d ,  5 / m ,  个 / m ,  结晶水 / n ,  而 / c ,  形成 / v ,  七 / m ,  水物 / n ,  ， / x ,  加热 / v ,  至 / p ,  100 / m ,  ℃ / x ,  时 / n ,  失去 / v ,  全部 / n ,  结晶水 / n ,  而 / c ,  成 / v ,  无水 / v ,  物 / zg ,  / x ,  例如 / v ,  我 / r ,  输入 / v ,  一个 / m ,  带 / v ,  “ / x ,  韩玉赏鉴 / nz ,  ” / x ,  的 / uj ,  标题 / n ,  ， / x ,  在 / p ,  自定义词 / n ,  库中 / nrt ,  也 / d ,  增加 / v ,  了 / ul ,  此 / r ,  词 / n ,  为 / p ,  N / eng ,  类 / q ,  / x ,  「 / x ,  台中 / s ,  」 / x ,  正確 / ad ,  應該 / v ,  不 / d ,  會 / v ,  被 / p ,  切開 / ad ,  。 / x ,  mac / eng ,  上 / f ,  可 / v ,  分出 / v ,  「 / x ,  石墨烯 / x ,  」 / x ,  ； / x ,  此時 / c ,  又 / d ,  可以 / c ,  分出 / v ,  來 / zg ,  凱特琳 / nz ,  了 / ul ,  。 / x ,
========================================
easy_install/ /is/ /great
python/ /的/正则表达式/是/好用/的
========================================
今天天气/不错
今天天气 Before: 3, After: 0
今天天气/不错
----------------------------------------
如果/放到/post/中将/出错/。
中将 Before: 763, After: 494
如果/放到/post/中/将/出错/。
----------------------------------------
我们/中/出/了/一个/叛徒
中出 Before: 3, After: 3
我们/中/出/了/一个/叛徒
----------------------------------------Process finished with exit code 0