python汉语分词_使用python进行汉语分词-乾颐堂
目前我常常使用的分词有结巴分词、NLPIR分词等等
最近是在使用结巴分词,稍微做一下推荐,还是蛮好用的。
一、结巴分词简介
利用结巴分词进行中文分词,基本实现原理有三:
基于Trie树结构实现高效的词图扫描,生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词,采用了基于汉字成词能力的HMM模型,使用了Viterbi算法
二、安装及使用(Linux)
1.下载工具包,解压后进入目录下,运行:python setup.py install
Hint:a.一个良好的习惯是,对于下载下来的软件,先看readme ,再进行操作。(没有阅读readme,直接尝试+百度,会走很多弯路);
b.当时运行安装命令时,出现错误:no permission! (有些人可能会遇见这种问题,这是因为权限不够的。 执行:sudo !! 其中“!!”表示上一条命令,这里指的就是上面的安装命令),使用sudo后便可正常运行。
2.在使用结巴做分词的时候,一定会用的函数是:jieba.cut(arg1,arg2);这是用于分词的函数,我们只需要了解以下三点,便可使用
a.cut方法接受两个输入参数:第一个参数(arg1)为需要进行分词的字符串,arg2参数用来控制分词模式。
分词模式分为两类:默认模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来,适合搜索引擎
b.待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
使用Python的人要注意编码问题,Python是基于ASCII码来处理字符的,当出现不属于ASCII的字符时(比如在代码中使用汉字),会出现错误信息:“ASCII codec can't encode character”,解决方案是在文件顶部加入语句: #! -*- coding:utf-8 -*- 来告诉Python的编译器:“我这个文件是用utf-8进行编码的,你要进行解码的时候,请用utf-8”。(这里记住,这个命令一定要加在文件的最顶部,如果不在最顶部,编码问题就依然存在,得不到解决)关于编码的转换,可以参考博文(ps:个人理解“import sys reload(sys) sys.setdefaultencoding('utf-8')”这几句话与“#! -*- coding:utf-8 -*- ”等价)
c.jieba.cut返回的结构是一个可迭代的generator,可以使用for循环来获得分词后得到的每一个词语(unicode),也可以用list(jieba.cut(...))转化为list
3.以下举例jieba中提供的一个使用方法作为说明:
输出结果为:
三、结巴中文分词的其他功能
1、添加或管理自定义词典
结巴的所有字典内容存放在dict.txt,你可以不断的完善dict.txt中的内容。
2、关键词抽取
通过计算分词后的关键词的TF/IDF权重,来抽取重点关键词。
http://www.qytang.com/
http://www.qytang.com/cn/list/29/
http://www.qytang.com/cn/list/28/404.htm
http://www.qytang.com/cn/list/28/397.htm
http://www.qytang.com/cn/list/28/396.htm
http://www.qytang.com/cn/list/28/395.htm
http://www.qytang.com/cn/list/28/394.htm
http://www.qytang.com/cn/list/28/393.htm
http://www.qytang.com/cn/list/28/391.htm
http://www.qytang.com/cn/list/28/389.htm
http://www.qytang.com/cn/list/28/388.htm
http://www.qytang.com/cn/list/28/362.htm
http://www.qytang.com/cn/list/28/358.htm
http://www.qytang.com/cn/list/28/351.htm
http://www.qytang.com/cn/list/28/348.htm
http://www.qytang.com/cn/list/28/340.htm
http://www.qytang.com/cn/list/28/338.htm
http://www.qytang.com/cn/list/28/336.htm
http://www.qytang.com/cn/list/28/330.htm
python汉语分词_使用python进行汉语分词-乾颐堂相关推荐
- python 时间序列预测_使用Python进行动手时间序列预测
python 时间序列预测 Time series analysis is the endeavor of extracting meaningful summary and statistical ...
- python 概率分布模型_使用python的概率模型进行公司估值
python 概率分布模型 Note from Towards Data Science's editors: While we allow independent authors to publis ...
- Python 执行js的2种解决方案-乾颐堂
Python 执行js的2种解决方案-乾颐堂 参考文章: (1)Python 执行js的2种解决方案-乾颐堂 (2)https://www.cnblogs.com/qytang/p/5580922.h ...
- python机器学习预测_使用Python和机器学习预测未来的股市趋势
python机器学习预测 Note from Towards Data Science's editors: While we allow independent authors to publish ...
- python char 相等_用 Python 实现 Excel文本函数
用 Python 实现 Excel文本函数 Excel 是非常强大的电子表格软件,大家日常经常用 Excel 处理成绩.师生名单.分析数据等,对 Excel 的函数比较了解,通过用 Python 实现 ...
- python集群_使用Python集群文档
python集群 Natural Language Processing has made huge advancements in the last years. Currently, variou ...
- python 网页编程_通过Python编程检索网页
python 网页编程 The internet and the World Wide Web (WWW), is probably the most prominent source of info ...
- python高斯求和_利用Python进行数据分析(3)- 列表、元组、字典、集合
本文主要是对Python的数据结构进行了一个总结,常见的数据结构包含:列表list.元组tuple.字典dict和集合set. image 索引 左边0开始,右边-1开始 通过index()函数查看索 ...
- python宣传海报_用Python做一个令人发疯的海报
Python可以做海报? Python真的可以做海报吗? Python做海报,你确定不是在逗我? 重要的问题问了三遍,答案是真的可以! 今天我们就来用Python的一个比较好玩的模块来进行创作---- ...
- python 免费空间_用python做大数据
不学Python迟早会被淘汰?Python真有这么好的前景? 最近几年Python编程语言在国内引起不小的轰动,有超越Java之势,本来在美国这个编程语言就是最火的,应用的非常非常的广泛,而Pytho ...
最新文章
- 一个form表单,多个提交按钮(实现不同功能和地址的提交)
- ios首次加载web_ios加载webview显示进度条OC版
- JAVA技术周刊第一期:关于JVM你了解多少?看这篇文章就够了!
- 一元多项式 java_java实现一元多项式加法
- CentOS下安装SecureCRT的sz/rz工具包
- python多级字典,如何在python中提取多级字典键/值
- linux常用命令练习:wc、cut、|、tee、tail
- 使用Maven下载jar包
- 如何布局电子商务网站
- 合肥工业大学宣城校区计算机大赛,合肥工业大学宣城校区学子在2019年全国大学生电子设计竞赛中喜获佳绩...
- java list remove 无效_JAVA List使用Remove时的一些问题
- 安装caffe时候找不到boost怎么办?(boost的引用问题make can‘t find Boost‘s include files)
- 不改动当前账户密码的情况下,启用其他账户登录windows系统
- python分析pcap文件_Python读取pcap文件
- android安装svn,Android StudioSVN安装和使用
- Vue开发工具dev-tools的安装与使用
- 企业python面试题
- 微信小程序云开发之实时监听数据库某集合数据条数
- 新年新气象,2021来了,用Python换一张头像迎新年吧!
- 微信公告号 图灵机器人实现智能回复