pkuseg:一个多领域中文分词工具包
pkuseg简单易用,支持细分领域分词,有效提升了分词准确度。
目录
- 主要亮点
- 编译和安装
- 各类分词工具包的性能对比
- 使用方式
- 相关论文
- 作者
- 常见问题及解答
主要亮点
pkuseg具有如下几个特点:
- 多领域分词。不同于以往的通用中文分词工具,此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点,用户可以自由地选择不同的模型。 我们目前支持了新闻领域,网络领域,医药领域,旅游领域,以及混合领域的分词预训练模型。在使用中,如果用户明确待分词的领域,可加载对应的模型进行分词。如果用户无法确定具体领域,推荐使用在混合领域上训练的通用模型。各领域分词样例可参考 example.txt。
- 更高的分词准确率。相比于其他的分词工具包,当使用相同的训练数据和测试数据,pkuseg可以取得更高的分词准确率。
- 支持用户自训练模型。支持用户使用全新的标注数据进行训练。
- 支持词性标注。
编译和安装
- 目前仅支持python3
- 新版本发布:2019-1-23
- 修改了词典处理方法,扩充了词典,分词效果有提升
- 效率进行了优化,测试速度较之前版本提升9倍左右
- 增加了在大规模混合数据集训练的通用模型,并将其设为默认使用模型
- 新版本发布:2019-1-30
- 支持fine-tune训练(从预加载的模型继续训练),支持设定训练轮数
- 新版本发布:2019-2-20
- 支持词性标注,增加了医疗、旅游细领域模型
- 为了获得好的效果和速度,强烈建议大家通过pip install更新到目前的最新版本
通过PyPI安装(自带模型文件):
- pip3 install pkuseg
- 之后通过import pkuseg来引用
建议更新到最新版本以获得更好的开箱体验:
pip3 install -U pkuseg
如果PyPI官方源下载速度不理想,建议使用镜像源,比如:
初次安装:pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pkuseg
更新:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -U pkuseg
注意:安装方式一和二目前仅支持linux,mac,windows 64 位的python3.5,python 3.6,python 3.7版本。
如果不使用pip安装方式,选择从GitHub下载,可运行以下命令安装:
python setup.py build_ext -i
GitHub的代码并不包括预训练模型,因此需要用户自行下载或训练模型,预训练模型可详见release。使用时需设定"model_name"为模型文件。
各类分词工具包的性能对比
我们选择jieba、THULAC等国内代表分词工具包与pkuseg做性能比较。
考虑到jieba分词和THULAC工具包等并没有提供细领域的预训练模型,为了便于比较,我们重新使用它们提供的训练接口在细领域的数据集上进行训练,用训练得到的模型进行中文分词。
我们选择Linux作为测试环境,在新闻数据(MSRA)、混合型文本(CTB8)、网络文本(WEIBO)数据上对不同工具包进行了准确率测试。我们使用了第二届国际汉语分词评测比赛提供的分词评价脚本。其中MSRA与WEIBO使用标准训练集测试集划分,CTB8采用随机划分。对于不同的分词工具包,训练测试数据的划分都是一致的;即所有的分词工具包都在相同的训练集上训练,在相同的测试集上测试。对于所有数据集,pkuseg使用了不使用词典的训练和测试接口。以下是pkuseg训练和测试代码示例:
- pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models')
- pkuseg.test('msr_test.raw', 'output.txt', user_dict=None)
细领域训练及测试结果
以下是在不同数据集上的对比结果:
MSRA | Precision | Recall | F-score |
---|---|---|---|
jieba | 87.01 | 89.88 | 88.42 |
THULAC | 95.60 | 95.91 | 95.71 |
pkuseg | 96.94 | 96.81 | 96.88 |
Precision | Recall | F-score | |
---|---|---|---|
jieba | 87.79 | 87.54 | 87.66 |
THULAC | 93.40 | 92.40 | 92.87 |
pkuseg | 93.78 | 94.65 | 94.21 |
默认模型在不同领域的测试效果
考虑到很多用户在尝试分词工具的时候,大多数时候会使用工具包自带模型测试。为了直接对比“初始”性能,我们也比较了各个工具包的默认模型在不同领域的测试效果。请注意,这样的比较只是为了说明默认情况下的效果,并不一定是公平的。
Default | MSRA | CTB8 | PKU | All Average | |
---|---|---|---|---|---|
jieba | 81.45 | 79.58 | 81.83 | 83.56 | 81.61 |
THULAC | 85.55 | 87.84 | 92.29 | 86.65 | 88.08 |
pkuseg | 87.29 | 91.77 | 92.68 | 93.43 | 91.29 |
其中,All Average
显示的是在所有测试集上F-score的平均。
更多详细比较可参见和现有工具包的比较。
使用方式
代码示例
以下代码示例适用于python交互式环境。
代码示例1:使用默认配置进行分词(如果用户无法确定分词领域,推荐使用默认模型分词)
- import pkuseg
- seg = pkuseg.pkuseg() # 以默认配置加载模型
- text = seg.cut('我爱北京天安门') # 进行分词
- print(text)
代码示例2:细领域分词(如果用户明确分词领域,推荐使用细领域模型分词)
- import pkuseg
- seg = pkuseg.pkuseg(model_name='medicine') # 程序会自动下载所对应的细领域模型
- text = seg.cut('我爱北京天安门') # 进行分词
- print(text)
代码示例3:分词同时进行词性标注,各词性标签的详细含义可参考 tags.txt
- import pkuseg
- seg = pkuseg.pkuseg(postag=True) # 开启词性标注功能
- text = seg.cut('我爱北京天安门') # 进行分词和词性标注
- print(text)
代码示例4:对文件分词
- import pkuseg
- # 对input.txt的文件分词输出到output.txt中
- # 开20个进程
- pkuseg.test('input.txt', 'output.txt', nthread=20)
代码示例5:额外使用用户自定义词典
- import pkuseg
- seg = pkuseg.pkuseg(user_dict='my_dict.txt') # 给定用户词典为当前目录下的"my_dict.txt"
- text = seg.cut('我爱北京天安门') # 进行分词
- print(text)
代码示例6:使用自训练模型分词(以CTB8模型为例)
- import pkuseg
- seg = pkuseg.pkuseg(model_name='./ctb8') # 假设用户已经下载好了ctb8的模型并放在了'./ctb8'目录下,通过设置model_name加载该模型
- text = seg.cut('我爱北京天安门') # 进行分词
- print(text)
代码示例7:训练新模型 (模型随机初始化)
- import pkuseg
- # 训练文件为'msr_training.utf8'
- # 测试文件为'msr_test_gold.utf8'
- # 训练好的模型存到'./models'目录下
- # 训练模式下会保存最后一轮模型作为最终模型
- # 目前仅支持utf-8编码,训练集和测试集要求所有单词以单个或多个空格分开
- pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models')
代码示例8:fine-tune训练(从预加载的模型继续训练)
- import pkuseg
- # 训练文件为'train.txt'
- # 测试文件为'test.txt'
- # 加载'./pretrained'目录下的模型,训练好的模型保存在'./models',训练10轮
- pkuseg.train('train.txt', 'test.txt', './models', train_iter=10, init_model='./pretrained')
参数说明
模型配置
- pkuseg.pkuseg(model_name = "default", user_dict = "default", postag = False)
- model_name 模型路径。
- "default",默认参数,表示使用我们预训练好的混合领域模型(仅对pip下载的用户)。
- "news", 使用新闻领域模型。
- "web", 使用网络领域模型。
- "medicine", 使用医药领域模型。
- "tourism", 使用旅游领域模型。
- model_path, 从用户指定路径加载模型。
- user_dict 设置用户词典。
- "default", 默认参数,使用我们提供的词典。
- None, 不使用词典。
- dict_path, 在使用默认词典的同时会额外使用用户自定义词典,可以填自己的用户词典的路径,词典格式为一行一个词。
- postag 是否进行词性分析。
- False, 默认参数,只进行分词,不进行词性标注。
- True, 会在分词的同时进行词性标注。
对文件进行分词
- pkuseg.test(readFile, outputFile, model_name = "default", user_dict = "default", postag = False, nthread = 10)
- readFile 输入文件路径。
- outputFile 输出文件路径。
- model_name 模型路径。同pkuseg.pkuseg
- user_dict 设置用户词典。同pkuseg.pkuseg
- postag 设置是否开启词性分析功能。同pkuseg.pkuseg
- nthread 测试时开的进程数。
模型训练
- pkuseg.train(trainFile, testFile, savedir, train_iter = 20, init_model = None)
- trainFile 训练文件路径。
- testFile 测试文件路径。
- savedir 训练模型的保存路径。
- train_iter 训练轮数。
- init_model 初始化模型,默认为None表示使用默认初始化,用户可以填自己想要初始化的模型的路径如init_model='./models/'。
多进程分词
当将以上代码示例置于文件中运行时,如涉及多进程功能,请务必使用if __name__ == '__main__'
保护全局语句,如:
mp.py文件
- import pkuseg
- if __name__ == '__main__':
- pkuseg.test('input.txt', 'output.txt', nthread=20)
- pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20)
运行
python3 mp.py
详见无法使用多进程分词和训练功能,提示RuntimeError和BrokenPipeError。
在Windows平台上,请当文件足够大时再使用多进程分词功能,详见关于多进程速度问题。
预训练模型
从pip安装的用户在使用细领域分词功能时,只需要设置model_name字段为对应的领域即可,会自动下载对应的细领域模型。
从github下载的用户则需要自己下载对应的预训练模型,并设置model_name字段为预训练模型路径。预训练模型可以在release部分下载。以下是对预训练模型的说明:
news: 在MSRA(新闻语料)上训练的模型。
web: 在微博(网络文本语料)上训练的模型。
medicine: 在医药领域上训练的模型。
tourism: 在旅游领域上训练的模型。
mixed: 混合数据集训练的通用模型。随pip包附带的是此模型。
欢迎更多用户可以分享自己训练好的细分领域模型。
版本历史
- v0.0.11(2019-01-09)
- 修订默认配置:CTB8作为默认模型,不使用词典
- v0.0.14(2019-01-23)
- 修改了词典处理方法,扩充了词典,分词效果有提升
- 效率进行了优化,测试速度较之前版本提升9倍左右
- 增加了在大规模混合数据集训练的通用模型,并将其设为默认使用模型
- v0.0.15(2019-01-30)
- 支持fine-tune训练(从预加载的模型继续训练),支持设定训练轮数
- v0.0.18(2019-02-20)
- 支持词性标注,增加了医疗、旅游两个细领域模型
开源协议
- 本代码采用MIT许可证。
- 欢迎对该工具包提出任何宝贵意见和建议,请发邮件至jingjingxu@pku.edu.cn。
相关论文
该代码包主要基于以下科研论文,如使用了本工具,请引用以下论文:
- Xu Sun, Houfeng Wang, Wenjie Li. Fast Online Training with Frequency-Adaptive Learning Rates for Chinese Word Segmentation and New Word Detection. ACL. 253–262. 2012
传送门
PKUSeg的作者有三位,Ruixuan Luo (罗睿轩),Jingjing Xu (许晶晶) ,以及Xu Sun (孙栩) 。
工具包的诞生,也是基于其中两位参与的ACL论文。
准确率又那么高,还不去试试?
GitHub传送门:
https://github.com/lancopku/PKUSeg-python
论文传送门:
http://www.aclweb.org/anthology/P12-1027
http://aclweb.org/anthology/P16-2092
转载于:https://www.cnblogs.com/zhangyafei/p/10520960.html
pkuseg:一个多领域中文分词工具包相关推荐
- 【NLP】pkuseg:一个多领域中文分词工具包
- 准确率创新高,北大开源中文分词工具包 pkuseg
北京大学近日开源了一个全新的中文分词工具包 pkuseg ,相比于现有的同类开源工具,pkuseg 大幅提高了分词的准确率. pkuseg 由北大语言计算与机器学习研究组研制推出,具备如下特性: 高分 ...
- 北大开源了 Python 中文分词工具包,准确度远超 Jieba
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 转载自量子位 "土地,快告诉俺老孙,俺的金箍棒在哪?" &qu ...
- 北大开源了中文分词工具包,准确度远超Jieba,提供三个预训练模型
车栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI "土地,快告诉俺老孙,俺的金箍棒在哪?" "大圣,您的金箍,棒就棒在特别适合您的发型." 中文分词 ...
- THULAC:一个高效的中文词法分析工具包
THULAC:一个高效的中文词法分析工具包 目录 软件简介 在线演示 编译和安装 使用方式 与代表性分词软件的性能对比 词性标记集 THULAC的不同配置 获取链接 注意事项 历史 开源协议 相关论文 ...
- Jcseg是基于mmseg算法的一个轻量级Java中文分词器
Jcseg是基于mmseg算法的一个轻量级中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同 ...
- THULAC:一个高效的中文词法分析工具包 清华孙茂松老师分享
n/名词 np/人名 ns/地名 ni/机构名 nz/其它专名 m/数词 q/量词 mq/数量词 t/时间词 f/方位词 s/处所词 v/动词 vm/能愿动词 vd/趋向动词 a/形容词 d/副词 h ...
- 北大分词工具包 -- pkuseg
美图欣赏: 一.pkuseg介绍 一个多领域中文分词工具包 其简单易用,支持细分领域分词,有效提升了分词准确度. pkuseg具有如下几个特点: 多领域分词.不同于以往的通用中文分词工具,此工具包同时 ...
- 《自然语言处理实战入门》 ---- 第4课 :中文分词原理及相关组件简介 之 汉语分词领域主要分词算法、组件、服务(上)...
目录 0.内容梗概 1. 基于传统统计算法的分词组件 1.1 hanlp : Han Language Processing 1.2 语言技术平台(Language Technology Platfo ...
最新文章
- MySql 查询表字段数
- JAVA秒杀mysql层实现_Java高并发秒杀API之web层
- 云计算自动化对于虚拟化环境意味着什么?
- Device Tree(二):基本概念
- EZ 2018 03 23 NOIP2018 模拟赛(五)
- linux查看磁盘挂载的三种方法
- 【NLP】文本相似度的BERT度量方法
- ABAP variable value in ST22 dump
- POJ1088 滑雪题解+HDU 1078(记忆化搜索DP)
- C# .net 中 Timeout 的处理及遇到的问题
- 前端学习(1416):ajax的运行原理
- sentinel 时间窗口_Sentinel 实战-规则持久化
- [翻译] TGLStackedViewController
- Windows 10 Build 14926发布:Insider旧版本10月15日后无法启动
- 在控制用' * '台画一个圆形图案
- Linux设备驱动程序 之 中断和锁
- 注意,你需要注意的使用盗版破解软件发论文存在的风险及规避方法
- Python字符串拼接的四种方法
- 那些让人动容的美食文案
- 超实用!Python机器学习书籍推荐——《Python神经网络编程》(一定要看到最后)