jieba分词自定义词库无效果

首先我自定义了一个词库，内容为：

乾清宫 5
太和殿 3
黄琉璃瓦 3
午门 1
我是一个 5
凯的试接 1

我的分词内容为

故宫的著名景点包括乾清宫、太和殿和黄琉璃瓦等我是一个好孩子我是一个好孩子我是一个好孩子
故宫的著名景点包括乾清宫、太和殿和黄琉璃瓦等凯的试接
故宫的著名景点包括乾清宫、太和殿和黄琉璃瓦等故宫的著名景点包括乾清宫、太和殿和黄琉璃瓦等
故宫的著名景点包括乾清宫、太和殿和黄琉璃瓦等

分词后的效果：

故宫 的 著名景点 包括 乾清宫 、 太和殿 和 黄琉璃瓦 等 我 是 一个 好孩子 我 是 一个 好孩子 我 是 一个 好孩子 故宫 的 著名景点 包括 乾清宫 、 太和殿 和 黄琉璃瓦 等 凯的试接   故宫 的 著名景点 包括 乾清宫 、 太和殿 和 黄琉璃瓦 等 故宫 的 著名景点 包括 乾清宫 、 太和殿 和 黄琉璃瓦 等 故宫 的 著名景点 包括 乾清宫 、 太和殿 和 黄琉璃瓦 等

对于我是一个5 这个不想被分开的词，分词后还是被分开了，后来看了jieba自己的分词词典dict.txt，发现在词典中有三个词：我，是，一个。所以自己定义的我是一个这个词就没有效果了。

添加的凯的试接因为dict.txt中没有这个词，就正常执行了。

如果还想按照自己自定义的词典分词，需要把dict.txt中相应的词删掉。

jieba分词自定义词库无效果相关推荐

ElasticSearch 中文分词器ik的安装、测试、使用、自定义词库、热更新词库
文章目录 # 实验环境 # ik分词器的下载.安装.测试 ## 安装方法一:使用elasticsearch-plugin 安装 ## 安装方法二:下载编译好的包进行安装 1.下载 2.安装 3.重启` ...
ik分词和jieba分词哪个好_Python 中文文本分析实战：jieba分词+自定义词典补充+停用词词库补充+词频统计...
最近项目需要,实现文本的词频分析,折腾了几天才完成任务,有点成就感,最后整理总结一下这部分的内容,希望更多同僚受益. 一.使用前准备环境:Python3.6 安装结巴:pip install ji ...
Jieba分词模式详解、词库的添加与删除、自定义词库失败的处理
文章目录 1 Jieba的搜索模式 1.1 全模式 1.2 精确模式 1.3 搜索引擎模式 1.4 分词结果的形式选择 2 词库的添加与删除 2.1 添加单个词语 2.2 添加自定义词典 2.3 词库 ...
白话Elasticsearch29-IK中文分词之IK分词器配置文件+自定义词库
文章目录概述 ik配置文件 IK自定义词库自定义词库 Step1 : 新建自定义分词库 Step2 : 添加到ik的配置文件中 Step3 :重启es ,查看分词自定义停用词库 Step1 : ...
30_ElasticSearch IK分词器配置文件以及自定义词库
ElasticSearch IK分词器配置文件以及自定义词库更多干货分布式实战(干货) spring cloud 实战(干货) mybatis 实战(干货) spring boot 实战(干货) ...
使用Docker快速安装部署ES和Kibana并配置IK中文分词器以及自定义分词拓展词库
使用Docker快速安装部署ES和Kibana的前提:首先需要确保已经安装了Docker环境如果没有安装Docker的话,可以参考上一篇的内容:Linux上安装Docker 有了Docker环境后, ...
结巴分词完全禁用默认词库（仅使用自定义词库）
有时候需要使用自定义的词库,不使用默认的词库.比如做敏感词分词时, 完全禁用掉默认词库. jieba 分词里面可以这样处理,通过set_dictionary 来设置自定义词库,从而禁用掉默认词库. i ...
IK分词器使用自定义词库
2019独角兽企业重金招聘Python工程师标准>>> 1.拷贝IKAnalyzer.cfg.xml到WEB-INF/classes下,拷贝IKAnalyzer2012FF_u1.j ...
Elasticsearch 之（24）IK分词器配置文件讲解以及自定义词库
1.ik配置文件 ik配置文件地址:es/plugins/ik/config目录 IKAnalyzer.cfg.xml:用来配置自定义词库 main.dic:ik原生内置的中文词库,总共有27万多条, ...

jieba分词自定义词库无效果

jieba分词自定义词库无效果相关推荐

最新文章

热门文章