结巴分词 java_Java版结巴分词自定义词库

Java版结巴分词项目地址：https://github.com/huaban/jieba-analysis

1. 加载依赖

使用Maven构建项目

com.huabangroupId>

jieba-analysisartifactId>

1.0.2version>

dependency>

2. 加载用户自定义词典

// 词典路径为Resource/dicts/jieba.dict

val path = Paths.get(new File(getClass.getClassLoader.getResource("dicts/jieba.dict").getPath).getAbsolutePath)

WordDictionary.getInstance().loadUserDict(path)

3. 进行分词

import scala.collection.JavaConverters._

import com.huaban.analysis.jieba.{JiebaSegmenter, SegToken, WordDictionary}

import com.huaban.analysis.jieba.JiebaSegmenter.SegMode

import scala.collection.mutable

val segmenter = new JiebaSegmenter()

val line = "这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。"

val list: mutable.Buffer[SegToken] = segmenter.process(line, SegMode.SEARCH).asScala

用户自定义分词字典描述

三列数据：

词

词频

词性

分隔符：\t或空格

附分析过程如下：

1、展开源码分析，JiebaSegmenter是分词器，WordDictionary这个就是词典了。

2、分析方法，loadUserDict很明显是加载用户自定义的词典

3、public void loadUserDict(Path userDict) 需要传入字典文件对应的nio.Path

结巴分词 java_Java版结巴分词自定义词库相关推荐

Elasticsearch 之（24）IK分词器配置文件讲解以及自定义词库
1.ik配置文件 ik配置文件地址:es/plugins/ik/config目录 IKAnalyzer.cfg.xml:用来配置自定义词库 main.dic:ik原生内置的中文词库,总共有27万多条, ...
结巴分词完全禁用默认词库（仅使用自定义词库）
有时候需要使用自定义的词库,不使用默认的词库.比如做敏感词分词时, 完全禁用掉默认词库. jieba 分词里面可以这样处理,通过set_dictionary 来设置自定义词库,从而禁用掉默认词库. i ...
python使用结巴分词(jieba)创建自己的词典/词库
原文地址:https://ptorch.com/news/204.html 为什么需要在python使用结巴分词(jieba)创建自己的词典/词库,因为很多时候分词给我们的结果了能刚好相反,如:不回家 ...
Jieba分词模式详解、词库的添加与删除、自定义词库失败的处理
文章目录 1 Jieba的搜索模式 1.1 全模式 1.2 精确模式 1.3 搜索引擎模式 1.4 分词结果的形式选择 2 词库的添加与删除 2.1 添加单个词语 2.2 添加自定义词典 2.3 词库 ...
白话Elasticsearch29-IK中文分词之IK分词器配置文件+自定义词库
文章目录概述 ik配置文件 IK自定义词库自定义词库 Step1 : 新建自定义分词库 Step2 : 添加到ik的配置文件中 Step3 :重启es ,查看分词自定义停用词库 Step1 : ...
30_ElasticSearch IK分词器配置文件以及自定义词库
ElasticSearch IK分词器配置文件以及自定义词库更多干货分布式实战(干货) spring cloud 实战(干货) mybatis 实战(干货) spring boot 实战(干货) ...
ElasticSearch 中文分词器ik的安装、测试、使用、自定义词库、热更新词库
文章目录 # 实验环境 # ik分词器的下载.安装.测试 ## 安装方法一:使用elasticsearch-plugin 安装 ## 安装方法二:下载编译好的包进行安装 1.下载 2.安装 3.重启` ...
Elasticsearch配置ik中文分词器自定义词库
1.IK配置文件在config目录下: IKAnalyzer.cfg.xml:配置自定义词库 main.dic:分词器自带的词库,索引会按照里面的词创建 quantifier.dic:存放计量单位词 ...
IK分词器使用自定义词库
2019独角兽企业重金招聘Python工程师标准>>> 1.拷贝IKAnalyzer.cfg.xml到WEB-INF/classes下,拷贝IKAnalyzer2012FF_u1.j ...
我用纯C语言开发的中英文混合分词服务器3.0正式发布，词库190多万词,每秒切分5万+,同时提供 c、java、C#、delphi、js调用范例
我用纯C语言开发的中英文混合分词服务器3.0正式发布,词库190多万词,每秒切分5万+,同时提供 c.java.C#.delphi.js调用范例百万商业圈中英文混合分词服务器3.0正式发布, 绝对稳 ...

结巴分词 java_Java版结巴分词自定义词库

结巴分词 java_Java版结巴分词自定义词库相关推荐

最新文章

热门文章