IKAnalyzer 添加扩展词库和自定义词

原文链接http://blog.csdn.net/whzhaochao/article/details/50130605

IKanalyzer分词器

IK分词器源码位置 http://git.oschina.net/wltea/IK-Analyzer-2012FF

IKanalyzer源码基本配置

如图所示是IKanlyzer加载默认配置的路径

项目中配置扩展词库

如图所示，当我们导入Ikanlyzer jar包后，使用扩展词库只需要在项目的src根目录下建立IKAnalyzer.cfg.xml文件，文件中配置扩展词库和停用词库的路径，具体配置如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict">com/zhaochao/ikconf/ext.dic;com/zhaochao/ikconf/mine.dic;</entry><!--用户可以在这里配置自己的扩展停止词字典 --><entry key="ext_stopwords">/com/zhaochao/ikconf/stopword.dic</entry>
</properties>

测试结果

当我们不添加任何自定义词时分词结果如下图所示：

java|是|一个|好|语言|从到|2015年|12月|1日|它|已经有|20|年的历史|了|

当我们添加如下自定义词时

分词结果为：

java|是|一个好语言|从到|2015年12月1日|它|已经有|20年的历史了|

测试代码：

    public static void main(String[] args) throws IOException {String s = "JAVA是一个好语言，从到2015年12月1日它已经有20年的历史了";queryWords(s);}public static void queryWords(String query) throws IOException {Configuration cfg = DefaultConfig.getInstance();System.out.println(cfg.getMainDictionary()); // 系统默认词库System.out.println(cfg.getQuantifierDicionary());List<String> list = new ArrayList<String>();StringReader input = new StringReader(query.trim());IKSegmenter ikSeg = new IKSegmenter(input, true);   // true 用智能分词 ，false细粒度for (Lexeme lexeme = ikSeg.next(); lexeme != null; lexeme = ikSeg.next()) {System.out.print(lexeme.getLexemeText()+"|");}}

IKAnalyzer 添加扩展词库和自定义词相关推荐

android输入法可以删掉吗,搜狗输入法功能科普二：如何添加或删除词库里的词(安卓篇)...
原标题:搜狗输入法功能科普二:如何添加或删除词库里的词(安卓篇) 小伙伴们大家好,我们又见面了今天给大家分享下如何来使用输入法的各种词库.目前搜狗输入法是有很多词库的呢,比如系统词库.个人词库.细胞词 ...
折腾词库，一个词库互转程序
我在之前写过一个小程序,用于实现QQ拼音.搜狗拼音.谷歌拼音和百度手机拼音输入法词库的互转,文章地址是:http://www.cnblogs.com/studyzy/archive/2009/12/3 ...
关键词词库制作-搜索词分析工具
关键词词库制作关键词词库是一种帮助SEO和SEM优化的工具,它可以帮助您确定关键词的流行程度.竞争程度.搜索意图和其他相关信息等等.以下是一些关键词词库制作的方法: 收集关键词:首先需要收集相关的关 ...
（五）使用IK分词器、扩展ik词库和停词库
使用IK分词器集成ik分词器 https://mp.csdn.net/postedit/93602713 实体类PosEntity /** 省略了getter.setter*/ class Pos ...
python词云库wordcloud自定义词云制作步骤详解
读书使人充实,讨论使人机智,笔记使人准确-.凡有所学,皆成性格. ---- (英国)培根文章目录 wordcloud库常规方法第三方库读取文件自定义绘制指定形状的词云 wordcloud库常规 ...
敏感词库 php,敏感词过滤的php类库
简介: class Logic_BlackWord { const APP_FORUM = 1; const APP_BLOG = 2; const APP_VOTE = 3; public fu ...
coreseek 词库导入搜狗词库
2019独角兽企业重金招聘Python工程师标准>>> 先到搜狗官方找你需要的词库.下载然后用深蓝词库转换.exe 此软件转换成txt文件才能开导咯ini_set('max_ex ...
PHP高性能输出UNICODE正则汉字列表汉字转拼音多音字解决方案搜索引擎分词细胞词库更新搜狗词库提取TXT...
为什么80%的码农都做不了架构师?>>> 目前现状汉字转拼音难度大就大在多音字!行业上较准确的是基于词语.成语的识别.搜狗有1万多词库每个词库又很大: 比如: 了我们 ...
win10,win11微软输入法如何导入搜狗词库的方法-词库转换
很多人使用PC输入法越来越喜欢简洁好用的,搜狗.百度这种输入法的臃肿和广告弹窗越来越让我们感到烦闷,于是很多人开始选择使用Windows系统自带的微软拼音输入法. 微软拼音输入法其实在日常使用中已经足 ...