使用IKAnalyzer进行中文分词

在不需要标注词性的情况下，IKAnalyzer这个工具能实现较好的分词效果。下载地址：https://code.google.com/p/ik-analyzer/

下载下来以后能看到有个pdf文档告诉该如何使用，不过作者貌似没有提到需要用到lucene包，这个jar包可以从这里下载：http://grepcode.com/snapshot/repo1.maven.org/maven2/org.apache.lucene/lucene-core/3.6.1

一个完整的结构如下：

其中ext.dic和chinese_stopword.dic都是自定义的，这里ext.dic用的是百度百科的词条【496万个词条】，需要在xml里面添加dic的位置。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>  <comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict">ext.dic;</entry> <!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords">stopword.dic;chinese_stopword.dic</entry> </properties>

添加好字典后，就可以写个程序来测试效果了，测试用例如下：

李天一，现名李冠丰。著名歌唱家李双江和知名歌唱家梦鸽之子。根据司法机关公布资料显示，李天一出生于1996年4月。曾就读北京海淀区中关村第三小学、人民大学附中、美国Shattuck-St. Mary's School（沙特克圣玛丽学院）冰球学校。2011年9月6日，因与人斗殴被拘留教养1年。2012年9月19日，李天一被解除教养。2013年2月22日，因涉嫌轮奸案被刑事拘留，后因可查资料显示未成年，移交少管所。3月7日，中央电视台新闻中心官方微博发布了一条消息，称李天一因涉嫌强奸罪，已被检察机关批捕。2013年9月，李双江一篇旧文证实李天一成年。

测试程序如下：

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.StringReader;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;
import org.wltea.analyzer.lucene.IKAnalyzer;public class IKAnalyzerTest {public static void main(String[] args) throws IOException {String filePath = "test.txt";String news=new String();BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(filePath), "UTF8"));String str;while ((str = in.readLine()) != null) {news+=str;}in.close();System.out.println(news);IKAnalyzer analyzer = new IKAnalyzer(true);StringReader reader = new StringReader(news);TokenStream ts = analyzer.tokenStream("", reader);CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);while(ts.incrementToken()){System.out.print(term.toString()+"|");}analyzer.close();reader.close();System.out.println();StringReader re = new StringReader(news);IKSegmenter ik = new IKSegmenter(re,true);Lexeme lex = null;while((lex=ik.next())!=null){System.out.print(lex.getLexemeText()+"|");}}
}

其中上面第一个没有调用lucene库，第二个是调用lucene库进行分词，两者区别貌似不大。

得到结果如下：

?李天一，现名李冠丰。著名歌唱家李双江和知名歌唱家梦鸽之子。根据司法机关公布资料显示，李天一出生于1996年4月。曾就读北京海淀区中关村第三小学、人民大学附中、美国Shattuck-St. Mary's School（沙特克圣玛丽学院）冰球学校。2011年9月6日，因与人斗殴被拘留教养1年。2012年9月19日，李天一被解除教养。2013年2月22日，因涉嫌轮奸案被刑事拘留，后因可查资料显示未成年，移交少管所。3月7日，中央电视台新闻中心官方微博发布了一条消息，称李天一因涉嫌强奸罪，已被检察机关批捕。2013年9月，李双江一篇旧文证实李天一成年。啊
加载扩展词典：ext.dic
加载扩展停止词典：stopword.dic
加载扩展停止词典：chinese_stopword.dic
李天一|现名|李冠|丰|著名|歌唱家|李双|江和|知名|歌唱家|梦鸽|之子|根据|司法机关|公布|资料|显示|李天一|出生于|1996年|4月|就读|北京|海淀区|中关村第三小学|人民大学|附中|美国|shattuck-st.|mary|s|school|沙|特克|圣玛丽学院|冰球|学校|2011年|9月6日|与人|斗殴|拘留|教养|1年|2012年|9月19日|李天|一被|解除|教养|2013年|2月22日|因涉嫌|轮奸案|刑事拘留|可查|资料|显示|未成年|移交|少管所|3月7日|中央电视台|新闻中心|官方|微博|发布|一条|消息|称|李天一|因涉嫌|强奸罪|已被|检察机关|批捕|2013年|9月|李双江|一篇|旧文|证实|李天一|成年|
李天一|现名|李冠|丰|著名|歌唱家|李双|江和|知名|歌唱家|梦鸽|之子|根据|司法机关|公布|资料|显示|李天一|出生于|1996年|4月|就读|北京|海淀区|中关村第三小学|人民大学|附中|美国|shattuck-st.|mary|s|school|沙|特克|圣玛丽学院|冰球|学校|2011年|9月6日|与人|斗殴|拘留|教养|1年|2012年|9月19日|李天|一被|解除|教养|2013年|2月22日|因涉嫌|轮奸案|刑事拘留|可查|资料|显示|未成年|移交|少管所|3月7日|中央电视台|新闻中心|官方|微博|发布|一条|消息|称|李天一|因涉嫌|强奸罪|已被|检察机关|批捕|2013年|9月|李双江|一篇|旧文|证实|李天一|成年|

可以看到有些词分出来不是很准确，比如上面红色标记的部分，这里采用了智能匹配，但是依然出错了，分出来的词甚至不在词表中。看来还是ANSJ分词比较靠谱。

使用IKAnalyzer进行中文分词相关推荐

Lucene和ikanalyzer（中文分词器）的简单使用增删改查（提供maven依赖）
--于2020.08.28从jar包更新为了maven依赖什么是Lucene? Lucene是apache下的一个开放源代码的全文检索引擎工具包,通过它可以实现全文检索. 什么是全文检索(Full ...
IKAnalyzer - 开源中文分词器
https://code.google.com/archive/p/ik-analyzer/ 源项目作者 linliangyi2007@gmail.com 已不再维护,个人可以fork项目进行修改,g ...
IKAnalyzer实现中文分词
1.介绍 IK Analyzer 是一个开源的,基于 java 语言开发的轻量级的中文分词工具包.从 2006年 12 月推出 1.0 版开始, IKAnalyzer 已经推出了 4 个大版本.最初, ...
spingboot + IKAnalyzer 实现中文分词
废话不多说,直接上代码. 1.pom.xml 文件 <dependency><groupId>com.janeluo</groupId><artifactId ...
IKAnalyzer进行中文分词和去停用词
最近学习主题模型pLSA.LDA,就想拿来试试中文.首先就是找文本进行切词.去停用词等预处理,这里我找了开源工具IKAnalyzer2012,下载地址:(:(注意:这里尽量下载最新版本,我这里用的IK ...
Solr之——配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/70200378 在上一篇博文<CentOS安装与配置Solr6.5>中, ...
python 分词工具训练_中文分词入门和分词工具汇总攻略
[注意]如果寻找分词和文本分析软件,为了完成内容分析和其他文本研究任务,直接使用集搜客分词和文本分析软件就可以了.本文是为了讲解集搜客分词和文本分析的实现原理,是给产品设计者和开发者看的. 最近在整理 ...
Lucene全文检索_分词_复杂搜索_中文分词器
1 Lucene简介 Lucene是apache下的一个开源的全文检索引擎工具包. 1.1 全文检索(Full-text Search) 1.1.1 定义全文检索就是先分词创建索引,再执行搜索的过 ...
ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）（转）
本文地址,需转载请注明出处: http://blog.csdn.net/hereiskxm/article/details/47441911 当我们使用中文分词器的时候,其实也希望它能够支持对于英文的 ...

使用IKAnalyzer进行中文分词

使用IKAnalyzer进行中文分词相关推荐

最新文章

热门文章