基于JAVA的IKAnalyzer中文分词运用

一、前提

IKAnalyzer分词器常应用于大数据开发的数据准备阶段，它能对任意长的文字进行关键字提取、文字重组、数据清洗等二次处理，并将处理好的关键数据通过某种分割符重新拼接起来，形成一个可用于进行机器学习的数据集。

二、准备阶段

使用eclipse创建一个Maven工程，通过配置pom.xml文件来导入IKAnalyzer的jar包，我这用导入的是ikanalyzer-2012_u6.jar，然后在src目录下分别创建IKAnalyzer.cfg.xml、extend.dic、stopword.dic这三个文件，然后再去百度新闻中截取一段新闻内容进行处理。

新闻内容:

多次说幸福都是奋斗出来的，奋斗本身就是一种幸福。辛勤奋斗的人生是精彩的，也值得点赞。2019年1月16日，在河北雄安新区规划展示中心，通过大屏幕连线京雄城际铁路雄安站建设工地现场。他对现场施工人员说：“现在是数九寒冬、天寒地冻，但我们的铁路建设者仍然辛勤劳动着。在此，我代表党中央，向你们并通过你们向全国所有的铁路建设者、劳动者们致以亲切的问候和良好的祝愿！”他勉励大家说，你们正在为雄安新区建设这个“千年大计”做着开路先锋的工作，功不可没。

配置IKAnalyzer.cfg.xml:

extend.dic：扩展词典，是为了让需要切分的语句里面的词根据扩展词典里的词进行比较，对此进行拼接，不切分。

设置extend.dic：

stopword.dic:停止词典，将语句与停用词典进行比较，直接将无用词进行删除

设置stopword.dic:

三、代码

创建一个ik.java文件，代码如下:

四、运行结果

(1)未加载extend.dic和stopword.dic的情况：

多次说幸福都是奋斗出来的奋斗本身就是一种幸福辛勤奋斗的人生是精彩的也值得点赞 2019年 1月 16日在河北雄安新区规划展示中心通过大屏幕连线京雄城际铁路雄安站建设工地现场他对现场施工人员说现在是数九寒冬天寒地冻但我们的铁路建设者仍然辛勤劳动着在此我代表党中央向你们并通过你们向全国所有的铁路建设者劳动者们致以亲切的问候和良好的祝愿他勉励大家说你们正在为雄安新区建设这个千年大计做着开路先锋的工作功不可没

(2) 加载extend.dic和stopword.dic的情况

多次说幸福都是出来本身就是幸福辛勤人生是精彩的也值得点赞 2019年1月16日在河北雄安新区展示中心通过大屏幕连线京雄城际铁路雄安站建设工地他对施工人员说现在是数九寒冬天寒地冻但我们铁路建设者仍然辛勤劳动着在此我代表党中央向你们并通过你们向全国所有铁路建设者劳动者们致以亲切问候和良好祝愿他勉励大家说你们正在为雄安新区建设这个千年大计做着开路先锋工作功不可没

五、注意事项

修改extend.dic和stopword.dic文件最好使用Notepad++工具，文字编码格式为UTF-8编码

转载于:https://www.cnblogs.com/zjkf8686/p/10351093.html

基于JAVA的IKAnalyzer中文分词运用相关推荐

基于Java、JSP中文分词的搜索引擎的设计与实现
技术:Java.JSP等摘要: 网络中的资源非常丰富,但是如何有效的搜索信息却是一件困难的事情.建立搜索引擎就是解决这个问题的最好方法.本文首先详细介绍了基于英特网的搜索引擎的系统结构,然后从网络机 ...
基于Java实现的中文分词系统
资源下载地址:https://download.csdn.net/download/sheziqiong/85941192 资源下载地址:https://download.csdn.net/downl ...
Java实现敏感词过滤 - IKAnalyzer中文分词工具
IKAnalyzer 是一个开源的,基于java语言开发的轻量级的中文分词工具包. 官网: https://code.google.com/archive/p/ik-analyzer/ 本用例借助 I ...
基于垃圾短信与垃圾邮件的检测以及iphone中siri所使用的IKAnalyzer中文分词技术
刚开始接触安卓开发,导师就让做了一个基于安卓的垃圾短信检测软件,其中中文分词让我搞了一天,我所使用的是IKAnalyzer中文分词技术,这个包已经很是成熟.因为新手在使用中可能会出现导入的工程包错误而 ...
IKAnalyzer中文分词分析内容目录
IKAnalyzer中文分词的学习: Java开源分词系统IKAnalyzer学习(一) 大致简介 Java开源分词系统IKAnalyzer学习(二) 架构 Java开源分词系统IKAnalyzer学 ...
IKAnalyzer 中文分词器
IK Analyzer 2012 介绍 IK Analyzer 是一个开源的,基亍 java 语言开发的轻量级的中文分词工具包.从 2006 年 12 月推出 1.0 版开始, IKAnalyzer ...
【IKAnalyzer】IKAnalyzer中文分词器的使用
IKAnalyzer中文分词器的使用 IK-Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包,也就是可以将一串中文字符分割成一个个的词组或者字词安装修改pom文件 < ...
Solr的学习使用之（三）IKAnalyzer中文分词器的配置
1.为什么要配置? 1.我们知道要使用Solr进行搜索,肯定要对词语进行分词,但是由于Solr的analysis包并没有带支持中文的包或者对中文的分词效果不好,需要自己添加中文分词器:目前呼声较高的是 ...
solr集成IKAnalyzer中文分词器
如果想要知道如何安装solr,集成IKAnalyzer中文分词器,批量导入数据库数据,java使用参照以下本博主博文: 安装solr https://blog.csdn.net/u013294097/ ...

基于JAVA的IKAnalyzer中文分词运用

基于JAVA的IKAnalyzer中文分词运用相关推荐

最新文章

热门文章