跟益达学Solr5之使用Ansj分词器
摘要: OK,直接开门见山,不绕弯子啦!基于上篇博客,我们知道了在Solr中配置分词器有两种方式,一种是直接配置分词器类,比如: Xml代码 <fieldType name="text_ik" class="solr.
OK,直接开门见山,不绕弯子啦!基于上篇博客,我们知道了在Solr中配置分词器有两种方式,一种是直接配置分词器类,比如:
- <fieldType name="text_ik" class="solr.TextField">
- <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer" />
- </fieldType>
一种是配置TokenizerFactory类,由于Solr API中并没有内置类似IK,Ansj这样的中文分词器的TokenizerFactory类,所以我们需要自己扩展,不过你们不用担心,我已经扩展好了。配置样例如下:
- <fieldType name="text_ik" class="solr.TextField">
- <analyzer type="index">
- <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="true"/>
- </analyzer>
- <analyzer type="query">
- <tokenizer class="org.apache.lucene.analysis.ik.IKTokenizerFactory" useSmart="false"/>
- </analyzer>
- </fieldType>
我扩展的AnsjTokenizerFactory源码如下:
- public class AnsjTokenizerFactory extends TokenizerFactory {
- /**是否查询分词*/
- private boolean query;
- /**是否分析词干.进行单复数,时态的转换(只针对英文单词)*/
- private boolean pstemming;
- /**自定义停用词词典文件路径*/
- private String stopwordsDir;
- public AnsjTokenizerFactory(Map<String, String> args) {
- super(args);
- query = getBoolean(args, "query", false);
- pstemming = getBoolean(args, "pstemming", false);
- stopwordsDir = get(args, "stopwordsDir", "");
- }
- @Override
- public Tokenizer create(AttributeFactory factory) {
- if(query) {
- return new AnsjTokenizer(factory,new ToAnalysis(new Forest[0]),stopwordsDir,pstemming);
- }
- return new AnsjTokenizer(factory,new IndexAnalysis(new Forest[0]),stopwordsDir,pstemming);
- }
- }
下面介绍如何在Solr中使用Ansj分词器,首先你需要在Solr_home的core\lib目录下添加依赖的jar:
ansj_seg-2.0.8.jar(戳我试试(*^__^*) 嘻嘻)
solr-analyzer-ansj-5.1.0.jar(这个jar包体积较小,请在底下的附件里下载)
nlp-lang-0.2.jar(这是ansj-seg-2.0.8.jar依赖的jar包)
如图:
然后在schema.xml中添加如下配置:
至于query,pstemming,stopwordsDir这3个配置参数的含义,请看我在源码中作的注释,如图:
query参数:分词的两个阶段:建立索引阶段和查询阶段,即表示是否为查询阶段分词,针对不同的分词阶段采用的分词策略是不一样的。具体看源码,如图:
pstemming:表示是否对英文单词进行单复数转换以及时态转换,比如apples还原成apple,loved还原成love,broken还原成break,注意pstemming参数仅仅是针对英文,因为只有英文才有单复数和时态形式。
stopwordsDir参数就很好理解了,就是你的自定义停用词词典的存放路径,
上面3个参数是可选的,不是必须配置的。
TokenizerFactory配置好了,然后你就在你的Field中应用此分词器了,如图:
然后你需要把ansj的library.properties配置文件copy到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes路径,如图:
library.properties配置如下:
- #redress dic file path
- ambiguityLibrary=E:/apache-tomcat-7.0.55/webapps/solr/WEB-INF/classes/library/ambiguity.dic
- #path of userLibrary this is default library
- userLibrary=E:/apache-tomcat-7.0.55/webapps/solr/WEB-INF/classes/library
- #set real name
- isRealName=true
比较恶心的是,anasj分词器的字典文件加载路径这里只能写死成绝对路径,因为它源码里加载字典文件是直接通过new File(dicPath)这种方式来实现的。当你在eclipse中运行,你的dicPath相对路径是你的项目根目录,而如果你的项目部署到tomcat,那dicPath的相对路径就是tomcat根目录下的bin,这确实比较啃爹,所以我这里干脆直接写成绝对路径,当然你可以把字典文件放到任意目录下,比如C:\Library,不是非要放到tomcat下,这个我必须要澄清下。下图是Ansj分词器在加载字典文件时比较恶心的实现方式:
如果改成这样方式加载字典文件会比较好点,我个人觉得:
this.getClass().getClassLoader().getResourceAsStream(dicPath);
这样你的字典文件路径dicPath的相对路径才是当前classPath。不过ansj里你把字典文件配置成绝对路径也可以,不一定非要相对路径,这点仁者见仁智者见智吧!骚年,你怎么看?
接着你需要在E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes目录下新建一个library目录,然后把ansj自带的两个字典文件ambiguity.dic和default.dic复制进去,然后新建一个ext.dic文件。相关的字典文件和配置文件我待会儿会上传到附件里供你们参考。其中ext.dic是用户自定义扩展字典文件,如图:
对于类似这种网络新词,ansj分词器默认是分不出来的,这时就需要定义自定义扩展字典。
你应该已经发现了,我们在配置AnsjTokenizerFactory的时候配置了stopwordsDir="stopwords/stopwords.dic"自定义停用词加载路径,这里的stopwordsDir是相对于当前classpath的即E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes,所以我们需要在E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\classes下新建stopwords文件夹,然后在stopwords文件夹下新建一个stopwords.dic字典文件,stopwords.dic内容如下:
这里我只加两个词语作为演示,你们可以根据你自己的需求随意添加你自己的停用词。需要解释下的是,之所以stopwordsDir参数是相对于当前classpath,是因为我在实现AnsjTokenizerFactory时是采用这样的方式来加载词典文件的,如图:
这一切准备好了,你就开始进行分词测试了,请如图进行测试:
上图是对自定义新词进行分词测试,么么哒和啪啪啪之所以能被分出来,是因为我们在library\ext.dic自定义词典文件中添加了那两个词语。
上图是用来测试pstemming参数即英文单词的单复数转换以及时态转换,loved是过去式,自动被转换成原型love
上图是用来测试自定义停用词的,如果你看到如图效果,说明你配置成功了!
至于anseg分词器我维护的最新源码我有空会上传到我的github上,请关注我的github
益达的GitHub地址:请猛戳我,用力,吃点劲儿!!!
跟益达学Solr5之使用Ansj分词器相关推荐
- 跟益达学Solr5之使用IK分词器
在Solr中该如何使用IK分词器呢,这是小伙伴们问的频率比较高的一个问题,今晚特此更新此篇博客.其实之前我在其他博客里已经使用了IK分词器,只是我没做详细说明. 在schema.xml配置中其实有很多 ...
- 跟益达学Solr5之使用MMSeg4J分词器
要想在Sor中使用MMSeg4J分词器,首先你需要自定义一个TokenizerFactory实现类,虽然直接配置Analyzer类也可以,但那样无法配置Analyzer构造函数的参数,不够灵活,存在弊 ...
- 跟益达学Solr5之使用Tomcat部署Solr
最近忙着面试以及生活琐事把时间都霸占了,博客拖了4天没更新了,让各位久等了,望多多包涵!不过还好,工作已经敲定了,终于可以安心的学习Solr并分享我学习的点点滴滴啦! 上回我们在Jetty下部署了,不 ...
- 跟益达学Solr5之从MySQL数据库导入数据并索引
最近有小伙伴跟我抱怨说:益达,最近博客更新的有点慢呐.其实不是我变懒了,我是不想因为数量而降低了博客的质量,我需要抱着对你们负责的态度来写每一篇博客,绝不能含糊啊,所以,还望大家多多包涵呐. 今天群里 ...
- 跟益达学Solr5之批量索引JSON数据
假定你有这样一堆JSON数据, Json代码 [ {"id":"1", "name":"Red Lobster", ...
- 跟益达学Solr5之拼音分词
应群友强烈要求,特此更新此篇博客.其实在我的Lucene5系列博客里我已经介绍了拼音分词,遗憾的是,大家不能举一反三,好吧,还是我亲自上马吧! 首先我们来看看我当初使用Lucene5是如何实现的, ...
- 跟益达学Solr5之使用Tika从PDF中提取数据导入索引(转字:http://www.tuicool.com/articles/JfUfaey)
开始此篇之前,我已经假定你已经学会了如何在Tomcat下部署Solr5啦.即启动Tomcat后你能看到Solr5的Web UI界面.OK,下面直接进入正题. 首先你需要在你的core根目录下新建一个l ...
- 跟益达学Solr5之Facet一瞥
Facet属于Solr的高级查询部分,之所以在还没有讲解普通Query之前,就开始更新Facet查询,是因为看到很多小伙伴都在为Facet而困扰,其实根本原因还是对Facet不理解.Facet英文单词 ...
- 跟益达学Solr5之使用Jetty部署Solr
开始之前,你首先需要了解Solr是什么,以下是百度百科里对Solr的解释: Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器.同时对其进行了扩展,提供了比Lucene更为丰富 ...
最新文章
- forfiles命令批量删除N天前文件
- flutter 常用网址
- python在审计中的应用-基于python的自动化代码审计
- 服务化改造实践 | 如何在 Dubbo 中支持 REST
- servlet——请求乱码问题解决
- 喜报 | 大地影院集团签约神策数据,影院 + 数据化高光时刻开启
- jboss 4.3.0_JBoss BPM Suite 6.0.3版本的5个实用技巧
- 读取mmdetection训练目标检测模型的日志文件(log.json)的各种AP值按epoch写入excel文件
- 云图说|AI开发难!难!难!端云协同多模态AI开发套件你需要了解一下
- IE下easyui 缓存问题
- Ubuntu操作系统MTK刷机工具失败解决方案
- 微信下载app,弹出出应用宝商店的解决方案
- python输入第十个斐波那契数列,0,1,1,2,3,5,8,13,21,34
- 百度手机输入法for android16,百度输入法下载
- ffmpeg多路视频拼接
- 解决Plugin ‘xxx‘ is incompatible with this installation的问题
- python-对象类型
- Kubernetes 1.22.9搭建 和 部署dashboard可视化UI
- linux安装ntp 4.2.8,Centos6 安装NTP 4.2.8 服务器
- 脂代谢及高脂血症的检查题库【1】