最近有小伙伴跟我抱怨说:益达,最近博客更新的有点慢呐。其实不是我变懒了,我是不想因为数量而降低了博客的质量,我需要抱着对你们负责的态度来写每一篇博客,绝不能含糊啊,所以,还望大家多多包涵呐。

今天群里一朋友问我Solr如何对数据库表里的数据进行索引,为此,今晚特地更新此篇博客,这里我以Solr当前最新版本5.1.0,数据库MySQL为例进行讲解说明。

首先我们需要准备一张测试表,如图:

 

 

 测试表创建好了之后,我们需要让表里插入几条测试数据,如图:

 然后需要把E:\solr-5.1.0\dist目录下的solr-dataimporthandler-5.1.0.jar复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:


 
 复制一个MySQL数据库驱动jar包到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下(如果你使用的Oracle数据库,那就是复制Oracle数据库驱动jar包,你懂的),如图:

 然后你需要创建solr_home根目录,以及在solr_home创建你的core目录结构,如图:

 至于如何创建,请参见我先前写的《跟益达学Solr5之使用Jetty部署Solr》,这里就不再赘述了。

默认dataImport功能在Solr5中是禁用的,需要在solrconfig.xml中添加如下配置开启数据导入功能:

Xml代码  
  1. <requestHandler name="/dataimport" class="solr.DataImportHandler">
  2. <lst name="defaults">
  3. <str name="config">data-config.xml</str>
  4. </lst>
  5. </requestHandler>

这里的data-config.xml是个相对路径,是相对于你当前core下的conf目录即C:\solr_home\core1\conf,当然你也可以直接写成绝对路径,比如:C:\solr_home\core1\conf\data-config.xml,建议写成相对路径。

从E:\solr-5.1.0\example\example-DIH\solr\solr\conf路径下复制一份 data.config.xml配置文件到solrconfig.xml配置文件的同级目录C:\solr_home\core1\conf下,如图:


 

 然后我们需要使用文本编辑软件打开data-config.xml配置文件稍作修改,如图:

 其中solrDB为数据源自定义名称,随便取,没什么约束,type这是固定值,表示JDBC数据源,后面的driver表示JDBC驱动类,这跟你使用的数据库有关,url即JDBC链接URL,后面的user,password分别表示链接数据库的账号密码,下面的entity映射有点类似hiberante的mapping映射,column即数据库表的列名称,name即schema.xml中定义的域名称

紧接着我们需要打开schema.xml配置文件对域名称、域类型、是否索引、是否存储、是否分词等信息进行配置,如图:

 注意:这里的cndate域类型是我自定义的域类型,我在下面定义的,看图:

 TrieCNDateField是我自定义的域类型,源码我稍候分享,主要是为了使日期能以我们习惯的yyyy-MM-dd HH:mm:ss这种格式来存储,而不是默认的西方人习惯的类似这样的格式:1995-12-31T23:59:59Z

 本来是想直接修改TrieDateField的源码的,但我感觉那样不够优雅,所以我新建了一个Java Project----> solr-core-extra,然后我把他打包成了jar包。

 把这个jar包复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:

 然后启动我们的Tomcat,如图:

 这里我假定你们都已经成功把Solr5部署到了Tomcat下了,如果Tomcat正常启动后,我们会看到:

 然后打开你们的浏览器,访问http://localhost:8080/solr,确保我们的Solr Web UI能正常访问,如图:

 点击左侧的Dataimport菜单,不出意外的话,你将看到如图截图:

 需要引起注意的是这里的command参数,它有两个选项,如图:

 full-import:全量导入,它会覆盖原有的索引

delta-import:即增量导入,它会在原有索引的基础上追加

下面的几个多选框含义解释如下:

verbose:这个选项设为true的话,会打印导入的一些中间过程的详细信息,有利于调试以及了解内部操作细节

clean:表示是否在导入数据创建索引之前先清空掉原有的索引

commit:表示是否立即提交索引

optimize:表示是否优化索引

debug: 表示是否开启调试模式

然后选择需要导入的Entity,点击Execute按钮开始执行数据导入操作,如图:

 如果你看到indexing字样,如图:


 如果你导入的数据并不多,但这个界面停留了很长时间(比如超过了30秒,就不需要再傻傻等着了),那么很有可能数据导入过程出错了,这时,请切换到logging菜单查看solr日志,如图:

 日志提示有几个html文件找不到,我们可以在solr的解压安装目录下可以找到,如图:

 然后我们需要清掉索引目录重新执行dataimport操作,如图:

 然后重启我们的tomcat,重新执行dataimport操作,如图:

 切换到overview菜单,我们会看到:

 切换到Query菜单,对我们刚插入的索引进行查询测试,如图:

 OK,至此从数据库导入数据并索引就讲解到这儿了,至于最后抛出的问题就留给你们自己解决啦,最后关于我自定义的日期域类型我会在底下的附件里上传,因为ITeye不适合上传大文件,所以依赖的jar包我就不提供了,需要完整源码的,请从我提供的百度网盘地址去下载:

http://pan.baidu.com/s/1i3J4DZf

如果你还有什么问题请加我Q-Q:7-3-6-0-3-1-3-0-5,

或者加裙
一起交流学习!

转载:http://iamyida.iteye.com/blog/2210621

跟益达学Solr5之从MySQL数据库导入数据并索引相关推荐

  1. 跟益达学Solr5之使用Tomcat部署Solr

    最近忙着面试以及生活琐事把时间都霸占了,博客拖了4天没更新了,让各位久等了,望多多包涵!不过还好,工作已经敲定了,终于可以安心的学习Solr并分享我学习的点点滴滴啦! 上回我们在Jetty下部署了,不 ...

  2. 跟益达学Solr5之批量索引JSON数据

    假定你有这样一堆JSON数据, Json代码   [ {"id":"1", "name":"Red Lobster",  ...

  3. mysql数据库导入数据的几种方式

    mysql数据库导入数据的几种方式 适用于大量数据的导入 一.excel方式导入 1.将需要的数据放到表格中,需要注意表格中的列必须与要导入的表保持一致 2.导入步骤 二.csv文件导入 1.一般拿到 ...

  4. 跟益达学Solr5之拼音分词

    应群友强烈要求,特此更新此篇博客.其实在我的Lucene5系列博客里我已经介绍了拼音分词,遗憾的是,大家不能举一反三,好吧,还是我亲自上马吧! 首先我们来看看我当初使用Lucene5是如何实现的,   ...

  5. 跟益达学Solr5之Facet一瞥

    Facet属于Solr的高级查询部分,之所以在还没有讲解普通Query之前,就开始更新Facet查询,是因为看到很多小伙伴都在为Facet而困扰,其实根本原因还是对Facet不理解.Facet英文单词 ...

  6. 跟益达学Solr5之使用IK分词器

    在Solr中该如何使用IK分词器呢,这是小伙伴们问的频率比较高的一个问题,今晚特此更新此篇博客.其实之前我在其他博客里已经使用了IK分词器,只是我没做详细说明. 在schema.xml配置中其实有很多 ...

  7. 跟益达学Solr5之使用MMSeg4J分词器

    要想在Sor中使用MMSeg4J分词器,首先你需要自定义一个TokenizerFactory实现类,虽然直接配置Analyzer类也可以,但那样无法配置Analyzer构造函数的参数,不够灵活,存在弊 ...

  8. 跟益达学Solr5之使用Ansj分词器

    摘要:         OK,直接开门见山,不绕弯子啦!基于上篇博客,我们知道了在Solr中配置分词器有两种方式,一种是直接配置分词器类,比如: Xml代码   <fieldType name= ...

  9. 跟益达学Solr5之使用Tika从PDF中提取数据导入索引(转字:http://www.tuicool.com/articles/JfUfaey)

    开始此篇之前,我已经假定你已经学会了如何在Tomcat下部署Solr5啦.即启动Tomcat后你能看到Solr5的Web UI界面.OK,下面直接进入正题. 首先你需要在你的core根目录下新建一个l ...

最新文章

  1. 为什么BCH有了0确认还要缩短时间
  2. 文件系统缓存dirty_ratio与dirty_background_ratio两个参数区别
  3. mysql上k8s_通过搭建MySQL掌握k8s(Kubernetes)重要概念(上):网络与持久卷
  4. 推荐两本移动开发挺火的书
  5. nginx工作笔记004---配置https_ssl证书_视频服务器接口等
  6. [码海拾贝 之JS] JS 之删除数组中的元素
  7. 最新的CocoaPods的使用教程(一)
  8. OpenJDK 源码阅读之 Java 字节流输入类的实现
  9. mysql教程手机版_MySQL 入门教程
  10. 1954-计算机基础知识大赛 1
  11. 一次搞定各种数据库 SQL 执行计划:MySQL、Oracle、SQL Server、PostgreSQL 以及 SQLite
  12. html5实现在线动态画板,HTML5 canvas实现一个简易画板
  13. Hexo+Github实现相册功能
  14. jquery解绑、绑定笔记
  15. 2020CCPC绵阳D.Defuse the Bombs(二分)
  16. 【179期】这些最常用的Linux命令都不会,你怎么敢去面试?
  17. RT-Thread进阶之低功耗PM组件应用笔记
  18. 北京公积金打印贷款证明(缴存明细+异地贷款职工缴存使用证明)
  19. 「镁客早报」三星折叠屏手机中国区发布会临时取消;特斯拉在地库中突然自燃... 1
  20. accessible: module java.base does not “opens java.lang“ to unnamed module

热门文章

  1. Freeswitch挂断原因汇总
  2. Nuxt初始化项目报错
  3. 安霸flash dma操作
  4. 自动驾驶定位技术-马尔科夫定位
  5. 面向对象基础——方法重载
  6. 马化腾内部分享:产品经理必修课
  7. awk 指定列后面插入一列
  8. java改变背景图片大小_java编写界面设置 背景图片的大小
  9. 全国计算机一级a还是b,计算机一级证和一级B证的区别是什么
  10. 网络攻击测试软件,局域网攻击软件如何检测