solr5.3.1 mysql_Solr5.3.1 dataimport 导入mysql数据

最近需要计算制造业领域大词表每个词的idf，词表里一共九十多万个词，语料一共三百七十多万篇分词后文献。最开始尝试用程序词表循环套语料循环得到每个词的idf，后来又尝试把语料存入mysql然后建立全文索引再循环用sql语句去查每个词的idf，效率都十分不理想。

最新的想法是利用solr搜索引擎的速度来做，所以首先要把mysql的数据导入solr。

一、开启Solr服务

1、下载solr-5.3.1.tgz包，解压之后为solr-5.3.1

2、通过bin/solr start命令开启solr服务

3、开启服务之后，默认是开启8983端口，此时就可以使用localhost:8983/solr/进行访问了

二、从Mysql数据库中导入数据

1、创建core或collection：bin/solr create -c 集合名

2、从mysql官网中下载一个mysql-connector-java-5.1.25.zip压缩包，解压出一个mysql-connector-java-5.1.25-bin.jar包，将它分别copy到solr-5.3.1/server/lib和solr-5.3.1/server/solr-webapp/webapp/WEB-INF/lib当中(只copy到第一个路径应该就可以)

3、将solr-dataimporthandler-5.3.1.jar和solr-dataimporthandler-extras-5.3.1.jar从solr-5.3.1/dist/文件夹下copy到solr-5.3.1/server/solr-webapp/webapp/WEB-INF/lib当中(只copy第一个文件应该就可以)

4、修改solr-5.3.1/server/solr/集合名/conf/managed-schema文件为schema.xml

5、在schema.xml添加field(根据实际情况)，如下：

6、修改solr-5.3.1/server/solr/collection/conf/下的solrconfig.xml的配置文件，增加一段添加数据库数据的xml，如下：

data-config.xml

7、在solr-5.3.1/server/solr/collection/conf/下创建data-config.xml文件，配置访问数据库的用户名、密码、查询语句，column对应数据库中字段、name对应solr的schema.xml中字段(根据实际情况)，文件内容如下：

8、重启服务bin/solr restart

9、

solr5.3.1 mysql_Solr5.3.1 dataimport 导入mysql数据相关推荐

solr两种安装、ik分词器设置、DIH导入mysql数据
文章目录 solr 安装(内置方式) solr 安装(tomcat方式) IK中文分词器设置 solr数据操作使用dataimport导入数据库数据 solr 安装(内置方式) 安装包官网下载安装 ...
Windows下Solr的安装与配置，附DIH全量导入MySQL数据、IK分词器配置详解——不用集成Tomcat
Solr是Apache开源的比较稳定的一款全文搜索引擎,也是市面上相对比较流行的一款全文搜索引擎,好不好用你用过之后自有判断.今天给大家分享一下它的安装与配置,我用的是7.7.2版本.废话不多说,开搞 ...
Sqoop在导入MySQL数据时遇到Timestamp列为0000-00-00 00:00:00报错
为什么80%的码农都做不了架构师?>>> Sqoop在导入MySQL数据时遇到Timestamp列为'0000-00-00 00:00:00'时报错,解决方法是:在JDBC连接 ...
mysql导入access2016_php 导入mysql数据到access方法
我们来看看关于php 导入mysql数据到access方法哦,下面是一个简单的实例哦,如果你正在把mysql的数据导入到access的话看到这肯定肯定可以实例了. mysql数据库表sqltable ...
将Excel表格导入mysql数据表_如何把Excel导入mysql数据表的方法详解
把Excel导入mysql数据表其实是一件非常的简单的事情了,我们可以通过多种方法来实现了,下面我们来看一些关于小编整理的把Excel导入mysql数据表的方法了. 方法一把Excel导入mysql ...
使用LOAD DATA和INSERT语句导入Mysql数据
在"MySQL数据库(表)的基本操作"一节中我们创建过一个会员注册表"Users",这次我们就往这个表中以不同的方式导入数据. INSERT语句关于INSER ...
【华为云技术分享】使用sqoop导入mysql数据到hive中
Sqoop 是一个数据转储工具,它能够将 hadoop HDFS 中的数据转储到关系型数据库中,也能将关系型数据库中的数据转储到 HDFS 中. Apache Sqoop,是"SQL to ...
python导入data-Python通过load data导入MySQL数据
如何使用python连接MySQL数据库,并进行增删改查操作呢?如何将大批量数据导入数据库的情况,又该如何使用Python进行大数据的高效导入呢? 一.环境介绍 Python版本:Python3.6 ...
mysql导入excel为什么丢行_Excel导入mysql数据丢掉
Excel导入mysql数据丢失昨天晚上弄了一个晚上都没解决,来这里求助下,谢谢各位了 for($j=3;$j<=$highestRow;$j++)//表头不读取 { $a = $objPHP ...

solr5.3.1 mysql_Solr5.3.1 dataimport 导入mysql数据

solr5.3.1 mysql_Solr5.3.1 dataimport 导入mysql数据相关推荐

最新文章

热门文章