Solr DIH上传索引操作实例

1.1. 软件参数

Mysql 5.5以上，Solr服务

1.2. 创建对应mysql表

集团company表结构：

CREATE TABLE `company` (
`id` varchar(255) NOT NULL,
`name` varchar(255) DEFAULT NULL,
`province` varchar(255) DEFAULT NULL,
`city` varchar(255) DEFAULT NULL,
`industry` varchar(255) DEFAULT NULL,
`joinerNum` int(11) DEFAULT NULL,
`createTime` timestamp NULL DEFAULT NULL,
`updateTime` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`status` tinyint(4) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

1.3. Solr应用DIH配置

1.3.1. 检查solr服务的WEB-INF\lib目录下是否有如下jar包，如果没有请添加

solr-dataimporthandler-5.3.0.jar、solr-dataimporthandler-extras-5.3.0.jar、mysql-connector-java-5.1.30.jar

1.3.2. 在对应应用的Solrconfig.xml中新增DIH配置

<str name="config">db-data-config.xml</str>

</lst>

</requestHandler>

1.3.3. 对应应用新增配置文件db-data-config.xml

注意修改标红的地方

集团company

<entity name="company" pk="id" transformer="RegexTransformer"

query="select * from company where status=1"

deltaQuery="select id from company where updateTime > '${dataimporter.last_index_time}' and status=1"

deltaImportQuery="select * from company where id='${dataimporter.delta.id}'">

</entity>

</document>

</dataConfig>

1.4. 执行数据导入jar将数据导入数据库

1.5. DIH执行方式

1.5.1. Solr控制台执行

1.5.2. http请求

全量：	http://172.30.133.61:8080/solr/collection/dataimport?command=full-import
增量：	http://172.30.133.61:8080/solr/collection/dataimport?command=delta-import&clean=false

1.5.3. Shell脚本执行

确保脚本有可执行权限，如无请执行如下命令：

chmod +x deltaImport.sh

增量数据执行脚本：（修改标红处）

#!/bin/bash

deltaImport(){

#应用id列表

appIds=("ce0c305361ca4f4abbb8ddb8d7db1228" "46c457a3852e4614bee9f1c9fd3a7868")

#solr服务集群地址

serverUrls=("http://172.30.133.61:8080/solr" "http://172.30.133.62:8080/solr" "http://172.30.133.64:8080/solr")

for appId in ${appIds[*]}

for serverUrl in ${serverUrls[*]}

importUrl="${serverUrl}/${appId}/dataimport?command=delta-import"

http_result=`curl -m 10 -o /dev/null -s -w %{http_code} $importUrl`

if [ $http_result == 200 ]

then

echo "${importUrl} OK"

break

else

echo "${importUrl} FAIL"

done

}

echo "process start"

deltaImport

echo "process end"

全量数据执行脚本：（修改标红处）

#!/bin/bash

fullImport(){

#应用id列表

appIds=("ce0c305361ca4f4abbb8ddb8d7db1228" "46c457a3852e4614bee9f1c9fd3a7868")

#solr服务集群地址

serverUrls=("http://172.30.133.61:8080/solr" "http://172.30.133.62:8080/solr" "http://172.30.133.64:8080/solr")

for appId in ${appIds[*]}

for serverUrl in ${serverUrls[*]}

importUrl="${serverUrl}/${appId}/dataimport?command=full-import"

http_result=`curl -m 10 -o /dev/null -s -w %{http_code} $importUrl`

if [ $http_result == 200 ]

then

echo "${importUrl} OK"

break

else

echo "${importUrl} FAIL"

done

}

echo "process start"

fullImport

echo "process end"

1.5.4. 定时任务执行

输入：crontab -e（编辑定时任务）

添加下面内容：

0 4 * * * /home/deltaImport.sh

参数说明：

0 4 * * *：每天凌晨4点执行应用的增量索引更新

备注：可根据实际情况设置定时任务的执行时间和执行脚本