实现MySQL表数据全量索引和增量索引，基于Solr DIH组件实现起来比较简单，只需要重复使用Solr的DIH(Data Import Handler)组件，对data-config.xml进行简单的修改即可。Solr DIH组件的实现类为org.apache.solr.handler.dataimport.DataImportHandler，在Solr的 solrconfig.xml中配置两个handler，配置分别说明如下。

全量索引

solrconfig.xml配置如下：

1

2

class="org.apache.solr.handler.dataimport.DataImportHandler">

3

4

data-config.xml

5

6

上面这个是针对全量索引的，主要是配置data-config.xml文件，示例如下所示：

01

02

04

user="developer" password="sedept@shiyanjun.cn"/>

05

06

07

query="select * from marketing_data limit ${dataimporter.request.length} offset ${dataimporter.request.offset}"

08

transformer="RegexTransformer">

09

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

上面主要是通过内置变量 “${dataimporter.request.length}”和 “${dataimporter.request.offset}”来设置一个批次索引的数据表记录数，请求的URL示例如下：

上面表示，对数据表中id范围为[10000000, 1100000]的记录进行索引，因为数据表可能达到千万记录数，而且线上有业务在操作数据库，所以要选择分批进行索引。

增量索引

solrconfig.xml配置如下：

01

02

03

delta-data-config.xml

04

05

06

上面定义请求的接口为“deltaimport”，对应的配置文件delta- data-config.xml内容如下所示：

07

08

10

user="developer" password="sedept@shiyanjun.cn"/>

11

12

13

query="select * from marketing_data"

14

deltaImportQuery="select * from marketing_data where id='${dih.delta.id}'"

15

deltaQuery="select id from marketing_data where updated_at > '${dih.last_index_time}'"

16

transformer="RegexTransformer">

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

上面主要是通过内置变量“${dih.delta.id}”和 “${dih.last_index_time}”来记录本次索引的id和最后索引时间。这里，会保存在deltaimport.properties文件中，示例如下：

1

#Sat Feb 16 17:48:49 CST 2013

2

last_index_time=2013-02-16 17\:48\:48

3

marketing_data.last_index_time=2013-02-16 17\:48\:48

请求增量索引的接口为“deltaimport”，可以写一个定时脚本，例如每隔一天执行一次 (一天索引一次，只索引数据表中更新的记录)，请求URL示例如下：

1

172.0.8.212:8080/search-server/core0/dataimport?command=delta-import

有关“query”，“deltaImportQuery”， “deltaQuery”的解释，引用官网说明，如下所示：

The query gives the data needed to populate fields of the Solr document in full-import

The deltaImportQuery gives the data needed to populate fields when running a delta-import

The deltaQuery gives the primary keys of the current entity which have changes since the last index time

还有更灵活的索引方式，以后再讲。

参考链接