solr4.2增量索引之同步(修改，删除，新增)

solr增量索引配置
1.在进行增量索引前，首先要弄懂几个必要的属性，以及数据库建表事项，和dataimporter.properties
                   data-config.xml里面的数据


    注意这个只能返回ID字段

 注意这个只能返回ID字段
                   数据库配置注意事项
1.如果只涉及添加，与修改业务，那么数据库里只需额外有一个timpstamp字段
就可以了，默认值为当前系统时间，CURRENT_TIMESTAMP（笔者的数据为mysql的）
2.如果还涉及删除业务，那么数据里就需额外再多添加一个字段isdelete，int类型的
用0,1来标识，此条记录是否被删除，当然也可以用其他字段标识，ture或false都可以

dataimporter.properties
这个配置文件很重要，它是用来记录当前时间与上一次修改时间的，通过它能够找出，那些，新添加的，修改的，或删除的记录

下面为笔者当时测试时的一个演示，其中添加，修改，删除，都涉及了

<dataConfig>

<dataSource name="mydb" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/test" user="root" password="ninemax"/>

<document>

<!-- query="select * from myinfo WHERE isdelete=0 query查询是指

查询出表里所有的符合条件的数据，因为笔者测试的有删除业务，所以

where 后面有一个限定条件isdelete=0，意思为查询未被删除的数据

(注意这个query查询只对第一次全量导入有作用，对增量导入不起作用)               -->

<!--

deltaQuery="select ID from myinfo where my_date > '${dataimporter.last_index_time}'"

deltaQuery的意思是，查询出所有经过修改的记录的ID

可能是修改操作，添加操作，删除操作产生的

(此查询只对增量导入起作用，而且只能返回ID值) -->

<!--

deletedPkQuery="select ID from myinfo where isdelete=1"

此操作值查询那些数据库里伪删除的数据的ID（即isdelete标识为1的数据）

solr通过它来删除索引里面对应的数据

(此查询只对增量导入起作用，而且只能返回ID值) -->

<!--

deltaImportQuery="select * from myinfo where ID='${dataimporter.delta.ID}'"

次查询是获取以上两步的ID，然后把其全部数据获取，根据获取的数据

对索引库进行更新操作，可能是删除，添加，修改

(此查询只对增量导入起作用，可以返回多个字段的值,一般情况下，都是返回所有字段的列)               -->

<entity pk="ID" dataSource="mydb" name="myinfo" query="select * from myinfo WHERE isdelete=0 "

deltaQuery="select ID from myinfo where my_date > '${dataimporter.last_index_time}'"

deletedPkQuery="select ID from myinfo where isdelete=1"

deltaImportQuery="select * from myinfo where ID='${dataimporter.delta.ID}'"

>

<field column="ID" name="id"/>

<field column="name" name="name"/>

<field column="address" name="address"/>

<field column="age" name="age"/>

<field column="my_date" name="my_date"/>

<field column="isdelete" name="isdelete"/>

</entity>

</document>

</dataConfig>

转自：

http://www.jiancool.com/article/12743229775/;jsessionid=14E9B3F1BB33399799884B5C8F15DDE1

本文转自兴趣e族 51CTO博客，原文链接:http://blog.51cto.com/simplelife/1883024

solr4.2增量索引之同步(修改，删除，新增)相关推荐

solr4.2增量索引之同步(修改，删除，新增)--转载
原文地址:http://www.jiancool.com/article/12743229775/;jsessionid=14E9B3F1BB33399799884B5C8F15DDE1 solr增 ...
es修改索引java_Elasticsearch添加修改删除索引文档案例分享
本文介绍如何采用bboss es添加/修改/删除/批量删除elasticsearch索引文档,直接看代码. 添加/修改文档 TAgentInfo agentInfo = new TAgentInfo( ...
Solr 4.x定时、实时增量索引 - 修改、删除和新增索引
2019独角兽企业重金招聘Python工程师标准>>> 一.开始增量索引前的准备工作. 1.认识data-config.xml中相关属性 <!-- transformer 格式 ...
Canal Mysql同步至ES/Hbase只有新增时生效，修改删除不生效
问题描述新增Mysql数据时,ES.Hbase数据会同步成功:当删除Mysql数据,或者修改Mysql数据时同步ES.Hbase数据无变化(PS:修改和删除加上LIMIT xxx 就可以成功.) 问 ...
[Spring cloud 一步步实现广告系统] 15. 使用开源组件监听Binlog 实现增量索引准备...
MySQL Binlog简介什么是binlog? 一个二进制日志,用来记录对数据发生或潜在发生更改的SQL语句,并以而进行的形式保存在磁盘中. binlog 的作用? 最主要有3个用途: 数据复制( ...
Solr与MongoDB集成，实时增量索引[转]
http://www.123905.com/ 一. 概述大量的数据存储在MongoDB上,需要快速搜索出目标内容,于是搭建Solr服务. 另外一点,用Solr索引数据后,可以把数据用在不同的项目当中 ...
solr 从数据库导入数据，全量索引和增量索引（实例配置原理）
http://blog.csdn.net/u013378306/article/details/50761610 为防止原文删除特此备份 ------------------------------- ...
solr 从数据库导入数据，全量索引和增量索引
首先说一下是从MySQL数据库导入数据这里使用的是mysql测试. 1.先在mysql中建一个表:solr_test 2.插入几条测试数据: 3.用记事本打solrconfig.xml文件,在sol ...
转：solr 从数据库导入数据，全量索引和增量索引（实例配置原理）
http://blog.csdn.net/u013378306/article/details/50761610 为防止原文删除特此备份 ------------------------------- ...
kettle spoon判断增量更新_使用Kettle实现数据实时增量同步--时间戳增量回滚同步...
使用Kettle实现数据实时增量同步 0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法.关于ETL和Kettle的入门 ...

solr4.2增量索引之同步(修改，删除，新增)

solr4.2增量索引之同步(修改，删除，新增)相关推荐

最新文章

热门文章