solor mysql_solr 同步 mysql

一、首先创建一个数据库和表

这里创建了一个表，加上了测试数据，注意这里有一个字段来记录更新时间 update_date

二、修改配置文件

我们首先介绍全量同步，再介绍增量同步

我的 solr 版本是 7.5 的，new_core是我创建的 core，打开 solrconfig.xml，增加如下配置

data-config.xml

然后在当前 conf 目录下创建 data-config.xml

query="SELECT id, content,object_id,type,update_date,create_date FROM ho_front_message"

注意：修改 mysql 连接地址和数据库名和用户名和密码

entity 标签下

-name：表名

-pk：主键名

-query：查询语句，全量同步下会同步当前表中哪些数据

-field：表子段映射，注意时间格式

以上需要同步的表子段，需要配置到 managed-schema.xml ，对于已有的字段，不需要添加，例如 id 字段

注意 type="pdate" 因为我的 solr 是7.5 版本的

三、测试数据

选择 full-import 全量导入

勾选 clean 表示导入之前会清空数据

entity 选择我们在data-config.xml创建的

可以看到数据已经查询出来了

四、增量同步

修改 data-config.xml

query="SELECT id, content,object_id,type,update_date,create_date FROM ho_front_message"

deltaQuery="select id from ho_front_message where update_date > '${dih.last_index_time}'"

deltaImportQuery="select * from ho_front_message where id='${dih.delta.id}'"

deletedPkQuery="select id from ho_front_message where enable_flag='0'"

deltaQuery：增量索引查询主键ID

deltaImportQuery:增量索引查询导入的数据

deletedPkQuery:此操作值查询那些数据库里伪删除的数据的ID(enable_flag=0的数据)

配置完后后，打开数据库修改其中一条记录的值和update_date

update ho_front_message set content='xxxx' ,update_date=now() where id='xxx'

导入增量数据，勾选 delta-import

再次查询看看增量数据是否正确

删除数据就是把某条数据的 enable_flag=0 ，再操作一下增量导入

solor mysql_solr 同步 mysql相关推荐

使用Logstash同步MySQL数据库信息到ElasticSearch
点击蓝色"程序猿DD"关注我哟加个"星标",不忘签到哦转载自公众号:SpringForAll社区关注我,回复口令获取可获取独家整理的学习资料: - 001 ...
es mysql 同步插件_[es和数据库怎么同步]mysql与elasticsearch实时同步常用插件及优缺点对比(ES与关系型数据库同步)...
目前mysql与elasticsearch常用的同步机制大多是基于插件实现的,常用的插件包括:elasticsearch-jdbc,elasticsearch-river-MySQL,go-mysql ...
mysql不同版本会覆盖吗,[mysql不同版本数据库同步]mysql数据库主从同步,master和slave上的mysql必须版本一样吗,如果不一样会有什么结果？...
在线QQ客服:1922638 专业的SQL Server.MySQL数据库同步软件 497950890 Slave_SQL_Running: No mysql同步故障解决如果数据不同步可以尝试该资料 ...
ETL异构数据源Datax_Oracle同步MySQL(全量)_04
文章目录一.Oracle同步Mysql 1. 构建json 2. 执行数据同步 3. 查看同步数据 4. 同步数据正确性和准确性 5. 同步日志分析一.Oracle同步Mysql 1. 构建jso ...
canal mysql从库_大厂如何基于binlog解决多机房同步mysql数据（一）？
目录前言单一IDC 多IDC mysql主从同步数据同步方案多机房mysql同步方案优化同步方案同步方案的问题如何解决重复插入对于DDL语句处理如何解决唯一索引冲突如何解决数据回环 ...
NodeJS同步MySQL上游数据到ElasticSearch数据库中
NodeJS同步MySQL上游数据到ElasticSearch数据库中项目地址: https://github.com/Miazzy/xdata-elasticsearchs-service.git ...
Elasticsearch安装及自动同步mysql数据库数据
2019独角兽企业重金招聘Python工程师标准>>> Elasticsearch安装及自动同步mysql数据库数据 1 环境: CentOS 6.4 x64 ...
Flink CDC 实时同步mysql
前言在实际开发中,需要做数据同步的场景是非常多的,比如不同的应用之间不想直接通过RPC的方式进行数据交互,或者说下游应用需要检测来自上游应用的某些业务指标数据的变化时,这些都可以考虑使用数据同步的方 ...
clickhouse 同步 mysql数据
前言通过前面的篇章,我们了解到clickhouse是一款性能很高的OLAP数据存储.数据分析型数据库引擎,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告,基于此,在 ...

solor mysql_solr 同步 mysql

solor mysql_solr 同步 mysql相关推荐

最新文章

热门文章