logstash增量读取mysql中的数据到es中

在工作中，需要把mysql中的数据写入到es中进行分析；

官方文档：https://www.elastic.co/guide/en/logstash/6.3/plugins-inputs-jdbc.html

下面是配置方法：

input {jdbc {#数据库驱动路径jdbc_driver_library => "/data/mysql-connector-java-5.1.41-bin.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"#数据库连接相关配置jdbc_connection_string => "jdbc:mysql://10.10.10.10:3306/test"jdbc_user => "root"jdbc_password => "123456"#任务计划，多久执行一次，在此每5分钟执行一次schedule =>"*/5 * * * *"#启用追踪，如果为true，则需要指定tracking_column，默认是timestampuse_column_value => true#指定追踪的字段，在此我设置的追踪的字段为idtracking_column => id#是否将字段名称转小写，当字段已经为小写时，不用此项lowercase_column_names => false#追踪字段的类型，目前只有数字(numeric)和时间类型(timestamp)，默认是数字类型tracking_column_type => "numeric"#记录最后一次运行的结果record_last_run => true#上面运行结果的保存位置last_run_metadata_path => "/data/jdbc-position.txt"#执行的语句，也可以通过statement_filepath指定sql的文件statement => "SELECT * FROM student where id > :sql_last_value"#statement_filepath => "/data/test.sql"}
}
filter {json {source => "message"remove_field => ["message"]}
}
output {#输出到控制台进行调试，也可以写到kafka或者es中stdout { codec => rubydebug }
}

基于binlog的同步方案：

1.go-mysql-elasticsearch

2.maxwell

转载于:https://blog.51cto.com/liuzhengwei521/2325388

logstash增量读取mysql中的数据到es中相关推荐

MySQL数据库数据导入ES中
需要安装 mysql数据导入ES中,用到的有logstash,ES,mysql的连接包.链接:https://pan.baidu.com/s/1xopMMUtPir12zrQfYcwBZg 提取码: ...
读取mysql数据库的数据，转为json格式
# coding=utf-8 ''' Created on 2016-10-26 @author: Jennifer Project:读取mysql数据库的数据,转为json格式 ''' import ...
python读取mysql中表内数据_Python读取MySQL表数据的方法介绍
这篇文章主要为大家详细介绍了Python如何读取MySQL数据库表数据,具有一定的参考价值,感兴趣的小伙伴们可以参考一下本文实例为大家分享了Python读取MySQL数据库表数据的具体代码,供大家参 ...
在asp.net中如何用javascript读取本地Xml中的数据到网页中的文本框？
在asp.net中如何用javascript读取本地Xml中的数据到网页中的文本框? 转载于:https://www.cnblogs.com/dynasty/archive/2005/08/18/21 ...
python提取数据库数据_Python如何读取MySQL数据库表数据
本文实例为大家分享了Python读取MySQL数据库表数据的具体代码,供大家参考,具体内容如下环境:Python 3.6 ,Window 64bit 目的:从MySQL数据库读取目标表数据,并处理 ...
mysql status关键字数据表设计中慎重使用
mysql status关键字数据表设计中慎重使用转载于:https://www.cnblogs.com/toSeeMyDream/p/5574894.html
matlab读取excel表作图,读取Excel表格数据进行绘图-如何将excel表格中大量数据导入matlab中并作图...
matlab 读取excel时间数据并绘图没看懂你的格式是什么意思, 不过我一般读取excel都用xlsread函数,你也可以试一试 [a,b,c]=xlsresd('data.xls');%r如果 ...
最佳实践：MySQL CDC 同步数据到 ES
作者:于乐,腾讯 CSIG 工程师一. 方案描述 1.1 概述在线教育是一种利用大数据.人工智能等新型互联网技术与传统教育行业相结合的新型教育方式.发展在线教育可以更好的构建网络化.数字化.个性化 ...
25 Redis的缓存中的数据和数据库中的不一致问题
25 Redis的缓存中的数据和数据库中的不一致问题前言一.缓存和数据库的数据不一致是如何发生的? 二.解决Redis 和数据库数据不一致的方法总结前言 Redis 缓存经常会遇到有 4 个方 ...

logstash增量读取mysql中的数据到es中

logstash增量读取mysql中的数据到es中相关推荐

最新文章

热门文章