es分页和mysql分页_用户logstash同步mysql数据到es中7.4.1版本以后输出的sql日志中没有分页信息...
问题描述:
在使用logstash同步mysql数据库中的数据,在使用logstash7.4.1以前的版本,输出的sql日志如下:
[2019-12-09T10:50:01,585][INFO ][logstash.inputs.jdbc ] (0.009082s) SELECT version()
[2019-12-09T10:50:01,634][INFO ][logstash.inputs.jdbc ] (0.001152s) SELECT version()
[2019-12-09T10:50:01,841][INFO ][logstash.inputs.jdbc ] (0.002531s) SELECT count(*) AS `count` FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1
[2019-12-09T10:50:01,892][INFO ][logstash.inputs.jdbc ] (0.009893s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 0
[2019-12-09T10:50:02,032][INFO ][logstash.inputs.jdbc ] (0.001794s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 1
[2019-12-09T10:50:02,043][INFO ][logstash.inputs.jdbc ] (0.001604s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 2
[2019-12-09T10:50:02,060][INFO ][logstash.inputs.jdbc ] (0.001694s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 3
[2019-12-09T10:50:02,076][INFO ][logstash.inputs.jdbc ] (0.001766s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 4
使用logstash7.4.1以后的版本,输出的sql日志如下:
[2019-12-09T15:42:01,445][INFO ][logstash.inputs.jdbc ][main] (0.009087s) select * from t_test where updatetime < date_add(NOW(), interval -1 second) order by updatetime asc
logstash input 脚步如下:
jdbc {
jdbc_driver_library => "mysql-connector-java-5.1.47.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
jdbc_user => "root"
jdbc_password => "test"
jdbc_default_timezone =>"Asia/Shanghai"
jdbc_paging_enabled => true
jdbc_page_size => 1
schedule => "* * * * *"
record_last_run => true
use_column_value => true
tracking_column => "updatetime"
tracking_column_type => "timestamp"
last_run_metadata_path => "/Users/future/work/logstash-7.4.2/lastrunmetadata/test"
statement => "select * from t_test where updatetime < date_add(NOW(), interval -1 second) order by updatetime asc"
}
请问为什么在7.4.1及以后的版本在输出的sql日志中没有LIMIT 1 OFFSET 0分页的相关信息?
es分页和mysql分页_用户logstash同步mysql数据到es中7.4.1版本以后输出的sql日志中没有分页信息...相关推荐
- mysql语法错误文件_使用logstash同步MySQL的数据时,在jdbc查询sql文件时报sql语法错误,sql文件是navicat生成的...
使用logstash同步MySQL的数据时,在jdbc查询sql文件时报sql语法错误,并且错误总是near在第1行,sql文件的编码是utf8mb64 ,不知道是否是编码问题 logstash配置j ...
- Logstash同步mysql一对多数据到ES(踩坑日记系列)
场景: Logstash .Kibana.ES版本:6.3.1. 使用Logstash从mysql同步用户和用户所有的宠物到ES中. 希望的格式: "register_name": ...
- 使用Logstash同步MySQL数据库信息到ElasticSearch
点击蓝色"程序猿DD"关注我哟 加个"星标",不忘签到哦 转载自公众号:SpringForAll社区 关注我,回复口令获取可获取独家整理的学习资料: - 001 ...
- Logstash同步mysql数据
Logstash同步mysql数据到ElasticSearch 1.安装logstash 下载logstash,解压压缩包 下载地址:https://www.elastic.co/downloads/ ...
- kibana可视化统计_用户访问统计PV-IP-UV数据
kibana可视化统计_用户访问统计PV-IP-UV数据 准备 点击可视化->点击添加 新建一个可视化New Visualization->选择Data Table 选择索引如图: 默认有 ...
- logstash 同步mongo 数据到 mysql
以前使用过mongo-connector 同步mongo 数据到es,但无法同步到mysql. 一.软件版本 mysql:5.7 mongo:3.2 logstash:5.4.0 (同ES版本) 二. ...
- mysql 有newid()_MySQL中,有无GUID函数?就像SQL Server中的newid()解决方法
mysql中,有无GUID函数?就像SQL Server中的newid() 如题! 有无直接返回GUID唯一标识的函数? ------解决方案-------------------- 函数 UUID( ...
- mysql多表同步es一个索引_使用 Logstash 同步多个数据表到 Elasticsearch 同一个索引 (Index)...
最近使用了 ELK 做搜索,出报表,由于我们的业务数据很多,汇总起来有近 200 个字段,刚开始写了一个庞大的视图通过 Logstash 同步到 Elasticsearch,但是遇到了很多问题: 1. ...
- es mysql 预处理_数据库选型之MySQL vs ElasticSearch
前言 应用系统通常需要借助数据预处理(如物化视图等)来实现数据查询加速的需求.目前业界主流数据库主要有以下两大类,一种是基于传统RDBMS关系型数据库来实现:另一种是基于NoSQL非关系型数据库来实现 ...
最新文章
- 计算机英语课程 ppt,Unit 3_计算机专业英语_doc_大学课件预览_高等教育资讯网
- Int与String之间相互转换
- unity5.4.3p2里面的AssetBundle打包流程
- element-ui cascader 级联选择器 存最后一级id及回显
- SQL Server 中索引的禁用与删除
- django-url映射给函数给默认值
- ECMAScript 发展简史
- Visual Studio Code 支持TensorFlow配置支持
- CKEditor和CKFinder配置(asp.net)
- windows下成功安装XGBOOST
- ios经验6:提交APP上架流程
- 稀疏矩阵乘法运算(C语言)
- 国开计算机实操题操作,国开大学计算机实操答案一.
- VR渲染和CR渲染同样文件的真实对比(附CR渲染参数)
- 实战 Mantle 解析界面app 科技频道
- 苦禅箜mm让我帮她做的作业
- PS怎么做出旧电视图像故障视觉特效
- svn导出历史版本、指定版本
- excel行列互换_EXCEL图表中的堆积柱形图如何行列互换
- PM必读|如何成为卓有成效的产品经理
热门文章
- Non-standard serial port baud rate setting
- defer 和 async 区别
- IO流(1)-键盘录入学生信息(姓名,语文成绩,数学成绩,英语成绩),按照总分从高到低存入文本文件...
- 自学stm32的一些个人经验
- null 和{}的那点事
- mysql创建视图不允许子查询
- Hive - Create TableDrop Table ALTER Table(中)
- codeforces test #12 C. Subsequences 树状数组统计
- 学习就是一件要耐的住寂寞放的下欲望舍的得享乐的事
- 最简单的delphi启动画面(转)