问题描述:

在使用logstash同步mysql数据库中的数据,在使用logstash7.4.1以前的版本,输出的sql日志如下:

[2019-12-09T10:50:01,585][INFO ][logstash.inputs.jdbc     ] (0.009082s) SELECT version()

[2019-12-09T10:50:01,634][INFO ][logstash.inputs.jdbc     ] (0.001152s) SELECT version()

[2019-12-09T10:50:01,841][INFO ][logstash.inputs.jdbc     ] (0.002531s) SELECT count(*) AS `count` FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1

[2019-12-09T10:50:01,892][INFO ][logstash.inputs.jdbc     ] (0.009893s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 0

[2019-12-09T10:50:02,032][INFO ][logstash.inputs.jdbc     ] (0.001794s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 1

[2019-12-09T10:50:02,043][INFO ][logstash.inputs.jdbc     ] (0.001604s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 2

[2019-12-09T10:50:02,060][INFO ][logstash.inputs.jdbc     ] (0.001694s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 3

[2019-12-09T10:50:02,076][INFO ][logstash.inputs.jdbc     ] (0.001766s) SELECT * FROM (select * from t_test where updatetime > '1970-01-01 08:00:00' and updatetime < date_add(NOW(), interval -1 second) order by updatetime asc) AS `t1` LIMIT 1 OFFSET 4

使用logstash7.4.1以后的版本,输出的sql日志如下:

[2019-12-09T15:42:01,445][INFO ][logstash.inputs.jdbc     ][main] (0.009087s) select * from t_test where  updatetime < date_add(NOW(), interval -1 second) order by updatetime asc

logstash input 脚步如下:

jdbc {

jdbc_driver_library => "mysql-connector-java-5.1.47.jar"

jdbc_driver_class => "com.mysql.jdbc.Driver"

jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"

jdbc_user => "root"

jdbc_password => "test"

jdbc_default_timezone =>"Asia/Shanghai"

jdbc_paging_enabled => true

jdbc_page_size => 1

schedule => "* * * * *"

record_last_run => true

use_column_value => true

tracking_column => "updatetime"

tracking_column_type => "timestamp"

last_run_metadata_path => "/Users/future/work/logstash-7.4.2/lastrunmetadata/test"

statement => "select * from t_test where  updatetime < date_add(NOW(), interval -1 second) order by updatetime asc"

}

请问为什么在7.4.1及以后的版本在输出的sql日志中没有LIMIT 1 OFFSET 0分页的相关信息?

es分页和mysql分页_用户logstash同步mysql数据到es中7.4.1版本以后输出的sql日志中没有分页信息...相关推荐

  1. mysql语法错误文件_使用logstash同步MySQL的数据时,在jdbc查询sql文件时报sql语法错误,sql文件是navicat生成的...

    使用logstash同步MySQL的数据时,在jdbc查询sql文件时报sql语法错误,并且错误总是near在第1行,sql文件的编码是utf8mb64 ,不知道是否是编码问题 logstash配置j ...

  2. Logstash同步mysql一对多数据到ES(踩坑日记系列)

    场景: Logstash .Kibana.ES版本:6.3.1. 使用Logstash从mysql同步用户和用户所有的宠物到ES中. 希望的格式: "register_name": ...

  3. 使用Logstash同步MySQL数据库信息到ElasticSearch

    点击蓝色"程序猿DD"关注我哟 加个"星标",不忘签到哦 转载自公众号:SpringForAll社区 关注我,回复口令获取可获取独家整理的学习资料: - 001 ...

  4. Logstash同步mysql数据

    Logstash同步mysql数据到ElasticSearch 1.安装logstash 下载logstash,解压压缩包 下载地址:https://www.elastic.co/downloads/ ...

  5. kibana可视化统计_用户访问统计PV-IP-UV数据

    kibana可视化统计_用户访问统计PV-IP-UV数据 准备 点击可视化->点击添加 新建一个可视化New Visualization->选择Data Table 选择索引如图: 默认有 ...

  6. logstash 同步mongo 数据到 mysql

    以前使用过mongo-connector 同步mongo 数据到es,但无法同步到mysql. 一.软件版本 mysql:5.7 mongo:3.2 logstash:5.4.0 (同ES版本) 二. ...

  7. mysql 有newid()_MySQL中,有无GUID函数?就像SQL Server中的newid()解决方法

    mysql中,有无GUID函数?就像SQL Server中的newid() 如题! 有无直接返回GUID唯一标识的函数? ------解决方案-------------------- 函数 UUID( ...

  8. mysql多表同步es一个索引_使用 Logstash 同步多个数据表到 Elasticsearch 同一个索引 (Index)...

    最近使用了 ELK 做搜索,出报表,由于我们的业务数据很多,汇总起来有近 200 个字段,刚开始写了一个庞大的视图通过 Logstash 同步到 Elasticsearch,但是遇到了很多问题: 1. ...

  9. es mysql 预处理_数据库选型之MySQL vs ElasticSearch

    前言 应用系统通常需要借助数据预处理(如物化视图等)来实现数据查询加速的需求.目前业界主流数据库主要有以下两大类,一种是基于传统RDBMS关系型数据库来实现:另一种是基于NoSQL非关系型数据库来实现 ...

最新文章

  1. 计算机英语课程 ppt,Unit 3_计算机专业英语_doc_大学课件预览_高等教育资讯网
  2. Int与String之间相互转换
  3. unity5.4.3p2里面的AssetBundle打包流程
  4. element-ui cascader 级联选择器 存最后一级id及回显
  5. SQL Server 中索引的禁用与删除
  6. django-url映射给函数给默认值
  7. ECMAScript 发展简史
  8. Visual Studio Code 支持TensorFlow配置支持
  9. CKEditor和CKFinder配置(asp.net)
  10. windows下成功安装XGBOOST
  11. ios经验6:提交APP上架流程
  12. 稀疏矩阵乘法运算(C语言)
  13. 国开计算机实操题操作,国开大学计算机实操答案一.
  14. VR渲染和CR渲染同样文件的真实对比(附CR渲染参数)
  15. 实战 Mantle 解析界面app 科技频道
  16. 苦禅箜mm让我帮她做的作业
  17. PS怎么做出旧电视图像故障视觉特效
  18. svn导出历史版本、指定版本
  19. excel行列互换_EXCEL图表中的堆积柱形图如何行列互换
  20. PM必读|如何成为卓有成效的产品经理

热门文章

  1. Non-standard serial port baud rate setting
  2. defer 和 async 区别
  3. IO流(1)-键盘录入学生信息(姓名,语文成绩,数学成绩,英语成绩),按照总分从高到低存入文本文件...
  4. 自学stm32的一些个人经验
  5. null 和{}的那点事
  6. mysql创建视图不允许子查询
  7. Hive - Create TableDrop Table ALTER Table(中)
  8. codeforces test #12 C. Subsequences 树状数组统计
  9. 学习就是一件要耐的住寂寞放的下欲望舍的得享乐的事
  10. 最简单的delphi启动画面(转)