记一次ES整合logstash所遇的坑

安装与ES版本的相同的logstash，例：ES版本为6.2.1，那么logstash的版本需保持一致。

下载网址：https://www.elastic.co/cn/downloads/past-releases
下载,下载时建议使用迅雷下载，速度较快。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fqlq5ATR-1578023832730)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103112214977.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oUivonTb-1578023832732)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103112235481.png)]

下载完成

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8oCfcMOY-1578023832733)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103112331370.png)]
解压安装，结业完成后的目录如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P2LOIAJS-1578023832734)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103112454259.png)]
如没有插件，则需要自己下载。
1. 由于logstash-input-jdbc是ruby开发的，所以需要下载ruby，并且完成安装。
  
  ruby下载地址：https://rubyinstaller.org/downloads/，下载如下图版本即可，安装一路next即可
  
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bEFfjsDU-1578023832735)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103113121481.png)]
2. 验证ruby是否安装成功：ruby -v
  
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ahsE5zMm-1578023832736)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103113428885.png)]
3. 安装logstash-input-jdbc插件，注意进入logstash的bin目录，执行下列命令
```
.\logstash-plugin.bat install logstash-input-jdbc
```
  等待安装完成即可，安装完成后查看,我自己下载的logstash压缩包解压后，已经存在logstash-input-jdbc插件
  
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fedCsB2Q-1578023832736)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103112612841.png)]
安装完成后配置相关文件

进入logstash的安装目录下的config目录，新建配置文件mysql.conf（名称自己随便起），配置文件内容如下：
```
input {stdin { }jdbc {jdbc_connection_string => "jdbc:mysql://localhost:3306/xc_course?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"jdbc_user => "root"jdbc_password => "123456"jdbc_driver_library => "D:/develop/software/apache-maven-3.6.2/repository/mysql/mysql-connector-java/5.1.46/mysql-connector-java-5.1.46.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_paging_enabled => "true"jdbc_page_size => "50000"statement => "select * from course_pub where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)"schedule => "* * * * *"record_last_run => truelast_run_metadata_path => "D:/develop/software/elasticsearch/logstash-6.2.1/config/logstash_metadata"}}output {stdout {codec => json_lines}elasticsearch {hosts => "localhost:9200"index => "xc_course"document_type => "doc"document_id => "%{id}"}
}
```
注意修改相应的连接，如数据库地址，数据库驱动jar包位置，我这里的配置是由于需要根据数据库的一个时间戳字段来实现实时更新，所以配置了[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XAXl3x5o-1578023832737)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103114640279.png)]

logstash_metadata文件里面存放主要是更新的时间[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3EH6Htsy-1578023832738)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103114732521.png)]
配置完成后，进入bin目录，完成启动。
```
logstash -f ..\config\mysql.conf
```
启动成功如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-D5N9PPac-1578023832739)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103115100715.png)]
当控制台打印相应数据的记录表示同步成功，然后通过head插件查看

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-76U8ESoj-1578023832740)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200103115222931.png)]

最后期间我自身由于数据的一个时间字段不是date类型，导致失败，后面更新数据库字段的类型即可

记一次ES整合logstash所遇的坑相关推荐

基于springboot项目中使用docker-compose+es+kibana+logstash+mysql 提高数据查询效率
基于springboot项目中使用docker-compose+es+kibana+logstash+mysql 提高数据查询效率 1.拉取logstash,kibana,es,mysql镜像 #命令 ...
batocera整合包_OGA 官方固件 + Retroarch + 睡眠模式 ES整合包
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 OGA 官方固件 + Retroarch + 睡眠模式 (由valadaa48制作) ES整合包版本特点: 完整的64位Retroarch,兼容官方64 ...
记Outlook插件与Web页面交互的各种坑 (含c# HttpWebRequest 连接https 的完美解决方法)
记Outlook插件与Web页面交互的各种坑 (含c# HttpWebRequest 连接https 的完美解决方法) 参考文章: (1)记Outlook插件与Web页面交互的各种坑 (含c# Htt ...
记一次robotframework-ride快捷方式打不开的坑！！
记一次robotframework-ride快捷方式打不开的坑!! robotframework-ride快捷方式打不开,点击没反应百度了很久都没有解决这个问题,如果你也遇到这个问题,请看下去这个 ...
Spring Cloud构建微服务架构：分布式服务跟踪（整合logstash）【Dalston版】
通过之前的<入门示例>,我们已经为两个由SpringCloud构建的微服务项目 trace-1和 trace-2引入了Spring Cloud Sleuth的基础模块 spring-clo ...
产品设计体会（4014）记一次产品整合预研
我怎么又起了个小学生作文的题目--事情是这样的:7月份,集团下我所在的子公司A组织结构变动,我在的事业部被划分到另外一家子公司B.于是,我做的产品就需要考虑这么一件事:新情况下,这个产品如何与B现有产 ...
【elasticsearch】elasticsearch教程 es整合springboot教程 kibana安装教程解决kibana访问404
文章目录 linux安装es springboot-data整合es kibana安装 es和kibana配置账号密码 es的账号密码设置 kibana的账号密码设置 es高阶分片策略推迟分片分配 ...
ES整合SpringBoot并实现京东搜索
目录 1.springboot整合ES 1.1 添加依赖 1.2 创建一个配置,获取ES工具类对象. 1.3 进行相关对ES操作 1.3.1 操作索引---创建索引 1.3.2 操作索引--删除索引 ...
14. es 整合springboot
2019独角兽企业重金招聘Python工程师标准>>> 1.目的通过程序对es 进行增删改查 2. 实现过程 2.1 搭建springboot项目手动加入lombok 的jar ...

记一次ES整合logstash所遇的坑

记一次ES整合logstash所遇的坑

记一次ES整合logstash所遇的坑相关推荐

最新文章

热门文章