利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch

这里我演示的是在windows下的操作

首先下载logstash-5.6.1，直接去官网自行下载

1.需要创建如下jdbc.conf和myes.sql两个文件

input {stdin {}jdbc {jdbc_driver_library => "D:\jdbcconfig\sqljdbc4-4.0.jar"jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"jdbc_connection_string => "jdbc:sqlserver://127.0.0.1:1433;DatabaseName=abtest"jdbc_user => "sa"jdbc_password => "123456"# schedule => 分 时 天 月 年  # schedule => * 22  *  *  *     //will execute at 22:00 every dayschedule => "* * * * *"jdbc_paging_enabled => truejdbc_page_size => 1000clean_run => falseuse_column_value => true            #设置查询条件的字段tracking_column => lastedittimerecord_last_run => truelast_run_metadata_path => "D:\jdbcconfig\data\station_parameter.txt"            #设置列名小写lowercase_column_names => truestatement_filepath => "/jdbcconfig/myes.sql"#索引的类型type => "test"}
}filter {json {source => "message"remove_field => ["message"]}
}output {elasticsearch {hosts => ["172.16.57.233:9200"]action => "index" #索引index => "test"document_id => "%{productid}"}stdout {#codec => json_lines        #设置输出的格式codec => line {format => "productid: %{[productid]} isdeleted: %{[isdeleted]} lastedittime: %{[lastedittime]} " }}
}一定要注意配置的路径是否正确，否者执行会报错

myes.sql是里面你需要执行查询的SQL语句

SELECT *
FROM [dbo].test

首先要启动elasticsearch，

然后在logstash的bin目录下执行如下命令：logstash -f jdbcconfig/jdbc.conf

数据就开始同步了。。。。

转载于:https://www.cnblogs.com/ok123/p/7612125.html

利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch相关推荐

confluent实时同步sqlserver数据到kafka
安装准备 192.168.23.132 (主机名spark01) 192.168.23.133 (主机名spark02) 192.168.23.134 (主机名spark03) confluent-5 ...
使用canal实时同步MySQL数据到Elasticsearch
使用canal实时同步MySQL数据到Elasticsearch 搭建环境安装 elasticsearch 安装 kibana 下载和安装canal 1.下载canal 2.配置MySQL 3.配置 ...
Logstash 安装及简单实用（同步MySql数据到Elasticsearch）
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的.多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件 Windows环境: 1.下载logstas ...
logstash同步mysql数据到elasticsearch，动态模板
后台运行logstash Last login: Thu Jul 23 17:50:26 2020 [root@localhost ~]# nohup /home/essoft/logstash-6 ...
elasticsearch-jdbc同步myslq数据到elasticsearch
一.linux上使用前提: 1)elasticsearch 2.3.2 安装成功,测试ok. 2)mysql安装成功,能实现增.删.改.查. 可供测试的数据库为test,表为cc,具体信息如下: m ...
使用canal同步MySQL数据到Elasticsearch(ES)
目录 1.功能及使用场景 1.1.功能介绍 1.2.使用场景 2.需求引入 3.canal文件下载及准备 3.1 下载文件 3.2 准备文件 4.deployer安装及效果测试 4.1.deploye ...
canal deployer+canal adapter自动同步MySQL数据到ElasticSearch
一.安装Elastic Search 6.8 1.下载 Elastic Search 6.8资源下载 2.部署环境配置创建用户(es不能使用root启动,否则报错) adduser elastic ...
【Elasticsearch】推荐一个同步Mysql数据到Elasticsearch的工具
1.概述转载:https://elasticsearch.cn/article/756
logstash增量同步mysql数据到es
本篇本章地址:https://www.cnblogs.com/Thehorse/p/11601013.html 今天我们来讲一下logstash同步mysql数据到es 我认为呢,logstash是众 ...
Logstash同步mysql数据
Logstash同步mysql数据到ElasticSearch 1.安装logstash 下载logstash,解压压缩包下载地址:https://www.elastic.co/downloads/ ...

利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch

利用 Logstash-input-jdbc同步sqlserver数据到elasticsearch相关推荐

最新文章

热门文章