ekl中logstash的导入配置

1.上传mysql连接jar包mysql-connector-java-5.1.23-bin.jar
2.在logstash安装目录下新建一个sqlconf文件夹
mkdir sqlconf
3.在sqlconf目录下新建test.conf和test.sql
touch sqlconf/test.conf
touch sqlconf/test.sql
4.test.sql的内容
SELECT
id AS id,
name AS name
FROM test
5.test.conf文件配置内容
input {
jdbc {
jdbc_driver_library => "/xxx/mysql-connector-java-5.1.23-bin.jar"
jdbc_driver_class => “com.mysql.jdbc.Driver”
jdbc_connection_string => "jdbc:mysql://xxx.xxx.xxx.xxx:3306/test"
jdbc_user => “root”
jdbc_password => “root”
jdbc_paging_enabled => “true”
jdbc_page_size => “50000”
statement_filepath => "/xxx/sqlconf/test.sql"
}
}
output {
elasticsearch {
hosts => "xxx.xxx.xxx.xxx:9200"
index => "test"
}

    stdout { codec => json_lines }

}
6.test.conf中个项的配置意义

a. ** jdbc_driver_library => “/xxx/mysql-connector-java-5.1.23-bin.jar”** 是配置mysql-connector-java-5.1.23-bin.jar的绝对路径
b .jdbc_connection_string => “jdbc:mysql://xxx.xxx.xxx.xxx:3306/test” 是mysql库的连接地址
c. statement_filepath => “/xxx/sqlconf/test.sql” 是test.sql的绝对地址
d. **hosts => “xxx.xxx.xxx.xxx:9200” 是es的连接地址
e. *index => “test” 是需要导入（建立）的索引名称
7.执行导入
./bin/logstash -f sqlconf/test.conf

ekl中logstash的导入配置相关推荐

ASP.NET Aries 高级开发教程：Excel导入配置之规则说明（下）
前言: 前面两篇都是大体介绍流程,有一些配置细节,没有细说,这里用一篇补上. 1.Excel配置项起始行索引.列头跨行数: 对于自定义的Excel导入模板(有时候模板是由客户提供,模板的规则很乱)比 ...
mysql数据库导入到excel表格数据_[转载]将EXCEL表格中的数据导入mysql数据库表中（两种方法）...
今天项目上遇到需要将excel中的数据导入到数据库的classify表中,于是乎拼命上网查阅方法,发现以下两种方法比较可行: 在此之前先说说按照网上的说法我没有试验成功的方法,将excel文件xls保 ...
Logstash 父子关系配置
最近在使用Lostash的过程中遇到了一个问题:在一个log文件里包含两类数据,而且两类数据之间存在父子关系,那如何使用lostash的configuration实现这个需求呢思路: 首先定义父事件 ...
eclipse mysql Xml配置_mysql8.0在eclipse中通过xml文件配置数据库连接池
mysql8.0在eclipse中通过xml文件配置数据库连接池 1.关于Mysql8.0 2.数据库连接池(DBCP) 3.准备工作 4.配置context.xml 5.配置web.xml 6.调用 ...
在ASP.Net Core和JAVA中，使用Azure配置密钥——Key Vault
思路浅析在软件开发中,项目安全是重中之重,特别是在多部门或者开源项目中,如何保存我们的密钥,但又不影响本地的开发,更需要我们开发者需要考虑的问题,这里简单的列举了下平时开发中我们做的方案: 1.本地 ...
hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中
测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中. 需要注意的地方: 1,要添加hive.metastore.uris这个参数.否则无法将数据加载到hive表中 ...
dev项目属性按钮是灰色_Spring Boot 中的项目属性配置
阅读本文约需要5分钟大家好,我是你们的导师,我每天都会在这里给大家分享一些干货内容(当然了,周末也要允许老师休息一下哈).上次老师跟大家分享了Spring Boot 如何使用 SLF4J 进行日志记 ...
webbrowser中localhost和发布的地址_004、Spring Boot中的项目属性配置
我们知道,在项目中,很多时候需要用到一些配置的信息,这些信息可能在测试环境和生产环境下会有不同的配置,后面根据实际业务情况有可能还会做修改,针对这种情况,我们不能将这些配置在代码中写死,最好就是写到配 ...
【clickhouse】使用waterdrop将Hive中的数据导入ClickHouse
1.概述转载:使用waterdrop将Hive中的数据导入ClickHouse 这里仅仅自己学习用. 前言最近有一个需求需要把hive的数据同步到clickhouse,而且数据量还比较大,所以使用 ...

ekl中logstash的导入配置

ekl中logstash的导入配置相关推荐

最新文章

热门文章