1.概述

转载：https://www.cnblogs.com/sanduzxcvbnm/p/12076487.html

Logstash：把MySQL数据导入到Elasticsearch中

前提条件
需要安装好Elasticsearch及Kibana。

2. MySQL安装

根据不同的操作系统我们分别对MySQL进行安装。我们可以访问网页来对MySQL进行安装。等我们安装完我们的MySQL后，在我们的terminal中，打入如下的命令来检查MySQL的版本：

$ /usr/local/mysql/bin/mysql -V
/usr/local/mysql/bin/mysql  Ver 8.0.17 for macos10.14 on x86_64 (MySQL Community Server - GPL)

3.Logstash安装

在上一步中，已经知道了mysql的版本信息。需要下载相应的JDBC connector。在地址https://dev.mysql.com/downloads/connector/j/
下载最新的Connector。下载完这个Connector后，把这个connector存入到Logstash安装目录下的如下子目录中。

$ ls logstash-core/lib/jars/mysql-connector-java-8.0.17.jar
logstash-core/lib/jars/mysql-connector-java-8.0.17.jar

这样我们的安装就完成了。

准备练习数据
采用把一个CSV文件导入到MySQL中的办法来形成一个MySQL的数据库。CSV文件下载地址：

https://github.com/liu-xiao-guo/sample_csv

在上面的sample_csv中，有一个SalesJan2009.csv文件。通过MySQL的前端工具把这个导入到MySQL数据库中。

这样MySQL的数据库data里含有一个叫做SalesJan2009的数据就建立好了。

Logstash 配置
对Logstash做如下的配置sales.conf:

input {jdbc {jdbc_connection_string => "jdbc:mysql://localhost:3306/data"jdbc_user => "root"jdbc_password => "YourMyQLPassword"jdbc_validate_connection => truejdbc_driver_library => ""jdbc_driver_class => "com.mysql.cj.jdbc.Driver"parameters => { "Product_id" => "Product1" }statement => "SELECT * FROM SalesJan2009 WHERE Product = :Product_id"}
}filter {mutate {rename => {"longitude" => "[location][lon]""latitude" => "[location][lat]"}}
}output {stdout {}elasticsearch {index => "sales"hosts => "localhost:9200"document_type => "_doc"}
}

在这里，必须替换jdbc_user和jdbc_password为自己的MySQL账号的用户名及密码。特别值得指出的是jdbc_driver_library按elastic的文档是可以放入JDBC驱动的路径及驱动名称。实践证明如果这个驱动不在JAVA的classpath里，也是不能被正确地加载。正因为这样的原因，在上一步里把驱动mysql-connector-java-8.0.17.jar放入到Logstash的jar目录里，所以这里就直接填入空字符串。

运行Logstash加载数据
接下来我们运行Logstash来加载我们的MySQL里的数据到Elasticsearch中：

./bin/logstash --debug -f ~/data/sales.conf

在这里把sales.conf置于用户home目录下的data子目录中。

我们可以在Kibana中查看到最新的导入到Elasticsearch中的数据

这里显示在sales索引中有847个文档。一旦数据进入到我们的Elastic，我们可以对数据进行分析：

参考：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html#plugins-inputs-jdbc-parameters

【Logstash】Logstash：把MySQL数据导入到Elasticsearch中相关推荐

使用logstash将Mysql中的数据导入到ElasticSearch中（详细步骤，win_Elasticsearch）
在之前转载的一腾讯高级工程师<一文彻底了解Logstash>对logstach有这详细的介绍,这里我只说明一下,将mysql中的数据使用logstash导入到es中,如何操作,具体步骤见下 ...
mysql数据首次导入hive_sqoop1.4.7环境搭建及mysql数据导入导出到hive
sqoop文档:http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_prerequisites 在hive创建表和导入数据时必须添加分隔符, ...
使用logstash将Oracle数据导入到Elasticsearch
今天总结一下如何使用logstash将Oracle数据导入到Elasticsearch,然后后面会分享怎么在KONGA中配置API接口给用户. 首先要安装好Logstash并且在服务端安装好Elast ...
Mysql 数据同步到 Elasticsearch
阅读目录说明 1 同步原理 2 插件 logstash-input-jdbc go-mysql-elasticsearch elasticsearch-jdbc 3 logstash-input-j ...
solr mysql 导入命令_（solr系列:四）将mysql数据库中的数据导入到solr中及删除solr中导入的数据...
在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 准备工作: 1.mysq ...
sqoop mysql hadoop_使用sqoop将mysql数据导入到hadoop
hadoop的安装配置这里就不讲了. Sqoop的安装也很简单. 完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下): ...
sqoop把mysql数据导入hive
环境: 软件版本备注 Ubuntu 19.10 sqoop 1.4.7 mysql 8.0.20-0ubuntu0.19.10.1 (Ubuntu) hadoop 3.1.2 hi ...
solr mysql数据注入_（solr系列:四）将mysql数据库中的数据导入到solr中
在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器. 那么该如何将本地的mysql的数据导入到solr中呢? 准备工作: 1.mysq ...
sae mysql 同步本地_MYSQL入门之三_将本地MySQL数据导入SAE数据库_MySQL
bitsCN.com MYSQL入门之三_将本地MySQL数据导入SAE数据库 1. MySQL字符集 MySQL的默认字符集是latin1,将本地MySQL库导出成sql,再导入到SAE的MySQL ...

【Logstash】Logstash：把MySQL数据导入到Elasticsearch中

1.概述

2. MySQL安装

3.Logstash安装

【Logstash】Logstash：把MySQL数据导入到Elasticsearch中相关推荐

最新文章

热门文章