Kettle_Spoon如何将MySQL数据抽取到ES

一键三连点赞评论加关注！

欢迎各位江湖大佬共同探讨技术！！！

1. 启动Spoon后在欢迎页面点击左上角+号，进行添加一个转换（这里转换相当于一个线程，我们可以根据需求在这个转换里进行数据操作）

2.添加一个转换后点击左侧主对象树、右键DB连接、点击新建、这步的目的是创建数据库连接，连接我们想要连接的数据库，以便我们后续抽取用。

点击新建后会出现一个数据库连接窗口，连接类型选择MySQL，然后根据顺序将数据库信息填写好后点击“测试” 出现连接成功提示表示我们连接成功了！（③连接名称可根据数据库起名，避免以后连接多个数据分不清楚）

3. 在转换1里点击核心对象里的输入文件夹打开并找到表输入组件（核心对象所有组件在转换里我们都可以使用，部分组件使用说明可参考：组件使用说明），双击或鼠标左键拖到右侧转换1空白处即可，表输入组件可根据查询语句查询数据库数据！

4. 将表输入组件拖入后双击打开，打开后首先选择数据库连接（连接我们要查询的数据库），并给步骤起个名字，根据需求编写好MySQL查询语句，所有步骤完成后点击确定即可，也可以点击“预览”进行验证此步骤是否有问题，没问题的话就会有数据显示，说明数据可以正常查询出来。

5. 核心对象--->批量加载里找到“Elasticsearch bulk insert”组件（Elasticsearch批量插入）拖入到此转换，按住Shift键后鼠标左键单击前面组件进行拖住拽，将两个步骤连接。

6. 配置Elasticsearch bulk insert，连接es目标索引

7. 启动转换，抽取

最后es索引数据出来了！！！

Kettle_Spoon如何将MySQL数据抽取到ES相关推荐

使用canal同步MySQL数据到Elasticsearch(ES)
目录 1.功能及使用场景 1.1.功能介绍 1.2.使用场景 2.需求引入 3.canal文件下载及准备 3.1 下载文件 3.2 准备文件 4.deployer安装及效果测试 4.1.deploye ...
canal实现mysql数据实时同步es
前言 canal是阿里开源的一款用于同步mysql数据到其他数据存储的中间件,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费在搭建mysql服务器主从同步的时候,我们知道,备 ...
java中SpringBoot项目定时将MySql数据同步到ES中
项目所用依赖 <modelVersion>4.0.0</modelVersion><artifactId>tm-shop-model</artifactId& ...
MySQL数据同步到ES集群(MySQL数据库与ElasticSearch全文检索的同步)
简介:MySQL数据库与ElasticSearch全文检索的同步,通过binlog的设置对MySQL数据库操作的日志进行记录,利用Python模块对日志进行操作,再利用kafka的生产者消费者模式进行 ...
如何将mysql数据同步到es
根据业务场景我们有三种方式如果是历史数据同步我们可以用logstash同步数据库数据到es具体操作如下 1 上传并解压logstash 2 创建文件夹sync并在里面创建文件logstash-db- ...
mysql数据同步到es
线上环境使用了logstash做mysql和es的数据同步.数据量过大时.可能会出现同步延时的问题. 一般同步方案有三种: 1:logstash等工具同步 2:数据库ES双写 3:消息机制第一种有点 ...
mysql数据迁移到ES
下载安装包时注意下载到指定文件夹这里我放在OPT文件夹下一:安装logstash 进入到opt文件夹打开终端执行以下命令 wget -c https://artifacts.elastic.co ...
通过Logstash实现mysql数据定时增量同步到ES
文章目录前言一.系统配置二.同步步骤整体概览三.logstash数据同步实战 1.新建mysql表 2.ES中新建索引 3.Logstash 管道配置 4.启动Logstash 5.测试 6. ...
MYSQL数据同步到ＥＳ７
** 概述 ** 现在的项目数据量越来越大,全文检索功能使用场景也越来越普遍. 而我们一般的生产数据是在mysql,或其它一些数据库, 我们的产品数据就是mysql,而又要使用全文检索, 所以要把my ...
Mysql 数据同步到 Elasticsearch
阅读目录说明 1 同步原理 2 插件 logstash-input-jdbc go-mysql-elasticsearch elasticsearch-jdbc 3 logstash-input-j ...

Kettle_Spoon如何将MySQL数据抽取到ES

Kettle_Spoon如何将MySQL数据抽取到ES相关推荐

最新文章

热门文章