Kettle 实现数据同步

因为服务器限制，现需要同步两个不同数据库的业务表数据。

这里选择使用Kettle 实现。5分钟，同步一次。

下面是实现的操作总结。

1.下载安装kettle

https://sourceforge.net/projects/pentaho/files/Data%20Integration/

环境要求：安装jdk：1.8或以上版本

配置java环境变量 JAVA_HOME

具体查看jdk环境配置

配置kettle环境变量 KETTLE_HOME ，目录指向kettle的实际安装目录： ..../data-integration

2.解压点击 Spoon.bat 即可运行 data-integration/Spoon.bat。首次较慢需等待

3.这里我所需的同步是 A库中的3张表实时同步到B库中

这里要用的是数据同步，通过比较数据源和目标数据的内容，对目标数据表进行插入、更新、删除操作使两张表内容完全一致。

1创建转换

界面：文件--创建--转换

2主对象树：添加数据库链接

点击测试可以查看链接是否成功

首次链接可能因为没有对应驱动无法连接，可在目录......\data-integration\lib下添加对应数据库驱动jar包

mysql：mysql-connector-java-5.1.48-bin.jar

3.核心对象：

输入--表输入拖拽到工作台。双击编辑属性。

选择要同步的表或者要同步的数据sql

这里需要两个表输入源数据表和目标数据表

连接--合并记录

将俩个表输入连接在一起。

需要保持顺序一致，连个表查询的时候可以order by 排个序

合并内容和数据同步是一起使用的。

设定好转换策略一定要保存，保存**.ktr文件到一个目录即可；

然后

文件--新建--作业

通用--START

通用--转换

通用--成功

按住Shift 连接功能块

点击转换设置转换文件：选择刚刚的.ktr文件

确定即可。

保存作业文件，需要先保存才可以运行。

运行可查看同步结果。

开始功能块可以设置定时循环条件。

Kettle 实现数据同步相关推荐

kettle spoon 数据同步
kettle spoon 数据同步博客分类:mysql kettle spoon 数据同步写这篇随笔只为记录,免得忘记了. 第一步:建立一个转换,文件->新建->转换第二步:打开转 ...
利用kettle进行数据同步
最近工作上遇到数据同步场景就简单记录下这里使用kettle9.0版本为例. 概述如下图表输入步骤就简单说明下: 1.没有数据源就创建数据源在选择数据源 2.选择模式,当然你若是mysql就这一步当 ...
使用Kettle进行数据同步（增量）
文章目录 kettle介绍 kettle安装 kettle使用使用kettle同步关系型数据库数据(MySQL示例) 1. 创建一个转换 2. 选择表输入 3. 格式转换 4. 执行脚本 5. 创建 ...
kettle 批量多表同步_财务基础数据同步的方式
全文共计1800字,预计阅读时间: 5 分钟良人一句三冬暖,伤人一语六月寒! 前言介绍财务进销存系统框架时,一直在说财务数据需要进行分层,从基础数据到计算层,再到财务数据层,最后是展现层,每层间都 ...
kettle spoon判断增量更新_使用Kettle实现数据实时增量同步--时间戳增量回滚同步...
使用Kettle实现数据实时增量同步 0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法.关于ETL和Kettle的入门 ...
kettle实现数据增量同步方案
1. 背景我司目前数据库之间的数据同步都是oracle goldengate(ogg)方案,该方案的特点: 优点: 基于数据库的变更日志同步(oracle redo\mysql binlog),速度 ...
kettle 插入更新数据增量_使用Kettle实现数据实时增量同步
2018-09-28: 示例job已上传至github,地址见文末 0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步,采用了时间戳增量回滚同步的方法. ...
Kettle-开源的ETL工具集-实现SqlServer到Mysql表的数据同步并部署在Windows服务器上
场景 kettle 中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出.是一款由纯Java编写的ETL工具,绿色无需安装,数据抽取高效稳定(数据迁移工具). ...
ETL的数据同步工具调研(持续更新中)
扯白了,数据同步工具就是"导数据 "的名称社区响应国内使用情况(以前程无忧为参考) SQOOP 更新缓慢,对于hbase2.x以上版本使用时需要老版本的jar包 9页 Dat ...

Kettle 实现数据同步

Kettle 实现数据同步相关推荐

最新文章

热门文章