kettle分批处理大表数据_kettle-批量同步表数据

一、实验目标

利用kettle实现从mysql数据库中的dbf库批量同步表到dbm库(全量同步)

二、实验环境

dbf 库中表f1、f2、f3 。f1中1条数据，f2中100条数据，f3中2条数据。

dbm库中表f1、f2、f3 。f1、f2、f3都为空表。

f1、f2、f3表结构一样如下：

CREATE TABLE `f1` (

`ID` bigint(20) NOT NULL AUTO_INCREMENT,

`anlage` varchar(20) DEFAULT NULL,

`card_count` int(11) DEFAULT NULL,

`card_id` varchar(30) DEFAULT NULL,

`card_no` varchar(30) DEFAULT NULL,

`card_remark` varchar(5) DEFAULT NULL,

`company_code` varchar(20) DEFAULT NULL,

`do_code` varchar(10) DEFAULT NULL,

`updatetime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,

PRIMARY KEY (`ID`)

) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb4;

三、实验步骤

1.创建一个job(insert_job)：

2.创建转换gettable

表输入：

3.创建转换insertall

表输入ftable：表输出mtable：

转换insertall属性：

4.insert_job 属性

四、实验结果

结论：

整个过程简单粗暴，很low，但也记录一下学习点滴

原文：http://www.cnblogs.com/cyt1153/p/6674068.html

kettle分批处理大表数据_kettle-批量同步表数据相关推荐

kettle分批处理大表数据_采用Kettle分页处理大数据量抽取任务
需求: 将Oracle数据库中某张表历史数据导入MySQL的一张表里面. 源表(Oracle):table1 目标表(MySQL):table2 数据量:20,000,000 思路: 由于服务器内存资 ...
kettle分批处理大表数据_Kettle大量数据快速导出的解决方案（利用SQL导出百万级数据，挺快的）...
org.apache.commons commons-vfs2 2.0 org.scannotation scannotation 1.0.3 dom4j dom4j 1.6.1 pentaho-ke ...
kettle分批处理大表数据_kettle 分批次拿数据库
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
【Spark调优】大表join大表，少数key导致数据倾斜解决方案
[Spark调优]大表join大表,少数key导致数据倾斜解决方案参考文章: (1)[Spark调优]大表join大表,少数key导致数据倾斜解决方案 (2)https://www.cnblogs. ...
用sql语句快速生成大量数据，批量生成数据
用sql语句快速生成大量数据,批量生成数据 1.首先先建两个表 – 创建一个临时内存表 set global log_bin_trust_function_creators=1; DROP TABLE ...
java批量处理数据_Java批量处理数据
要求:共1000条数据,第一次批量插入100条,第二次批量插入101到200条,依次插入数据: 实现方式这里选择了两种常用的方式,都是使用List操作: 第一种实现思路如下: <1> 原先 ...
oracle 批量导入数据,Oracle批量插入数据的三种方式【推荐】
第一种: begin insert into tableName(column1, column2, column3...) values(value1,value2,value3...); inse ...
linux批量es数据,Elasticsearch批量插入数据
Elasticsearch批量插入数据使用bulk批量操作数据库 1. 创建批量操作文件格式: {"index":{"_index":"home& ...
pymysql单条插入数据和批量插入数据：
一.单条插入数据: #!/usr/bin/python3 import pymysql # 打开数据库连接 db = pymysql.connect("localhost" ...

kettle分批处理大表数据_kettle-批量同步表数据

kettle分批处理大表数据_kettle-批量同步表数据相关推荐

最新文章

热门文章