数据全量、增量、比较更新
【实验目的】
1.利用Kettle的“表输入”，“表输入出”，”JavaScript代码”组件，实现数据全量更新。
2.熟练掌握“JavaScript代码”，“表输入”，“表输入出”组件的使用，实现数据全量更新。
【实验原理】
通过“表输入”对MySQL表格的数据读入，然后通过“JavaScript代码”更新抽取数据的时间，再通过“表输入出”保存表格到MySQL数据库。
【实验环境】
操作系统：Windows10
Kettle版本：7.1.0.0
jdk版本：1.8.0及以上版本
【实验步骤】
一、建立转换
双击spoon.bat打开kettle。（1）点击新建按钮，在下拉菜单中点击选择"转换"即可创建；（2）然后点击"保存"重命名该转换文件，保存在某个指定的路径；（3）选择输入步骤、输出步骤和跳。
二、各组件的配置
1.使用Navicat向数据库mysql导入数据表：‘课程信息表’，导入结果如下：
2.“表输入”的配置：
Step1：双击‘表输入’组件，新建数据库的连接并进行测试，
Step2：连接成功后，获取表的字段名称
2.“JavaScript代码”的配置：
双击“HTTP client”组件，编写Script1的代码，并获取其相应字段名称和类型。
3.“表输出”的配置：
双击‘表输出’组件，选择目标表的名称，并使用SQL语句进行创建：
4.“表输出2”的配置：
双击‘表输出2’组件，选择目标表的名称，并使用SQL语句进行创建：
三、执行转换
点击按钮，执行转换，结果如下：
四、实验结果:
输入文件‘课程信息表.xlsx’：
输出文件‘test4_tableout’：
输出文件‘test4_tableout2’：
五、实验中遇到的困难：
表输入和表输出的数据库连接前后要一致（实验过程中，因不经意间改变了表输入步骤的数据库连接名称，致使表输出一直报错）
六、实验总结
本次试验主要是通过一个表输入，两个表输出来实现数据全量更新。一条经过JavaScript代码的处理，在数据表里添加表输出时的时间字段，另一条直接进行表输出，这两条过程的输出结果形成一个对比，实现数据的比较更新。
附 件：
数据全量、增量、比较更新相关推荐
- ODPS 数据全量/增量同步方案
随着业务量增加,原采用的mysql 对大量业务数据的处理效率降低,公司采购的ODPS(MaxCompute) 阿里数据处理平台,进行数据的处理. 一.源数据库 -> ODPS 全量同步,直接同步 ...
- 基于Solr DIH实现MySQL表数据全量索引和增量索引
实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data Import Handler)组件,对data-config.xml进行简单 ...
- solr mysql 增量索引_基于Solr DIH实现MySQL表数据全量索引和增量索引
实现MySQL表数据全量索引和增量索引,基于Solr DIH组件实现起来比较简单,只需要重复使用Solr的DIH(Data Import Handler)组件,对data-config.xml进行简单 ...
- Elasticsearch和MySQL数据同步（logstash-input-jdbc）全量增量方式同步近千万数据
同步方案: 同步读写:最为简单的方式在将数据写到mysql时,同时将数据写到ES,实现数据的双写. 异步双写(MQ方式):MQ的性能基本比mysql高出一个数量级,所以性能可以得到显著的提高. 定时器 ...
- mysqldump备份（全量+增量）
在日常运维工作中,对mysql数据库的备份是万分重要的,以防在数据库表丢失或损坏情况出现,可以及时恢复数据. 线上数据库备份场景: 每周日执行一次全量备份,然后每天下午1点执行MySQLdump增量备 ...
- mysqldump全量恢复_【MySQL】全量+增量的备份/恢复
生产环境中,有时需要做MySQL的备份和恢复工作.因MySQL是在运行过程中的,做全量备份需要时间,全量备份完成后又有数据变动,此时需要增量备份辅助.如果想恢复数据到一个空库(例如数据迁移或者上云等更 ...
- “全量增量” 与 “增量同步” 一文了解清楚【建议收藏】
大家在同步数据的时候都会接触到2个名词,"全量增量" 与 "增量同步" ,名字都长得差不多,但是意思和操作却不一样:比如部门领导给你方案,那我们要如何去选择其中 ...
- MySQL数据库之全量+增量+二进制日志的备份与恢复
一.简介数据的备份与恢复 1.为什么备份? 灾难恢复:人为错误.硬件故障(冗余).软件故障(bug).自然灾害.黑客攻击.误操作.-: 测试: 2.备份时应该注意些什么? 能容忍最多丢失多少数据: 恢 ...
- 《华为数据之道》-第7章 打造“数字孪生”的数据全量感知能力
<华为数据之道>系列丛书 第1章 数据驱动的企业数字化转型 第2章 建立企业级数据综合治理体系 第3章 差异化的企业数据分类管理框架 第4章 面向"业务交易&qu ...
最新文章
- DB-Engines 2018：PostgreSQL 蝉联“年度数据库”称号
- Android 用虹软SDK做人脸识别
- 无监督领域迁移及文本表示学习的相关进展
- egret：什么是脏矩形
- JZ2440用U-Boot给Nand-Flash烧写程序时报错：NAND write: incorrect device type in bootloader ‘bootloader‘ is not
- 互联网人理想假期VS现实假期
- 【Day07】v-model 是如何实现的，语法糖实际是什么？
- php赋值就变错误了,PHP基础陷阱题(变量赋值)_PHP教程
- SpringBoot学习---thymeleaf模板引擎
- 第二章 过程域——技术解决方案
- 苹果低头了，但不想丢掉它的皇冠
- 苹果手机开热点电脑/安卓手机无法链接？
- 思维导图是一个查漏补缺的好工具
- 解决微信群服务管理难题，只需要一个助手
- 弘辽科技：同为女强人，人生道路却大不相同。
- 【UnityShader】光线追踪体积光
- Corel Painter 2022 for Mac v22.1.121 – 数字艺术绘图软件
- 专题 | 如何抢先一步拿 Offer？
- springboot整合webSocket（看完即入门）
- 软件测试是要学习什么技能？