ETL工具(数据同步) 二

kettle使用掌握之后，还需要掌握在linux下的定时执行的策略

一、kettle使用感觉较为方便

虽然kettle自带调度任务。但是前提是需要保持kettle打开。并且作业处在运行状态。不太适合用与远程服务器安装windows客户端，只限于学习使用

在linux安装kettle并通过调度是一个较为好用的方法

二、使用步骤

1、将kettle文件夹 data-integration 解压到linux服务器上建立 /kettle/ 目录存放程序

2、建立目录存放kettle文件

mkdir /data/kettle/kettle_job //存放作业文件
mkdir /data/kettle/kettle_transition //存放转换
mkdir /data/kettle/kettle_sh //存放执行脚本
mkdir /data/kettle/kettle_log //存放执行kettle产生日志

将从windows配置生成的 .ktr 和 .kjb 程序分别放在 transition目录和 job目录

3、编写执行脚本

/data/kettle/kettle_sh/start.sh

#!/bin/bash#执行job程序cd /data/kettle/data-integrationexport JAVA_HOME=/usr/local/jdk1.8.0_201/export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin./kitchen.sh -file=/data/kettle/kettle_job/testjob.kjb >>/data/kettle/kettle_log/ceshi_$(date +%Y%m%d).log

注：(因为crond是个守护进程，它不归属于任何用户，虽然之前以root用户配置了java环境变量，但是crond一样找不到java命令，所以，当crond执行kettle任务时，需要动态设置java环境变量，否则会出现手动执行.sh没问题，放crontb里面执行后无效果)

保存 start.sh，执行赋予权限命令

chmod +x start.sh

测试脚本是否可以正常执行

sh -x start.sh

4、设定crontab 定时执行任务

# crontab -e

*/1 * * * * /data/kettle/kettle_sh/ceshi.sh //每分钟执行一次ceshi.sh

# systemctl restart crond# systemctl enable crond

生效完成

三、ETL kettle学习路径

1、ETL工具(数据同步)_无敌小田田的博客-CSDN博客Kettle做跨库数据迁移工作https://blog.csdn.net/qq_36602951/article/details/125898662

2、

ETL工具(数据同步) 二_无敌小田田的博客-CSDN博客kettle使用掌握之后，还需要掌握在linux下的定时执行的策略https://blog.csdn.net/qq_36602951/article/details/125959374

ETL工具(数据同步) 二相关推荐

ETL工具(数据同步)
一.研究了kettle Kettle最早是一个开源的ETL工具前置条件,kettle是一个jar包项目,依赖jdk.安装kettle需要安装好jdk环境二.下载安装 1.源代码下载: GitHub ...
ETL的数据同步工具调研(持续更新中)
扯白了,数据同步工具就是"导数据 "的名称社区响应国内使用情况(以前程无忧为参考) SQOOP 更新缓慢,对于hbase2.x以上版本使用时需要老版本的jar包 9页 Dat ...
Kettle-开源的ETL工具集-实现SqlServer到Mysql表的数据同步并部署在Windows服务器上
场景 kettle 中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出.是一款由纯Java编写的ETL工具,绿色无需安装,数据抽取高效稳定(数据迁移工具). ...
etl数据抽取工具_数据同步工具ETL、ELT傻傻分不清楚？3分钟看懂两者区别
什么是数据同步工具(ETL.ELT) 数据同步工具ETL或者ELT的作用是将业务系统的数据经过抽取.清洗转换之后加载到数据仓库的过程,目的是将企业中的分散.零乱.标准不统一的数据整合到一起,为企业的决 ...
数据提取、转换和加载 - ETL工具
ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取.转换和加载. ETL工具有:OWB(Oracle Warehouse Builder).ODI(O ...
常用的数据集成ETL工具有哪些？
一.Informatica Informatica是全球领先的数据管理软件提供商.在如下 Gartner魔力象限位于领导者地位:数据集成工具魔力象限.数据质量工具魔力象限.元数据管理解决方案魔力象限. ...
大数据同步工具Canal
目录 1 什么是canal 2 canal能做什么 3 如何搭建canal 3.1 首先有一个MySQL服务器 3.2 安装canal 4 Java客户端操作 5 总结 6 ClientAdapter ...
php阿里的同步工具canal,基于阿里的Canal实现数据同步
一.开启同步数据库的binlog功能 (1)开启同步数据端的数据库服务(比如我的将一号虚拟机上的mysql数据库作为同步操作数据库) systemctl start mysql.service mys ...
DataX离线数据同步工具/平台
DataX离线数据同步工具/平台 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.SQL Server.Oracle.PostgreSQL.HDFS.Hive.O ...

ETL工具(数据同步) 二

ETL工具(数据同步) 二相关推荐

最新文章

热门文章