【ketlle】本地开发kitlle job提交至linux生产环境上执行流程

【ketlle】本地开发kitlle job提交至linux生产环境上执行

前言
操作步骤
后记

前言

因为kettle提供可视化界面，所以我们在本地开发的时候拖拽开发十分便捷，开发完成后，我们需要丢到测试或者生产环境中运行一下，这里介绍一下整个流程。

操作步骤

将整个工程打包（包含kjb和ktr），拖至线上机器，解压在某一路径下，然后进到kittle的安装路径下，找到名为kitchen.sh的脚本：

接着执行（把kjb里面涉及的环境变量拷贝到线上kettle的kettle.properties中）：

# -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/下为逻辑文件
# -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`为打印日志文件
sh kitchen.sh -file /var/lib/hadoop-yarn/dw_etl/mysql_oracle_to_hdfs_20200119/KETTLE_JOB.kjb -logfile /var/lib/hadoop-yarn/ml/KETTLE_JOB_`data +%y%m%d`

执行效果如下：

后记

因为本地环境的网速限制，传输数据的过程十分缓慢，换到线上环境就十分迅速了。

【ketlle】本地开发kitlle job提交至linux生产环境上执行流程相关推荐

linux 正则查找email_Linux生产环境上，最常用的一套“Sed“技巧
sed命令应用广泛,使用简单,是快速文本处理的利器.它其实没多少技巧,背诵.使用是最合适的学习渠道,属于硬技能.但它又很复杂,因为高级功能太多.本篇不去关注sed的高级功能,仅对常用的一些操作,进行说 ...
ASP.NET Core 发布至Linux生产环境 Ubuntu 系统
ASP.NET Core 发布至Linux生产环境 Ubuntu 系统,之前跟大家讲解了 dotnet publish 发布,而没有将整个系统串起来. 今天就跟大家综合的讲一下ASP.NET Core ...
Linux生产环境CPU使用率100%，教你定位到具体函数
在我们项目部署上线的时候,我们是不是会经常去Linux服务器上查查服务器的CPU使用率,或者是运维经常会盯Linux的CPU使用率,发现监控报了60%的一般就会报警了,到了100%那就惨啦,做我开发的 ...
Linux生产环境运行flask
说明在生产环境运行Flask程序,也就是常用的linux服务器上跑Flask程序. 起因每次在服务器上跑Flask程序都会有下面这个warning (env) [root@i8z code]# p ...
JAVA开发与运维（web生产环境部署）
web生产环境部署,往往是分布式,和开发环境或者测试环境我们一般使用单机不同. 一.部署内容 1.后端服务 2.后台管理系统vue 3.小程序二.所需要服务器 5台前端服务器 8台后端服务三.所需 ...
CentOS（5.8/6.4）linux生产环境若干优化实战
CentOS系统安装之后并不能立即投入生产环境使用,往往需要先经过我们运维人员的优化才行.在此讲解几点关于Linux系统安装后的基础优化操作.注意:本次优化都是基于CentOS(5.8/6.4). 下 ...
CentOS（5.8/6.4）linux生产环境若干优化实战------就爱运维
特别说明:本文来自就爱运维.特和所有博友分享.更多优化,请关注www.92yunwei.com后续内容以及分享. CentOS系统安装之后并不能立即投入生产环境使用,往往需要先经过我们运维人员的优化才 ...
Linux 命令行上执行多个命令（分隔符简介使用）
Linux 系统可以在一个命令行上执行多个命令,相应的命令行的分隔符简介及使用如下: ; 如果命令被分号(;)所分隔,那么命令会连续的执行下去,就算是错误的命令也会继续执行后面的命令.示例如下: ls ...
linux生产环境下安装anaconda总结
前言: 工作中,常常要在新的linux生产服务器中安装自己的集成python环境,这种情况下有一点需要注意:不能覆盖生产服务器中的python环境(也就是自己的python环境要和系统的python环 ...

【ketlle】本地开发kitlle job提交至linux生产环境上执行流程

【ketlle】本地开发kitlle job提交至linux生产环境上执行

前言

操作步骤

后记

【ketlle】本地开发kitlle job提交至linux生产环境上执行流程相关推荐

最新文章

热门文章