linux kettle运行作业,kettle之linux使用kettle
Kettle可以在Window、Linux、Unix上运行,数据抽取高效稳定,使用之前需要准备环境。
准备java环境,这里就不赘述了,建议jdk7以上版本。
上传kettle压缩包,并解压,我解压的路径是/usr/soft/kettle
以下是重点:
确保kettle脚本可执行权限
使用命令查看文件权限
ls -l /data-integration
如图:

如果没有执行权限,执行以下命令:
chmod +x /usr/soft/kettle/dist/*.sh
使用命令测试是否部署成功
./dist/kitchen.sh
部署成功后的截图:

常用命令
ktr的运行:运行transformation文件是通过pan.sh来运行的。
打开cmd命令行窗口,转到pan.sh所在的目录,如/home/zzq/data-integration,然后执行文件的命令为
./pan.sh -file=/home/zzq/work/test.ktr
1
如果要输出日志则
./pan.sh -file=/home/zzq/work/test.ktr >> /home/zzq/log/kettle.log
1
后台模式运行使用
./pan.sh -file=/home/zzq/work/genotypeHiveLinux.ktr >> /home/zzq/log/kettle.log &
1
kjb的运行:运行job文件是通过kitchen.sh来运行的。
打开cmd命令行窗口,转到kitchen.sh所在的目录,如/home/zzq/data-integration,然后执行文件的命令为
./kitchen.sh -file=/home/zzq/work/test.kjb
1
如果要输出日志则
./kitchen.sh -file=/home/zzq/work/test.kjb >> /home/zzq/log/kettle.log
1
配置参数:
Pan——转换执行器
用来执行转换。参数与Kitchen类似,如下。
1- -version显示版本信息
2- -file=filename运行xml文件
3- -param:key=value指定命名参数
4- -log=logging filename 设置日志文件
5- -level=logging level 设置日志级别
Error:只显示错误
Nothing:不显示任何输出
Minimal:只使用最少的记录
Basic:这是默认的基本日志记录级别
Detailed:详细的日志输出
Debug:以调试为目的,非常详细的输出
Rowlevel:使用行级记录,会产生大量的数据
返回状态,Pan会基于执行状况返回一个错误码:
0:转换执行成功
1:处理过程中发生错误
2:在装载或者运行时发生意外的错误
3:不能初始化转换
7:转换不能从资源库或xml中装载
8:装载步骤或插件错误(通常是装载其中一个插件错误)
9:命令行用法错误
Kitchen——作业执行器
用来执行作业。这是一个命令行执行工具,参数说明如下。
1) -rep:Repositoryname任务包所在存储名
2) -user:Repositoryusername执行人
3) -pass:Repositorypassword执行人密码
4) -job:Thenameofthejobtolaunch任务包名称
5) -dir:Thedirectory(don’tforgettheleading/or)
6) -file:Thefilename(JobXML)tolaunch
7) -level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别
8) -log:Theloggingfiletowriteto指定日志文件
9) -listdir:Listthedirectoriesintherepository列出指定存储中的目录结构。
10) -listjobs:Listthejobsinthespecifieddirectory列出指定目录下的所有任务
11) -listrep:Listthedefinedrepositories列出所有的存储
12) -norep:Don’tlogintotherepository不写日志
示例: 1. Windows 中多个参数以 / 分隔,key 和value之间以:分隔
作业存储在文件
Kitchen.bat /level:Basic>D:\etl.log /file:F:\Kettledemo\email.kjb
1
作业存储在数据库
Kitchen.bat /rep kettle /user admin /pass admin /job F_DEP_COMP
1
(Rep的值为数据库资源库ID)
Linux 中参数以 –分隔
作业存储在文件
./kitchen.sh-file=/home/job/huimin.kjb >> /home/ log/kettle.log
1
作业存储在数据库
./kitchen.sh -rep=kettle1 -user=admin -pass=admin -level=Basic -job=job
linux kettle运行作业,kettle之linux使用kettle相关推荐
- Linux——定时运行作业
at命令 at命令允许指定Linux系统何时运行脚本.at命令会将作业提交到队列中,指定shell何时运行该作业.at的守护进程atd会以后台模式运行,检查作业队列来运行作业.大多数Linux发行 版 ...
- linux 后台运行jar包命令,Linux 运行jar包命令(Cent OS 7后台运行jar包)
Linux 运行jar包命令如下: 方式一 特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出 那如何让窗口不锁定? 方式二 java -jar shareniu. ...
- linux可以运行常规软件吗,Linux安装一些常规软件(浅显)
笔者,很少操作linux服务器,所以对Linux的操作,可以说是达到了谈虎色变的程度.可是生活还是要继续,问题终归是要暴露出来的.今天,笔者不是很开心.记得上周周末下雨了,大上周周末下雨了,大大上周周 ...
- 在linux怎样运行java,怎么在linux运行java
怎么在linux运行java [2021-02-01 00:44:14] 简介: php去除nbsp的方法:首先创建一个PHP代码示例文件:然后通过"preg_replace(" ...
- linux选择运行的核数量,linux – 如何根据可用内核的数量选择最大负载阈值?
负载在Linux上经常被误解. 在Linux上,它是运行或不间断睡眠状态中所有任务的度量. 请注意,这是任务,而不是进程.线程包含在此值中. 内核每五秒计算一次加载,并且是一个加权平均值.这是微小负载 ...
- linux系统运行级别wq命令,Linux系统运行级别和关机重启命令介绍
Linux系统运行级别介绍 Linux系统有七种运行级别(Run Level),各个运行级别下,系统有不同的状态,各个级别的意义描述如下. 0:关键级别 1:单用户运行级别,运行rc.sysinit和 ...
- c语言在linux下运行程序设计,如何在Linux下运行C语言程序
如何在Linux下运行C语言程序 C语言是一个有结构化程序设计.具有变量作用域(variable scope)以及递归功能的过程式语言.以下是小编为大家搜索整理的如何在Linux下运行C语言程序,希望 ...
- linux中运行candence,allegro 在linux下怎么启动
我已经安装好了,但不知道怎么启动,那位高手指点下. 只要环境变量里面的路径对了就可以直接敲命令进去了,例如allgro,还有cmgr等等,但是,如果想图方便,在桌面建个启动器,直接双击也可以,跟win ...
- linux可以运行多少个docker,linux – 100个docker容器与100个小型机器
对您的问题唯一"合适"的答案是:您必须测试两个选项并找出哪个更好.原因是:您运行的是一个非常特定的应用程序,具有非常特定的工作负载和非常具体的要求.任何没有实际测试的推荐都是猜测. ...
- linux无法运行病毒,{转}为什么linux系统不容易中病毒?
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 为什么linux系统不容易中病毒 可能不少人持这样一种观点,认为 Linux 病毒少是因为Linux不像Windows那么普及,其实这种观点很早已经被人批 ...
最新文章
- 华为交换机配置基本命令
- HDU 4768 Flyer(二分法)
- redux-thunk的简单使用
- 基于迭代次数的多中心定位分类法
- nginx系列之六:cache服务
- 使用JAVA爬取博客里面的所有文章
- 逼自己玩命学了3个多月,整理出了这份549个分支的技术脑图,分享给你
- Mac无损音乐播放器:Audirvana
- CentOS安装jre环境
- 美化windows xp 完全教程
- h2o java_java – 在h2o中加载大于内存大小的数据
- Element-UI 图标乱码解决方案
- 卢克,学着去读源代码
- 聚合和分组F,Q和事物,cookie,session
- JVM规范(四)Frames
- html调用手机NFC,怎样使用手机的NFC功能模拟门禁?
- 计算机二级(c语言)重难点归纳--公共基础部分--计算机系统
- 看山是山,看水是水;看山不是山,看水不是水;看山还是山,看水还是水。
- 镜像底层原理详解和基于Docker file创建镜像
- Adobe_Premiere_Pro_2023_23.2.0.69最新版介绍及图文安装教程