kettle之linux使用kettle

Kettle可以在Window、Linux、Unix上运行，数据抽取高效稳定，使用之前需要准备环境。
准备java环境，这里就不赘述了，建议jdk7以上版本。

上传kettle压缩包，并解压，我解压的路径是/usr/soft/kettle

以下是重点：
确保kettle脚本可执行权限
使用命令查看文件权限

ls -l /data-integration

如图：

如果没有执行权限，执行以下命令：

chmod +x /usr/soft/kettle/dist/*.sh

使用命令测试是否部署成功

./dist/kitchen.sh

部署成功后的截图：

常用命令
ktr的运行：运行transformation文件是通过pan.sh来运行的。

打开cmd命令行窗口，转到pan.sh所在的目录，如/home/zzq/data-integration,然后执行文件的命令为

./pan.sh -file=/home/zzq/work/test.ktr

如果要输出日志则

./pan.sh -file=/home/zzq/work/test.ktr >> /home/zzq/log/kettle.log

后台模式运行使用

./pan.sh -file=/home/zzq/work/genotypeHiveLinux.ktr >> /home/zzq/log/kettle.log &

kjb的运行

运行job文件是通过kitchen.sh来运行的。

打开cmd命令行窗口，转到kitchen.sh所在的目录，如/home/zzq/data-integration,然后执行文件的命令为

./kitchen.sh -file=/home/zzq/work/test.kjb

如果要输出日志则

./kitchen.sh -file=/home/zzq/work/test.kjb >> /home/zzq/log/kettle.log

配置参数:

Pan——转换执行器
用来执行转换。参数与Kitchen类似，如下。

1- -version显示版本信息2- -file=filename运行xml文件3- -param:key=value指定命名参数4- -log=logging filename 设置日志文件5- -level=logging level 设置日志级别

Error:只显示错误Nothing:不显示任何输出Minimal:只使用最少的记录Basic:这是默认的基本日志记录级别Detailed:详细的日志输出Debug:以调试为目的，非常详细的输出Rowlevel:使用行级记录，会产生大量的数据返回状态，Pan会基于执行状况返回一个错误码：

0：转换执行成功
1：处理过程中发生错误
2：在装载或者运行时发生意外的错误
3：不能初始化转换
7：转换不能从资源库或xml中装载
8：装载步骤或插件错误(通常是装载其中一个插件错误)
9：命令行用法错误

Kitchen——作业执行器
用来执行作业。这是一个命令行执行工具，参数说明如下。

1) -rep:Repositoryname任务包所在存储名2) -user:Repositoryusername执行人3) -pass:Repositorypassword执行人密码4) -job:Thenameofthejobtolaunch任务包名称5) -dir:Thedirectory(don’tforgettheleading/or)6) -file:Thefilename(JobXML)tolaunch7) -level:Thelogginglevel(Basic,Detailed,Debug,Rowlevel,Error,Nothing)指定日志级别8) -log:Theloggingfiletowriteto指定日志文件9) -listdir:Listthedirectoriesintherepository列出指定存储中的目录结构。10) -listjobs:Listthejobsinthespecifieddirectory列出指定目录下的所有任务11) -listrep:Listthedefinedrepositories列出所有的存储12) -norep:Don’tlogintotherepository不写日志

示例： 1. Windows 中多个参数以 / 分隔，key 和value之间以：分隔

作业存储在文件

Kitchen.bat /level:Basic>D:\etl.log /file:F:\Kettledemo\email.kjb

作业存储在数据库

Kitchen.bat /rep kettle /user admin /pass admin /job F_DEP_COMP

（Rep的值为数据库资源库ID）

Linux 中参数以 –分隔

作业存储在文件

./kitchen.sh-file=/home/job/huimin.kjb >> /home/ log/kettle.log

作业存储在数据库

./kitchen.sh -rep=kettle1 -user=admin -pass=admin -level=Basic -job=job

kettle之linux使用kettle相关推荐

kettle脚本Linux执行,kettle在linux下面用于shell脚本执行：转换或者作业
1 将windows下面创建好的转换,放到Linux某一个文件夹下面.如:把0816_em.ktr文件放到/home/cfj/kettle/testdemo下面. 注意里面的数据库用户名和密码可能需要 ...
linux命令界面下载kettle,kettle在linux环境中打开图形界面-Go语言中文社区
kettle在linux环境中打开图形界面 kettle数据转换的时候需要图形界面当运行./spoon.sh时,如果没有图形界面,会出现下面的结果 ./spoon.sh [root@localhos ...
关于linux安装kettle的总结
一.部署准备 1.1 JDK安装配置命令行键入"cd /etc"进入etc目录命令行键入"vi profile"打开profile文件敲击键盘ctrl+F ...
kettle在linux定时任务_linux下使用crond定时执行kettle的job
由于第一次碰linux,对其不是很了解,导致这个问题困扰了我近一个月的时间,现在终于解决了,分享给大家. 首先,安装jre,配置java环境变量(一)下载jre-6u23-linux-x64.bin ...
Linux中结束kettle挂起进程,linux停使用crond定时执行kettle的job
当前位置:我的异常网» Linux/Unix » linux停使用crond定时执行kettle的job linux停使用crond定时执行kettle的job www.myexceptions.ne ...
kettle中java组件_kettle系列-[KettleUtil]kettle插件，类似kettle的自定义java类控件
该kettle插件功能类似kettle现有的定义java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义 ...
kettle在linux定时任务_在Linux下设置Kettle的定时任务
一.[创建脚本文件] 1.创建脚本文件目录 kettleShell 和日志文件 kettleLogs [root@localhost ~]# cd /usr/local/ [root@localhos ...
Kettle【部署 02】Linux环境 Kettle pdi-ce-9.0.0.0-423 安装部署 carte 服务运行及 Java 集群调用实例（安装包1.85G+测试ktr\kjb\源码）
资源链接在文章末尾,包含文件: 1.安装Kettle并启动carte服务 1.1 Kettle安装 Kettle 是解压即用的,这次是在 Linux 环境下部署,所以需要解压工具rar,没有安装的小伙 ...
linux 重启kettle服务_Linux下安装配置kettle的部署
原标题:Linux下安装配置kettle的部署欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区. 对商业智能BI.大数据分析挖掘.机器学习,python,R等数据 ...

kettle之linux使用kettle

kettle之linux使用kettle相关推荐

最新文章

热门文章