java集成kettle 9.2.0开发

kettle简介

由于业务产生数据，三方对接数据存储在不同关系型的数据库（GreenPlum,mysql,postgresql），有的数据来自excel报表（自己开发的excel报表解析入库的项目下期介绍），对于数据整合以及数据的实效性有一定的要求，故在项目实时过程中使用了kettle工具，并用java集成使用，定时执行kettle自己生成的文件，完成自动同步功能因为kettle确实帮助我们解决了一些问题，下面先常规尬吹一波kettle的好处：

简介：Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

全量数据迁移 ，就是将某个或多个表或库中的数据进行迁移，可以跨库，也可以同库迁移。速度比较快，性能稳定；
增量数据迁移 就是对某个表中的数据按照一定的设计思路，根据int的自增主键或datetime的时间戳实现增量数据迁移，并且可以统计增量数据量。速度比较快，性能稳定；
数据关联比对 可以将多个数据库根据一定的业务字段进行关联，尤其是针对单表百万、千万级别上的数据比对，普通sql实现困难，可以通过KETTLE方便高效的完成数据关联比对功能；
数据清洗转换可以通过KETTLE中设计一定的判断流程，在数据流中逐条对数据进行业务判断和过滤，实现数据清洗转换的功能；
解析JSON数据可以零代码通过jsonPath快速完成JSON数据解析，高效率实现JSON解析数据入库；

工具页面简介
笔者认为，kettle是可以0代码将多个关系型数据库或者报表数据聚合到一个大表处理的很高效的工具，下面为使用过程部分图简介

本文内容

着重讲解集成，即如何用java运行kettle脚本，至于怎么写kettle脚本，请自行查看各种傻瓜教程，或与我联系。

下载地址：点击此处

源码地址：（看了很多的教程，有一个包在本地怎么都引不进来，最后通过查看源码找到的另一个包=.=）：点击此处

maven依赖

仓库地址如下仓库地址.

  <repositories><repository><id>pentaho-releases</id><name>kettle</name><url>https://nexus.pentaho.org/content/groups/omni/</url></repository></repositories>

pom依赖如下 代码片.

// An highlighted block<dependency><groupId>com.mzlion</groupId><artifactId>easy-okhttp</artifactId><version>1.0.0-Final</version></dependency><dependency><groupId>org.postgresql</groupId><artifactId>postgresql</artifactId><scope>runtime</scope></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>kettle-core</artifactId><version>9.2.0.0-290</version></dependency><dependency><groupId>com.verhas</groupId><artifactId>license3j</artifactId><version>1.0.7</version></dependency><dependency><groupId>pentaho-kettle</groupId><artifactId>kettle-engine</artifactId><version>9.2.0.0-290</version></dependency><dependency><groupId>pentaho</groupId><artifactId>metastore</artifactId><version>9.2.0.0-290</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.commons/commons-vfs2 --><dependency><groupId>org.apache.commons</groupId><artifactId>commons-vfs2</artifactId><version>2.7.0</version></dependency><dependency><groupId>commons-logging</groupId><artifactId>commons-logging</artifactId><version>1.2</version></dependency><!-- https://mvnrepository.com/artifact/commons-codec/commons-codec --><dependency><groupId>commons-codec</groupId><artifactId>commons-codec</artifactId><version>1.15</version></dependency><!-- https://mvnrepository.com/artifact/commons-lang/commons-lang --><dependency><groupId>commons-lang</groupId><artifactId>commons-lang</artifactId><version>2.6</version></dependency><dependency><groupId>rhino</groupId><artifactId>js</artifactId><version>1.7R3</version><exclusions><exclusion><groupId>*</groupId><artifactId>*</artifactId></exclusion></exclusions></dependency><dependency><groupId>commons-beanutils</groupId><artifactId>commons-beanutils</artifactId><version>1.9.3</version><exclusions><exclusion><groupId>*</groupId><artifactId>*</artifactId></exclusion></exclusions></dependency><dependency><groupId>commons-codec</groupId><artifactId>commons-codec</artifactId><version>1.15</version><exclusions><exclusion><groupId>*</groupId><artifactId>*</artifactId></exclusion></exclusions></dependency><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>17.0</version></dependency><dependency><groupId>org.javassist</groupId><artifactId>javassist</artifactId><version>3.20.0-GA</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.2</version></dependency><!--本地用下面的 SNAPSHOT jekins不支持开发包故用9.4.0.0RELEASE--><dependency><groupId>org.pentaho</groupId><artifactId>pentaho-encryption-support</artifactId><version>9.4.0.0-SNAPSHOT</version></dependency><!--<dependency><groupId>org.pentaho</groupId><artifactId>pentaho-encryption-support</artifactId><version>9.4.0.0RELEASE</version></dependency>-->

resources下需要有xml

<password-encoder-plugins><password-encoder-plugin id="Kettle"><description>Kettle Password Encoder</description><classname>org.pentaho.di.core.encryption.KettleTwoWayPasswordEncoder</classname></password-encoder-plugin>
</password-encoder-plugins>

运行kettle的ktr方法，话不多说直接贴代码


package util;import java.net.URL;public class FileUtil {/*** 获取资源文件地址* @param fullFileName* @return*/public static String getResourceFilePath(String  fullFileName){URL url = FileUtil.class.getResource(fullFileName);String path=url.getPath();return path;}
}package com.byt.mart.data;import org.junit.jupiter.api.Test;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.util.EnvUtil;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
import org.springframework.boot.test.context.SpringBootTest;import java.lang.reflect.Method;
import java.util.List;@SpringBootTest
class TestApplicationTests {@Testpublic void run() throws Exception {//传入kettle，可以为本地路径也可以为绝对路径String transFileName ="C:\\Users\\kettle\\Desktop\\kettle测试.ktr";callNativeTrans(transFileName);}public static void callNativeTrans(String transFileName) throws Exception {callNativeTransWithParams(null, transFileName);}/*** 调用trans文件 带参数的** @param params* @param transFileName* @throws Exception*/public static void callNativeTransWithParams(String[] params, String transFileName) throws Exception {// 初始化KettleEnvironment.init();EnvUtil.environmentInit();TransMeta transMeta = new TransMeta(transFileName);//转换Trans trans = new Trans(transMeta);//执行trans.execute(params);//等待结束trans.waitUntilFinished();//抛出异常if (trans.getErrors() > 0) {throw new Exception("There are errors during transformation exception!(传输过程中发生异常)");}}}

至于ktr如何存储则有很多方式：存在服务器上（不推荐），集成minio存储，或者存储在自己购买的服务上都可以。

最后就是使用定时任务，根据自己的需要定时执行kettle文件。