用Kettle的一套流程完成对整个数据库迁移费元星

原地址：http://ainidehsj.iteye.com/blog/1735434

需求：
1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Oracle。
2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。

下面为你实现了一套通用的数据库迁移流程。

技术引导：
实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\process all tables）。
通过相关改造，终于达到目标。

实现过程解剖：
整套流程分为：2个job，4个trans。
使用到的Trans插件：表输入、字段选择、复制记录到结果、从结果获取记录、设置变量、自定义java脚本、表输出。
1.大job。

2.要迁移的源库表名称获取，并设置到结果集，为下面的job使用。

3.配置子job为前面的每一条记录（即每个表）执行一次该子job

4.下面是子job。

5.获取记录中的表名称，并设置为到变量。

6.读取当前表的结果信息，并在目标库中创建表（这个是难点）。

因为只需要获取抓取要抽取表的结构信息，故在sql后面加上 where 1=2。

下面代码是创建目标库表。

Java代码

public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
{
// First, get a row from the default input hop
//
Object[] r = getRow();
org.pentaho.di.core.database.DatabaseMeta dbmeta = null;
java.util.List list = getTrans().getRepository().readDatabases();//3.x中获取资源库的所有数据库连接信息用getDatabases();
if(list != null && !list.isEmpty())
{
for(int i=0;i<list.size();i++)
{
dbmeta = (org.pentaho.di.core.database.DatabaseMeta)list.get(i);
//下面是目标库的数据库连接，大家可根据需要修改
if("mysql_test".equalsIgnoreCase(dbmeta.getName()))
{
break;
}
}
}
if(dbmeta!=null)
{
org.pentaho.di.core.database.Database db=new org.pentaho.di.core.database.Database(dbmeta);
try
{
db.connect();
String tablename = getVariable("TABLENAME");
logBasic("开始创建表：" + tablename);
if(tablename!=null && tablename.trim().length()>0)
{
String sql = db.getDDL(tablename, data.inputRowMeta);//${TABLENAME}
db.execStatement(sql.replace(";", ""));
logBasic(sql);
}
}
catch(Exception e)
{
logError("创建表出现异常",e);
}finally{
db.disconnect();
}
}
return false;
}

7.表数据迁移。

8.差不多就行了，本人使用mysql到mysql、oracle的测试是没有问题的不过在测试过程中，发现源表若存在有blob的表，会有问题，可能是由于表输出没有指定字段的原因，具体解决办法，也没有去多想，以后有时间在完善把。

上面的整套流程的是在kettle4.3下完成的，附件里面可下载完整流程。

5.x运行到创建表结构步骤报错，原因data.inputRowMeta为空，因为在第6步
在sql后面加上 where 1=2，导致表输入步骤没有抽取到记录，5.x里结构也变成了null。
解决：
把where 1=2去掉，然后，在表输入的限制行设置为1，即可，本人亲测。

未来星开发团队--狒狒 QQ：9715234

用Kettle的一套流程完成对整个数据库迁移费元星相关推荐

用Kettle的一套流程完成对整个数据库迁移
转自: https://blog.csdn.net/maenlai0086/article/details/80829143 Kettle日常使用汇总整理:https://www.cnblogs.c ...
kettle 遇到解决Incorrect integer value: '' for column 'id' at row 1 完美解决-费元星
最近自己在测试一个开源的程序,测试中发现.该程序都添加和更新的时候回出现 Incorrect integer value: '' for column 'id' at row 1类是的错误! 后来我自 ...
java 实现一套流程管理、流转的思路（伪工作流）【仅供参考】
转: java 实现一套流程管理.流转的思路(伪工作流) 在做某个管理项目时,被要求实现一套流程管理,比如请假的申请审批流程等,在参考了很多资料,并和同事讨论后,得到了一个自主实现的流程管理. 以下提 ...
java开发审核流程思路_java 实现一套流程管理、流转的思路（伪工作流）【仅供参考】...
转: 在做某个管理项目时,被要求实现一套流程管理,比如请假的申请审批流程等,在参考了很多资料,并和同事讨论后,得到了一个自主实现的流程管理. 以下提供我的设计思路,知道了思路,实现起来就简单很多了. ...
【SpringBoot项目实战】图片压缩包上传、解压、存储等等一套流程教学
[SpringBoot项目实战]图片压缩包上传.解压.存储等等一套流程教学前言一.压缩包上传 1.接口实现 2.获取压缩包的文件名和文件路径二.压缩包解压并保存 1.处理压缩包文件方法解压缩步 ...
java流程引擎实现_手写实现一套流程编排
转载自:https://blog.csdn.net/weixin_39631301/article/details/112082970 流程编排随着业务的不断发展,业务流程迭代慢慢变得复杂了起来,全 ...
kettle创建mysql资源库时报错_kettle 创建数据库资源库
kettle常见的资源库有3种:数据库资源库.文件资源库.pentaho资源库. 文件资源库是在一个文件目录下定义一个资源库,因为kettle使用的是虚拟文件系统(Apache VFS),所以这里的文 ...
数据库迁移软件Spoon Kettle环境搭配（本人踩过的坑）
项目需要用到数据库迁移.涉及到了Spoon. 初始版本使用的是Kettle (70+M) 由于是测试就在本地整了.70M版本java环境要求比较严格,我本身就是1.8的环境.还是不匹配.无奈根据弹框 ...
kettle插件加载流程
前言 kettle遵循着插件机制,基于插件使得kettle整个结构非常清晰,耦合性低,移植性强,特别是对kettle进行二次开发尤其方便,根据了解,扩展step类型的插件比较多,具体步骤可以参考:ht ...

用Kettle的一套流程完成对整个数据库迁移费元星

用Kettle的一套流程完成对整个数据库迁移费元星相关推荐

最新文章

热门文章

用Kettle的一套流程完成对整个数据库迁移 费元星

用Kettle的一套流程完成对整个数据库迁移 费元星相关推荐

最新文章

热门文章

用Kettle的一套流程完成对整个数据库迁移费元星

用Kettle的一套流程完成对整个数据库迁移费元星相关推荐