一招教你用Kettle整合大数据和Hive,HBase的环境!

上一篇博客《还不会使用大数据ETL工具Kettle，你就真的out了!》博主已经为大家介绍了Kettle简单的使用操作，也确实谈到了后面会出较复杂操作的教程，其中当数与大数据组件之前的一些操作。所以本篇博客，博主为大家带来Kettle集成配置大数据的教程，为下一篇Kettle的进阶操作做铺垫!

文章目录

Kettle集成大数据
- 1. 修改配置文件
- 2. 移动jar包路径
- 3.上传集群核心配置文件到本地并替换
- 4.测试
- - 1. 新建一个集群（new Cluster）
  - 2. 配置集群信息

Kettle集成大数据

1. 修改配置文件

我们打开Kettle安装目录下的pentaho-big-data-plugin文件夹
data-integration\plugins\pentaho-big-data-plugin
修改plugin.properties文件，把active.hadoop.configuration的值设置成:cdh514

2. 移动jar包路径

我们进入到cdh15文件夹的lib目下
data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514\lib
可以发现里面有两个文件夹和一堆jar包

我们只需要做的是把client和pmr这两个文件夹里的jar包拿出来放置到它们父目录，也就是图中所示目录下。

3.上传集群核心配置文件到本地并替换

因为后续我们需要kettle连接集群的大数据相关组件，所以这一步需要将集群上相关的核心配置文件上传到window本地，在kettle的目录下进行替换操作!

操作路径为：
data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514

本步骤中，我们需要替换的配置文件有

是不是很眼熟，这不都是hadoop集群上的核心配置文件吗

是的，我们打开集群，进入到Hadoop的etc/hadoop目录下
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
开始往windows端上传文件
sz yarn-site.xml hdfs-site.xml mapred-site.xml core-site.xml

进入到hive的目录
cd /export/servers/hive-1.1.0-cdh5.14.0/conf
同理
sz hive-site.xml

为了后续也能正常使用hbase，这里的操作也与上面一致
cd /export/servers/hbase-1.2.0-cdh5.14.0/conf
sz hbase-site.xml

然后将文件全部复制到data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514下替换即可

执行到这里，我们来测试一下环境是否整合好了

4.测试

1. 新建一个集群（new Cluster）

2. 配置集群信息

看到步骤2这样测试显示的结果，说明我们的环境就整合好了~

本篇只是环境整合篇，还未涉及到与Kettle任何实质性的操作，因此就到这就先结束了。下一篇博客博主将为大家详细介绍更多Kettle的转换操作，敬请期待!

如果对你有所帮助，记得点赞评论关注三连|ू･ω･` )