Kettle连接Hadoop 踩坑

记录一下自己Kettle连接Hadoop 的踩坑过程，以备后查。

hadoop环境

云虚拟机安装hadoop3.2，hbase2.2.6

9.1与8.2的区别

用Kettle9.1创建hadoop clusters时老是无法成功，草草查看了一下官方文档，貌似9.0以前的shim无法用于9.1的版本，因为翻q访问实在太慢，最终没有找到下载适配版本shim的地方，无奈放弃。

8.2连接hadoop

将服务器上*-site.xml文件覆盖到pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30下
用服务器上相应版本的jar驱动覆盖pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib、
pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client、pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\pmr版本
修改plugin.properties 中 active.hadoop.configuration，指向对应shime（hdp30）
启动spoon，在转换下创建hadoop clusters，配置如下：

测试连接发现如下错误：
We couldn’t run test User Home Directory Access.
We couldn’t run test Root Directory Access.

网上查看大部分文章说将xml配置文件考入相应目录能解决该问题，不过检查对应文件发现位置和内容都没有问题，晕…
接着创建一个hadoop copy files作业，运行失败。查看日志发现如下错误：

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

问题解决

通过网络查询发现缺一个guava.jar包，hadoop-3.2.1（路径：hadoop\share\hadoop\common\lib）中该jar包为 guava-27.0-jre.jar。将该包考到pdi-ce-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client下，重启spoon后问题解决。

Kettle连接Hadoop clusters 报错相关推荐

数据库迁移工具Kettle连接Mysql数据库报错：Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the解决
报错信息: 错误连接数据库 [test] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while t ...
kettle连接mysql一直报错_Kettle连接MySQL报错的解决方法
使用Kettle报错的解决方法 1.当你在navicat上面测试数据库连接的时候可以看到数据库连接成功.而在Kettle上面连接同样的库的时候报出一大段错误出来,这时候是不是感觉有点懵逼了. 错误内容 ...
Kettle连接MySQL数据库报错：Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found
错误信息: Driver class 'org.gjt.mm.mysql.Driver' could not be found 解决办法: 将驱动jar包,放在安装目录 \lib 目录下,重启工具Ok
kettle Oracle任务输入报错ora22924,ora01555
问题描述 22/09/16 09:05:05 -FAZHI_J0B-开始项[AJ_FLWS (xfzdb219)] 2022/09/16 09 05:05 -AJ_FLWS(xafzdb219)-Lo ...
pyspark 使用jdbc 连接mysql 数据库报错 Access denied for user 'root'@'localhost'
在使用jdbc开启pyspark shell 下载jar包:https://dev.mysql.com/downloads/connector/j/ tar -zxf mysql-connector- ...
mysql8.0client_navicat 连接mysql8.0 报错client does not support authentication
navicat 连接mysql8.0 报错client does not support authentication,解决方法: 打开windows Powershell,输入以下命令 ,加红加粗的 ...
jmeter连接MySQL出错_MySQL数据库之jmeter连接mysql数据库报错Cannot create PoolableConnectionFactory...
本文主要向大家介绍了MySQL数据库之jmeter连接mysql数据库报错Cannot create PoolableConnectionFactory ,通过具体的内容向大家展现,希望对大家学习M ...
mysql报错乱码_连接mysql服务器报错时，出现乱码
页头用了 header('content-type:text/html;charset=utf-8'); try { $this->dbo=new PDO($dsn,$dbuser,$dbpas ...
连接mysql报错有乱码_连接mysql服务器报错时，出现乱码
页头用了 header('content-type:text/html;charset=utf-8'); try { $this->dbo=new PDO($dsn,$dbuser,$dbpas ...
pycharm远程连接服务器（docker）调试＋ssh连接多次报错
一,登入服务器建docker nvidia-docker run -it -v ~/workspace/:/workspace -w /workspace/ --name=fzh_tf --shm ...

Kettle连接Hadoop clusters 报错