Exception in thread main java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
hive on tez,为了这个配置今天是第四天了,MLGB的!!!
################################环境配置如下##########################################
软件 | 版本 |
Hadoop | 3.1.2 |
Hive | 3.0.0 |
Tez | 0.9.2 |
###################################################################################################
这个报错是在启动hive客户端的时候触发了。
######################################下面是解决方案#####################################
直接说解决方案:
~/.bashrc中加入(应该也可以是$HADOOP_HOME/etc/hadoop/hadoop-env.sh,根据自己喜好即可)
export TEZ_HOME=/home/appleyuchi/bigdata/apache-tez-0.9.2-bin
for jar in `ls $TEZ_HOME |grep jar`; doexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; doexport HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/lib/$jar
done
然后source ~/.bashrc
不用重启任何集群
重新启动hive客户端,就会发现报错消失。
##############################下面是错误配置的分析(可以跳过不看)##############################
注意:
有些同学非常自信(我一开始也是这样),
写成如下:
export TEZ_CONF_DIR=$TEZ_HOME/conf
export TEZ_JARS=$TEZ_HOME/*:$TEZ_HOME/lib/*
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR:$TEZ_JARS
export HIVE_AUX_JARS_PATH=$HADOOP_HOME/share/hadoop/common/hadoop-lzo-0.4.13.jar:$TEZ_JARS
上述写法写法会导致报错
②ERROR [main] common.FileUtils: The jar file path file:///home/appleyuchi/bigdata/apache-tez-0.9.2-bin/* doesn't exist
然后无论你写成:
export TEZ_JARS=$TEZ_HOME/*
export TEZ_JARS=$TEZ_HOME/*.jar
export TEZ_JARS=$TEZ_HOME
都会报类似②的错误
有人反驳:
但是我以前写别的环境变量的时候明明就是这么写的啊(例如CLASSPATH),为什么设置TEZ环境变量的时候不是这么写?
因为TEZ对环境变量的处理方式比较特殊,所以你就老老实实照着写吧
你要注意,这个环境变量是被TEZ的脚本获取之后进行处理,不同软件在获取环境变量后的处理方式不同,处理方式的不同也就意味着你的环境变量的写法可能不同。
你可以回想下,你用python读取数据的时候,这个数据是有特定格式要求的。
###################################################################################################
Reference:
https://www.bbsmax.com/A/q4zVWZexJK/
Exception in thread main java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration相关推荐
- Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/ibatis/io/Resources
项目场景: 在学习mybatis框架的时候,刚刚学习如果查询数据库user表中的信息时 问题描述: 所有步骤都是按照教程上走的,但是运行后里面就出现了 Exception in thread &quo ...
- Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/velocity/context/Context at c
11:41:33.067 [main] DEBUG com.baomidou.mybatisplus.generator.AutoGenerator - ======================= ...
- mybatis-plus异常Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/velocity/context
在使用mybatis-plus进行代码生成时,出现报错: Connected to the target VM, address: '127.0.0.1:59589', transport: 'soc ...
- Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/velocity/context/Contex
关于使用mybatis-plus代码生成器报错:Exception in thread "main" java.lang.NoClassDefFoundError: org/apa ...
- Hive启动报错:java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
<!--Hive启动报错:Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration ...
- Exception in thread “main“java.lang.NoClassDefFoundError:org/apache/HBaseConfiguration
今天用eclipse构建基于maven的spark+hbase工程(scala语言)的项目时,在eclipse中运行成功,打包也成功但是在spark本地运行时报了这样的错误 原因是因为有些包调用错误, ...
- Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
本地 IDEA 跑spark代码,出现这个报错, import org.apache.spark.{SparkConf, SparkContext}object testjson {def main( ...
- Exception in thread main java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
敲黑板 ,引入的依赖 一定要 "compile" 或则 "runtime",否则spark conf 无法初始化,这辈子也运行不了,千万不要是 "pr ...
- Exception in thread main java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
spark-env.sh中加入 export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
最新文章
- Python从零开始 day2
- ORCAD常用元件库说明
- windows下cacti的快速安装
- 创建存储,修改存储_安全地创建和存储密码
- 《JavaScript100例|01》之javaScript实现俄罗斯方块,唤起了女朋友儿时的回忆!
- 科目三电子路考哪些情况会被评判不合格
- linux命令---tar
- 学计算机和摄影哪个好,【干货】如何学习好摄影后期
- 机器学习基础算法21-多输出的决策树回归
- “相约重渡沟 情定鸡冠洞”消夏养生欢乐行活动
- 多元函数求极值中的a_二元函数求极值
- 北京车辆过户外迁,北京车辆外迁流程
- qqpcmgr_docpro 这个隐藏文件无法删除的问题解决方法
- 红色警戒2修改器原理百科(七)
- Beaglebone Black – 连接 GY-91 MPU9250+BMP280 九轴传感器(1)
- 阿里巴巴店铺的所有商品API接口(item_search_shop-获得店铺的所有商品接口),阿里巴巴API接口
- c1能力认证考试训练任务03-web基础与布局
- android 视频背景图片,安卓手机怎么给视频添加背景图片 上下图片中间视频画面的小视频制作...
- 寒假每日一题——拖拉机
- Android Canvas画布的详解与使用,以及View的绘画(一)