002__Hive的tez引擎的配置步骤

tez下载路径: https://dlcdn.apache.org/tez/
注意版本问题:

hadoop-3.1.4丶hive-3.1.3丶tez-0.10.1 这三个版本为一套指定是没问题的

hadoop-2.7 丶hive2.7 丶tez-0.9.1 应该也是没问题

第一步:

由于各个集群之间都需要使用tez,而将tez分发到各个集群,又很浪费磁盘空间,
所以我们可以将 tez的tar.gz包上传到 hdfs上面供各个机器使用

hadoop fs -mkdir /tez
hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz /tez
hdfs dfs -mkdir dir 创建文件夹
hdfs dfs -rmr dir 删除文件夹dir
hdfs dfs -ls 查看目录文件信息
hdfs dfs -lsr 递归查看文件目录信息
hdfs dfs -stat path 返回指定路径的信息

第二步:

将tez的tar.gz包进行解压后, 进入到hive/conf下
注意 :== 下面代码的 ${fs.defaultFS} 和 hadoop中的属性要一样,有可能hadoop中配置的是==

vim tez-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><!--hdfs上的tez包的存储路径--><name>tez.lib.uris</name><value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value></property><property><name>tez.use.cluster.hadoop-libs</name><value>true</value></property><property><name>tez.history.logging.service.class</name>        <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value></property>
</configuration>

第三步:

将tez的路径配置到hive的环境变量中:

vim hive-env.sh # 在最后面加上一下内容

export TEZ_HOME=/opt/module/tez-0.9.1    #是你的tez的解压目录
export TEZ_JARS=""
#读取到tez下的jar包
for jar in `ls $TEZ_HOME |grep jar`; doexport TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; doexport TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
# 配置支持lzo压缩
export HIVE_AUX_JARS_PATH=/opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS

第四步:

配置hive-site.xml:加上下面内容,更换为tez引擎

<property><name>hive.execution.engine</name><value>tez</value>
</property>

到这里基本上就配置完成了, 可以去创建个表插入一条数据试一试是否能够执行成功

问题1: 出现`Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask`

原因: 可能是tez的版本为1.0以下,而hive的版本为3.0以上的,会造成版本不兼容问题

第一种解决方案: 将hive版本降为2.0的

第二种解决方案:
修改tez文件中的属性:

vi tez-default-template.xml

修改下面的属性为false

 <property><name>tez.client.asynchronous-stop</name><defaultValue>false</defaultValue><description>Boolean value. Backwards compatibility setting. Changes TezClient stop to be asynchronous call waiting until AM is in a final state before returning to the user.Expert level setting.</description><type>boolean</type></property>

tar.gz包压缩命令: tar -zcvf car.tar.gz #文件目录

然后将tez重新进行打包, 上传到hdfs的路径上, 记得与第二步中的tez-site.xml文件的中的路径进行匹配上

这样这个问题就可以解决了!.,希望能帮到你们!!!

问题2: 内存不足问题.

原因: 这是因为yarn的虚拟内存检查模式太过于霸道

解决:yarn-site.xml加上下面内容

<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

注意: 更改后记得进行分发, 并将集群进行重新启动