关于引擎tez遇到的问题，十分痛心！！！

当执行bin/hive时，报错（主要）：

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
Failing this attempt. Failing the application.
   at org.apache.tez.client.TezClient.waitTillReady(TezClient.java:911)
   at org.apache.tez.client.TezClient.waitTillReady(TezClient.java:880)
   at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open(TezSessionState.java:205)
   at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open(TezSessionState.java:116)
   at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:532)
   ... 8 more

翻阅许多文档都没啥用，好在功夫不负有心人，需要进入mapred-site.xml添加如下属性：

<property>

<name>mapreduce.framework.name</name>

<value>yarn-tez</value>

</property>

另外，还需要进入mapred-site.xml和yarn-site.xml配置

解决方法：

方案一：mapred-site.xml中设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)
<property><name>mapreduce.map.memory.mb</name><value>1536</value>
</property>
<property><name>mapreduce.map.java.opts</name><value>-Xmx1024M</value>
</property>
<property><name>mapreduce.reduce.memory.mb</name><value>3072</value>
</property>
<property><name>mapreduce.reduce.java.opts</name><value>-Xmx2560M</value>
</property>
方案二：或者是关掉虚拟内存检查。修改yarn-site.xml
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

关于引擎tez遇到的问题，十分痛心！！！相关推荐

Hive计算引擎大PK，万字长文解析MapRuce、Tez、Spark三大引擎
Hive从2008年始于FaceBook工程师之手,经过10几年的发展至今保持强大的生命力.截止目前Hive已经更新至3.1.x版本,Hive从最开始的为人诟病的速度慢迅速发展,开始支持更多的计算引擎 ...
女友问粉丝过万如何庆祝，我发万字长文《保姆级大数据入门篇》感恩粉丝们支持，学姐|学妹|学弟|小白看了就懂
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录粉丝破万了新星计划申 ...
大数据生态及其技术栈
大数据生态及其技术栈原文:大数据生态及其技术栈如何用形象的比喻描述大数据的技术生态?Hadoop.Hive.Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚. 今年来大数据.人工智能获 ...
Data - 大数据生态圈
本文内容来自网络,对原文内容和格式做了细微调整,并配图以便阅读理解. 如想查看初始信息,请点击原文. 00 引言大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单 ...
同时更改一条数据_数据仓库amp;面试总结
一.数据仓库分为几层?负责什么职责?为什么要分层? 1.数据仓库分为4层: ODS层 (原始数据层) DWD层 (明细数据层) DWS层 (服务数据层) ADS层 (数据应用层) 2.主要负责职责,如 ...
阿里创业员工分享公司的BI选型之路！自研、开源的坑都踩过
一.业务背景与需求梳理年初盘年度计划的时候计划今年要上BI的,但疫情的原因一拖再拖,也正好在那时候需求爆发,各种业务各种问题各种数据各种分析,意识到不上不行了,负荷扛不住啊,于是就开始立项,进行BI ...
hive实战读书笔记(第9章)Hive性能优化
hive用户面临的一个比较大的问题是,用户需要等待较长的响应时间,与传统关系数据库查询的性能相比,hive响应速度慢的令人发指本章介绍一套诊断改进hive查询性能的系统方法,通过这个过程,将单个hi ...
小白也能懂的hadoop生态圈，很黄很暴力！
转自Xiaoyu Ma 链接:请戳这里! 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了 ...
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
大数据组件学习路线: 阶段1:学习绿色箭头的知识点: 阶段2:学习红色箭头的知识点: 阶段3:学习蓝色箭头的知识点: 1 Hadoop 1.1 Hadoop1.x与Hadoop2.x的区别 1.2 ...

关于引擎tez遇到的问题，十分痛心！！！

关于引擎tez遇到的问题，十分痛心！！！相关推荐

最新文章

热门文章