tez引擎跑hive 语句报错问题解决
tez引擎跑hive 语句报错问题解决
现象：
Container [pid=151320,containerID=***] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 5.1 GB virtual memory used. Killing container.
很明显，容器物理内存爆了。
我先设置了hive.tez.container.size=2048，同样的报错。
接着设置了tez.task.resource.memory.mb=2048，还是同样的报错。
翻了半天tez参数说明，加了一个am的设置：set tez.am.resource.memory.mb=2048，终于好了。
记录一下。
tez参数说明：
1、AM、Container大小设置1、tez.am.resource.memory.mb #设置 tez AM容器内存
默认值：1024
配置文件：tez-site.xml 建议：不小于或者等于yarn.scheduler.minimum-allocation-mb值。
2、hive.tez.container.size #设置 tez container内存
默认值：-1
默认情况下，Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。
配置文件：hive-site-xml 建议：不小于或者是yarn.scheduler.minimum-allocation-mb的倍数
问了一个专业的人，他说这两个参数要配合使用。
好吧，其实只是一个简单问题解决。没啥实际用处。。。我又不用tez跑hive语句。
tez引擎跑hive 语句报错问题解决相关推荐
- 执行Hive语句报错：FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user '
安装个Hive真不省心,各种问题.最近安装好Hive后执行Hive语句时碰到这样的错误: hive> show databases; FAILED: Error in metadata: jav ...
- Hive集成Tez引擎跑任务出现的问题（Java heap space问题）
问题1:Hive集成Tez引擎跑任务出现异常:TaskAttempt 3 failed, info=[Error: Error while running task ( failure ) : att ...
- Hive启动报错：java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
<!--Hive启动报错:Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration ...
- hive 任务查询报错 Reduce operator initialization failed
问题 : hive on spark任务报错Reduce operator initialization failed 语句 : 报错 : 解决 : 默认开启了hive.auto.convert.jo ...
- Hive启动报错 java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang
Hive启动报错 [lili@hadoop102 hive]$ bin/hive which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/bin:/b ...
- centos7 hive启动报错 没有到主机的路由，防火墙已关闭
问题 hive启动报错,防火墙已关闭 at java.lang.reflect.Constructor.newInstance(Constructor.java:423)at org.datanucl ...
- django 使用json.dumps转换queryset的datatime报错问题解决
django 使用json.dumps转换queryset的datatime报错问题解决 参考文章: (1)django 使用json.dumps转换queryset的datatime报错问题解决 ( ...
- python3的urllib2报错问题解决方法
python3的urllib2报错问题解决方法 参考文章: (1)python3的urllib2报错问题解决方法 (2)https://www.cnblogs.com/marsggbo/p/66229 ...
- sq语句报错Parameter index out of range (2 ＞ number of parameters, which is 1).
sql语句报错: org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.type.TypeE ...
最新文章
- TiDB 在量化派风控系统中的应用
- 1.10 对象序列化控制输入输出
- 关于C++中函数指针的使用(包含对typedef用法的讨论)
- matlab 仿真模型,MATLAB Simulink 仿真
- 《数据库SQL实战》查找最晚入职员工的所有信息
- iOS手势操作简介（六）
- Socket通信 客户端加密数据，传递数据密文到服务端，服务端解密密文 输出明文
- ansible执行mysql命令,Ansible常用命令(ad-hoc 命令)
- 如何使柱状图左右展示_关于微生物门类堆叠柱状图，你知道的并不够
- jQuery Deferred对象
- 奇怪：WINDOWS排序错了？
- 格力集团投资小米，或是对董明珠和格力电器的复仇
- Vscode信任问题
- token什么意思中文在C语言中,token什么意思(token里面包含什么信息)
- opc ua与opc da区别_OPC,OPCDA,OPCUA
- 计算机应用基础客观答案,20春国家开放大学计算机应用基础客观题资料参考答案...
- Java多态 父类引用指向子类对象
- 鸿蒙系统怎样去掉下拉音乐播放器,windows10系统下怎样取消音乐播放器默认播放器...
- 揭秘：蓝光光碟“造”太阳能电池的神奇之处
- Oracle查询某个日期的周一到周日SQL语句