1.问题描述

在对yarn进行了uber任务配置之后，运行了一个word count的mapreduce任务。控制台显示的已经在uber model下了：

但是运行完了之后发现任务失败。接着查看了运行日志，发现报这个错误：

2019-11-12 15:20:18,565 INFO [uber-SubtaskRunner] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1573542707169_0002_m_000000_0 is : 0.0
2019-11-12 15:20:18,565 INFO [uber-SubtaskRunner] org.apache.hadoop.mapred.Task: Runnning cleanup for the task
2019-11-12 15:20:18,571 WARN [uber-SubtaskRunner] org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter: Could not delete hdfs://nameservice1/data/result/_temporary/1/_temporary/attempt_1573542707169_0002_m_000000_0
2019-11-12 15:20:18,571 INFO [uber-SubtaskRunner] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1573542707169_0002_m_000000_0: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:65)at org.apache.hadoop.io.compress.SnappyCodec.getCompressorType(SnappyCodec.java:134)at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:150)at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:165)at org.apache.hadoop.mapred.IFile$Writer.<init>(IFile.java:114)at org.apache.hadoop.mapred.IFile$Writer.<init>(IFile.java:97)at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:1607)at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1486)at org.apache.hadoop.mapred.MapTask$NewOutputCollector.close(MapTask.java:723)at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793)at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runSubtask(LocalContainerLauncher.java:388)at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runTask(LocalContainerLauncher.java:302)at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.access$200(LocalContainerLauncher.java:187)at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler$1.run(LocalContainerLauncher.java:230)at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)at java.lang.Thread.run(Thread.java:748)

大致意思就是我的Hadoop版本不支持snappy压缩。

2. 解决办法

参考了https://my.oschina.net/yulongblog/blog/758405这篇文章之后，将yarn的yarn.app.mapreduce.am.command-opts值修改成
-Djava.net.preferIPv4Stack=true（原有部分） -Djava.library.path=/opt/cloudera/parcels/CDH-5.9.3-1.cdh5.9.3.p0.4/lib/hadoop/lib/native/（新增部分）之后，再重新运行uber任务就能运行成功了。

3. uber任务的配置

cdh5.9由四个参数可以控制uber任务的开启：

uber任务就是小作业，application master判断在新的容器中分配和运行任务的开销大于并行运行它们的开销时，就会决定是否开启uber模式运行任务。
小作业就是少于10个mapper且只有1个reducer且输入大小小于一个HDFS块的作业。由以下三个参数控制。
mapreduce.job.ubertask.maxmaps：最大map个数，超过这个值就是大作业mapreduce.job.ubertask.maxreduces：最大reduce个数，超过就是大作业 mapreduce.job.ubertask.maxbytes：Ubertask 最大作业大小，超过就是大作业。

cdh5.9运行mapreduce uber任务报java.lang.RuntimeException: native snappy library not available错误相关推荐

使用CXF 2.7.5出现的java.lang.RuntimeException: Cannot create a secure XMLInputFactory错误解决...
昨天启动工程测试webservice服务,结果发现服务一调用就报java.lang.RuntimeException: Cannot create a secure XMLInputFactory j ...
idea连接mysql数据库报java.lang.RuntimeException: com.mysql.cj.exceptions.InvalidConnectionAttributeExcepti
转载地址:https://blog.csdn.net/q97052252/article/details/89042882 报错:java.lang.RuntimeException: com.mys ...
HBASE的hmaster报java.lang.RuntimeException: HMaster Aborted
bin/start-hbase.sh启动后,Hregionserver启动正常,Hmaster启动之后又自动关闭. 我的情况: 三台虚拟机,需要在1和2上启动hmaster,1.2.3上启动hregi ...
Android解决调用JNI报java.lang.UnsatisfiedLinkError: No implementation found for的错误
最近公司项目需求接入即时通讯功能,现在第三方的即时通讯做的比较完善,接入也很方便.最近在调试语音的时候遇到了一个.so库加载失败的问题,在网上查看都是说由于原有项目的so库和新添加的model的so库 ...
springBoot集成websocket报java.lang.IllegalStateException: Failed to register @ServerEndpoint class:错误
搜了很多答案,大致有以下几种解决办法,如果有类似错误,大家可以按下面几类错误对照检查一下: 1. @ServerEndpoint("/webSocket/message/{xxx}/{xxx ...
iBatis报java.lang.RuntimeException: Error setting property错误
通过检查,发现数据库中此列数据为空,但实际数据库设置此字段属性为int类型,默认值为0,当查询转换时,不能把null转换成int类型,如此就产生了异常,如果实际应用中确实有空的数据,但需转换成其他类型 ...
sql查询报java.lang.RuntimeException: serious problem
原因:数据表的存储格式为orc 解决办法: 将表的存储格式改成 parquet /textfile
类型转换异常处理java.lang.RuntimeException
前几天在做一个安卓项目的时候一直报java.lang.RuntimeException错,一直调试不出来,今天突然又灵感是不是文件配置出错了,果然在清单文件中少了一句 android:name=&qu ...
java.lang.RuntimeException: Parcel: unable to marshal value com.
今天出现这个错百度一下才知道我的javabean没有实现序列化导致的错误 java.lang.RuntimeException: Parcel: unable to marshal value错误引起 ...

cdh5.9运行mapreduce uber任务报java.lang.RuntimeException: native snappy library not available错误

1.问题描述

2. 解决办法

3. uber任务的配置

cdh5.9运行mapreduce uber任务报java.lang.RuntimeException: native snappy library not available错误相关推荐

最新文章

热门文章