Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明

1、MR程序时执行时报错：
YarnRuntimeException: java.io.IOException:Split metadata size exceeded 10000000.

2、原因分析：
输入文件包括大量小文件或者文件目录，造成Splitmetainfo文件超过默认上限。

3、解决办法：

在mapred-site.xml配置文件中：
修改默认作业参数mapreduce.jobtracker.split.metainfo.maxsize =100000000
或者mapreduce.jobtracker.split.metainfo.maxsize = －1 （默认值是1000000)

<property>
<name>mapreduce.job.split.metainfo.maxsize</name>
<value>10000000</value>
</property>

4、深入分析：
job.splitmetainfo该文件记录split的元数据信息，如input文件过多，记录的文件结构信息超出默认设置就会报错；
这个机制也是Hadoop集群要求文件大小不能过小或目录过多，避免namenode出现元数据加载处理瓶颈，这种业务一般会出现在存储图片上。
如block默认128M，则文件应大于这个，尽量合并小文件。

5、源码分析：
org.apache.hadoop.mapreduce.split.JobSplit
可以看出splitmetainfo存储的文件结构信息内容：
@Override
public String toString() {
StringBuffer buf = new StringBuffer();
buf.append("data-size : " + inputDataLength + "\n");
buf.append("start-offset : " + startOffset + "\n");
buf.append("locations : " + "\n");
for (String loc : locations) {
buf.append(" " + loc + "\n");
}
return buf.toString();
}
}

Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明相关推荐

Hadoop精华问答 | 如何设置单个任务占用的内存量和CPU数目？
我们很荣幸能够见证Hadoop十年从无到有,再到称王.感动于技术的日新月异时,让我们再来看看关于Hadoop的精华问答. 1 Q:默认情况下,各个节点的负载不均衡(任务数目不同),有的节点很多任务在跑 ...
Appium中Desired Capabilities参数设置
参考: Appium(五):Desired Capabilities Appium Desired Capabilities 1. 平台通用参数设置 Desired Capabilities简单来说就 ...
Hadoop MapReduce Job 相关参数设置概念介绍与理解
Hadoop MapReduce Job 相关参数设置概念介绍与理解 InputFormat: 作用:将输入的文件分成一个个split,并且将split 拆分成一个个<key,value& ...
Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解
Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下: 输入:参数0--存储样本数据的文本文件inpu ...
python hadoop streaming_Hadoop Streaming 使用及参数设置
1. MapReduce 与 HDFS 简介什么是 Hadoop ? Google 为自己的业务需要提出了编程模型 MapReduce 和分布式文件系统 Google File System,并发布 ...
2021年大数据Hadoop（二十九）：关于YARN常用参数设置
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言关于yarn常用参数设置设置container分配最小内 ...
Hadoop streaming 排序、分桶参数设置
编写hadoop任务经常需要用到partition和排序.这里记录一下几个参数. 1. 概念 Partition:分桶过程,用户输出的key经过partition分发到不同的reduce里,因而par ...
DolphiScheduler平台上运行spark程序时，外部参数设置
DolphiScheduler平台上运行spark程序时,外部参数设置近期使用DS平台执行spark程序,遇到了部分参数设置的问题,代码中需要外部传入一个参数procDate(处理日期),具体设置如 ...
在win7上的eclipse向hadoop提交作业异常-权限/设置调度器
第一个问题,在win7上的eclipse向hadoop提交作业时,没有权限,异常信息如下: Java代码 Caused by: org.apache.hadoop.ipc.RemoteExcept ...

Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明

Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明相关推荐

最新文章

热门文章