Hadoop问题：The auxService:mapreduce

问题描述：The auxService:mapreduce_shuffle does not exist

INFO mapreduce.Job: Task Id : attempt_1461808335315_0001_m_000000_1, Status : FAILED
Container launch failed for container_1461808335315_0001_01_000003 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not existat sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:526)at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:369)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)at java.lang.Thread.run(Thread.java:745)

问题分析：The auxService:mapreduce_shuffle does not exist；yarn-site.xml配置文件有问题（注意单词拼写）

问题解决：vim /usr/local/hadoop/etc/hadoop/yarn-site.xml　　

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

Hadoop问题：The auxService:mapreduce_shuffle does not exist相关推荐

Spark读Hive分区表报错：Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist
前言之前删除Hive分区表的时候,直接用hadoop fs -rm -r 命令删除了hdfs上的分区目录,然后用spark读取hive的这个表的时候,就报错了: Caused by: org.apa ...
hadoop问题集(1)
参考: http://dataunion.org/22887.html 1.mapreduce_shuffle does not exist 执行任何时报错: Container launch fai ...
hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误
本篇博文为整理网络上Hadoop-HA搭建后出来的博客,参考网址为:http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. 机器 ...
不看就亏系列！这里有完整的 Hadoop 集群搭建教程，和最易懂的 Hadoop 概念！| 附代码...
作者 | chen_01_c 责编 | Carol 来源 | CSDN 博客封图 | CSDN付费下载于视觉中国 hadoop介绍 Hadoop 是 Lucene 创始人 Doug Cutting, ...
CentOS下部署Hadoop高性能集群
目录: •Hadoop 概述 •实战1:部署Hadoop高性能集群 Hadoop是什么 Hadoop是Lucene创始人Doug Cutting,根据Google的相关内容山寨出来的分布式文件系统和对 ...
Hadoop基础之《（6）—Hadoop单机伪集群安装》
一.安装JDK yum install java-1.8* 二.关闭防火墙 systemctl status firewalld systemctl stop firewalld systemctl ...
Hadoop入门·环境搭建
Hadoop入门·环境搭建 1 步骤硬件环境准备资源下载环境部署 2 分布式集群环境部署 2.1 硬件环境准备本案例中使用三台服务器(仅作为学习案例),分别为Hadoop102,Hadoop1 ...
Hadoop集群搭建超详细说明
最近随着公司业务的发展,在一波重构中技术层面主要的目标是双中台建设,由是就有了本文. # 数据中台 ## 1.环境准备 ### 1.1.前置条件 #### Linux wget ##### rpm 安 ...
Input path does not exist
Spark-sql 报错:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: 现象 spark-sql ...

Hadoop问题：The auxService:mapreduce_shuffle does not exist

Hadoop问题：The auxService:mapreduce_shuffle does not exist相关推荐

最新文章

热门文章