Hadoop集群中运行MapReduce程序错误记录

Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
1. 　　先将上传的jar包文件所有者修改为当前用户
```
sudo chown tianliuyang:tianliuyang MapReduceDemo.jar 
```
2. 将jar包中的META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 删除
```
sudo zip -d MapResuceDemo.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF
```
3. 再次执行WC程序即可
```
hadoop jar MapResuceDemo.jar  /user/tly/input /user/tly/output
```
Note: System times on machines may be out of sync. Check system time and time zones.
1. 　　是由于集群中的服务器时间不一致造成的,需要配置集群同步时间ntp,详情请见hadoop集群中配置ntp时间同步服务器

转载于:https://www.cnblogs.com/tianliuyang/p/9656020.html

Hadoop集群中运行MapReduce程序错误记录相关推荐

python集群到hadoop_如何使用Hadoop流在本地Hadoop集群中运行MRJob？
我正在学习一个大数据类,我的一个项目是在本地建立的Hadoop集群上运行Mapper/Reducer.在我一直在为类使用Python和MRJob库.在下面是我当前用于Mapper/Reducer的 ...
从零到一编写一个 spark 程序并提交到集群中运行
怎样用IDEA编写spark程序并提交到集群上运行 1.安装scala sdk 1.下载 scala 安装程序 #下载地址 https://www.scala-lang.org/download #w ...
[转]Hadoop集群_WordCount运行详解--MapReduce编程模型
Hadoop集群_WordCount运行详解--MapReduce编程模型下面这篇文章写得非常好,有利于初学mapreduce的入门 http://www.nosqldb.cn/1369099810 ...
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...
jar包在Hadoop集群上测试(MapReduce)
本片使用MapReduce--统计输出给定的文本文档每一个单词出现的总次数的案例进行,jar包在集群上测试 1.添加打包插件依赖 <build><plugins><plu ...
《Hadoop集群与安全》一2.1　在Hadoop集群中配置操作系统
本节书摘来自华章出版社<Hadoop集群与安全>一书中的第2章,第2.1节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区& ...
k8s使用port-forward访问集群中的应用程序（只能在执行命令的机器上开放端口）
k8s使用port-forward访问集群中的应用程序本文描述了如何使用 kubectl port-forward 访问 Kubernetes 集群中的 Redis Server.这种连接方式在实际 ...
CentOS6上Hadoop集群中服务器cpu sys态异常的定位与解决
问题现象在zabbix系统中,对Hadoop集群的历史监控数据分析时,发现在执行大Job任务时,某些服务节点的cpu sys态很高: 具体以hadoop_A服务节点为例,在10:15-10:40这个 ...
HADOOP实践101：在Hadoop集群中添加机器和删除机器
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断. 本次操作之前,Hadoop的集群情况如下: HDFS的机器情况如下: MR的机器情况如下: 添加机器在集群的Master机 ...

Hadoop集群中运行MapReduce程序错误记录

Hadoop集群中运行MapReduce程序错误记录相关推荐

最新文章

热门文章