jar包在Hadoop集群上测试(MapReduce)

本片使用MapReduce——统计输出给定的文本文档每一个单词出现的总次数的案例进行，jar包在集群上测试

1、添加打包插件依赖

    <build><plugins><plugin><artifactId>maven-compiler-plugin</artifactId><version>3.6.2</version> //这里换成对应版本<configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><artifactId>maven-assembly-plugin </artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs><archive><manifest><mainClass>com.lizhengi.mr.WordcountDriver</mainClass>  // 此处要换成自己工程的名字</manifest></archive></configuration><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins></build>

2、更改WcDriver

将

FileInputFormat.setInputPaths(job, "/Users/marron27/test/input");
FileOutputFormat.setOutputPath(job, new Path("/Users/marron27/test/output"));

更改为

 FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));

3、将程序打成jar包，然后拷贝到Hadoop集群中

选中maven工程
选择Hadoop_API>>Lifecycle>>package

完成打包

4、修改不带依赖的jar包名称为wc.jar，并拷贝该jar包到Hadoop集群

mv Hadoop-API-1.0-SNAPSHOT.jar wc.jar
scp wc.jar root@Carlota1:/root/test/input

5、新建测试用例，并上传到HDFS

ssh root@Carlota1
hadoop fs -copyFromLocal hello.txt /demo/test/input

6、执行WordCount程序

hadoop jar wc.jar com.lizhengi.mapreduce.WcDriver /demo/test/input /demo/test/output
这里我是遇到了一个卡在INFO mapreduce.Job: Running job: job_1595222530661_0003的问题，然后通过修改 mapred-site.xml解决
执行结束后，下载结果到本地hadoop fs -copyToLocal /demo/test/output /root/test/output
cat /root/test/output part-r-00000

flume    2
hadoop  2
hdfs    1
hive    1
kafka   2
mapreduce   1
spark   1
spring  1
take    2
tomcat      2

jar包在Hadoop集群上测试(MapReduce)相关推荐

Hadoop集群上使用JNI，调用资源文件
hadoop是基于java的数据计算平台,引入第三方库,例如C语言实现的开发包将会大大增强数据分析的效率和能力. 通常在是用一些工具的时候都要用到一些配置文件.资源文件等.接下来,借一个例子来说明ha ...
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...
在Hadoop集群上,搭建HBase集群
(1)下载Hbase包,并解压:这里下载的是0.98.4版本,对应的hadoop-1.2.1集群 (2)覆盖相关的包:在这个版本里,Hbase刚好和Hadoop集群完美配合,不需要进行覆盖. 不过这里 ...
Hadoop集群中运行MapReduce程序错误记录
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for ...
Hadoop集群搭建及MapReduce应用
一.Hadoop集群的搭建与配置 1.节点准备集群规划: 主机名 IP 安装的软件运行的进程 weekend 01 192.168.1.60 jdk.hadoop NameNode.DFSZKFa ...
使用HDFS客户端java api读取hadoop集群上的信息
本文介绍使用hdfs java api的配置方法. 1.先解决依赖,pom <dependency><groupId>org.apache.hadoop</groupId ...
Centos7系统、Hadoop集群上部署ntp服务器
集群情况: 三台机器分别: master:180.201.163.46 slave1:180.201.156.76 slave2:180.201.130.17 网关:255.255.192.0 在sl ...
Hadoop集群上的Hive安装时进行初始化元数据信息出现错误HiveSchemaTool:Parsing failed. Reason: Missing required option:
同样的命令,从文档上复制过来用时出现错误然后自己重新手打了一般,成功,原因可能是从word文档复制过来时的命令行中-的中文化
如果遇到Hadoop集群正常，MapReduce作业运行出现错误，如何来查看作业运行日志（图文详解）...
这个时候我们可以进入logs下的userlogs 备注:userlogs目录下有很多个以往运行的作业,我选择最新的最大编号的作业,就是我们当前运行作业的日志.然后找到stderr stdout sys ...

jar包在Hadoop集群上测试(MapReduce)

jar包在Hadoop集群上测试(MapReduce)相关推荐

最新文章

热门文章