参考1:http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html

需要说明的有以下几点。

1.如果wordcount程序不含层次,即没有package

那么使用如下命令:

[cpp] view plaincopy

  1. hadoop jar wordcount.jar WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-6

该命令行的意思大致是:执行hadoop 程序,该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件,分别是WordCount.java编译产生的3个class文件:

  • WordCount.class

  • WordCount$Map.class

  • WordCount$Reduce.class

和WordCount2.java编译产生的四个claas文件:

  • classWordCount2.class

  • WordCount2$IntSumReducer.class

  • WordCount2$IntWritableDecreasingComparator.class

  • WordCount2$TokenizerMapper.class

并且这几个.class文件是在jar包的根目录下。将上述七个class文件打包成jar文件的方法如下:假设上述七个class文件在同一个目录WordCount文件夹下,使用命令行进入到该级目录,然后通过如下命令打包:

[java] view plaincopy

  1. jar cvf WordCount.jar *.class

2.如果wordcount程序含有层次

那么使用如下命令(错误):

[cpp] view plaincopy

  1. $ hadoop jar wordcount.jar WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-7

会报错,错误如下:(具体原因可以参考博客:http://blog.csdn.net/xw13106209/article/details/6861855)

[cpp] view plaincopy

  1. Exception in thread "main" java.lang.ClassNotFoundException: WordCount2

  2. at java.net.URLClassLoader$1.run(URLClassLoader.java:202)

  3. at java.security.AccessController.doPrivileged(Native Method)

  4. at java.net.URLClassLoader.findClass(URLClassLoader.java:190)

  5. at java.lang.ClassLoader.loadClass(ClassLoader.java:306)

  6. at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

  7. at java.lang.Class.forName0(Native Method)

  8. at java.lang.Class.forName(Class.java:247)

  9. at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

正确命令如下:

[cpp] view plaincopy

  1. $ hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-7

这里唯一的不同色jar包的不同,上一条命令的jar包是wordcount.jar,而这里的java包是WordCount.jar。WordCount.jar把是对org/apache/hadoop/examples整个目录打包得到的。

3.编译WordCount.java程序

在参考1中使用了类似以下的命令来编译WordCount.java

[cpp] view plaincopy

  1. javac -classpath /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar WordCount.java -d /home/hadoop/WordCount/

这条命令的指定了classspath为 /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar 。其实我们可以修改环境变量来省去这些内容。

具体方法为:

[cpp] view plaincopy

  1. sudo gedit /etc/profile

修改

[cpp] view plaincopy

  1. export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

[cpp] view plaincopy

  1. export HADOOP_HOME=/home/hadoop/program/hadoop-0.20.1

  2. export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH:$HADOOP_HOME/hadoop-0.20.1-core.jar

这样的话,就可以直接使用如下命令来编译WordCount.java程序了

[cpp] view plaincopy

  1. javac  WordCount.java -d /home/hadoop/WordCount/

注意:这里的WordCount.java可以有包名,也可以没有包名。如果没有包名的话,在/home/hadoop/WordCount/目录下就有几个编译完成的.class文件。如果有包名的话,那么在/home/hadoop/WordCount/目录下还会生成包的结构目录。

4.出现无法编译WordCount.java程序的情况

在使用同样的编译命令的时候

[cpp] view plaincopy

  1. javac WordCount2.java -d /home/hadoop/WordCount/

会提示如下错误:

[cpp] view plaincopy

  1. WordCount2.java:93: 无法访问 org.apache.commons.cli.Options

  2. 未找到 org.apache.commons.cli.Options 的类文件

  3. String[] otherArgs = new GenericOptionsParser(conf, args)

  4. ^

  5. 1 错误

查了一些资料,这个错误主要是因为WordCount2.java里面用到了一些类,而这些类没有在classpath路径下注册。所以会产生这样的错误。因为在eclipse中,我们的bulid path中的library中添加的jar包不单单只有hadoop-0.20.1-core.jar一个jar,还有其他许多的jar,如果要通过命令行将这些jar包全部打出来,非常麻烦。这里推荐使用ant来进行编译。具体如何使用ant,可能会在后面的博客中提及。我们可以使用eclipse来帮我们编译。参考博客:eclipse编译java文件。

原文地址:http://blog.csdn.net/xw13106209/article/details/6862480

转载于:https://blog.51cto.com/5276605/1422304

命令行运行hadoop实例wordcount程序相关推荐

  1. 命令行运行Jmeter实例

    最近在用jmeter做接口的压力测试,开始是在GUI下运行的,随着并发数的增加,发现我的电脑卡死了,虽然是对远程服务器进行压测,但是当并发数增加时,会影响运行的电脑的性能,因此采取了命令行格式运行jm ...

  2. python路径在哪里设置_找Python安装目录,设置环境路径以及在命令行运行python脚本实例...

    第一点:找Python安装目录 方法一: 方法二: 输入import sys print(sys.path) 化黑线处 第二点:找到安装目录后就可以开始设置环境变量 这里我的安装目录为C:\Progr ...

  3. 【原创】解决windows命令行运行程序必须输入.exe后缀的问题

    这个问题是因为环境变量有异常. 1.右键桌面上的"此计算机"图标,选择"属性",得到以下页面 2.单击左侧的"高级系统设置" 3.在&quo ...

  4. Windows命令行运行Java程序

    如何在Windows命令行运行Java程序 准备工作 1.安装JDK 安装JDK(Java Development Kit Java开发工具包 又称SDK)Oracle公司JDK下载地址,直接下载,然 ...

  5. Java jar 命令行运行程序如何引用第三方依赖包

    1 引言 mybatis generator 是一个命令行运行工具,可以生成 mybatis 代码.但它需要依赖数据库驱动 jar,否则会抛出 ClassNotFoundException 异常. E ...

  6. 设置PATH 环境变量、pyw格式、命令行运行python程序与多重剪贴板

    pyw格式简介: 与py类似,我认为他们俩卫衣的不同就是前者运行时候不显示终端窗口,后者显示 命令行运行python程序: 在我学习python的过程中我通常使用IDLE来运行程序,这一步骤太过繁琐( ...

  7. Jmeter命令行运行实例讲解

    一. 简介 1.1.应用场景 1.无需交互界面或受环境限制(linux text model) 2.远程或分布式执行 3.持续集成,通过shell脚本或批处理命令均可执行,生成的测试结果可被报表生成模 ...

  8. 如何在命令行运行java程序

    1.先在命令行进入到保存java程序的文件夹下 进入方法: 1.按住win + R进入命令行 2.输入cmd,回车或点击确认 3.进入文件夹找到java文件所在地址 4.复制路径 5.命令行输入文件所 ...

  9. python脚本实例手机端-python链接手机用Python实现命令行闹钟脚本实例

    前言: 这篇文章给大家介绍了怎样用python创建一个简单的报警,它可以运行在命令行终端,它需要分钟做为命令行参数,在这个分钟后会打印"wake-up"消息,并响铃报警,你可以用0 ...

最新文章

  1. 列表转字符串,再转回来,完全一致
  2. 聚焦五大领域:浙江大学发布《重大领域交叉前沿方向2021》报告
  3. Matlab学习笔记——数据文件定位
  4. 模拟退火算法解决TSP(python实现 110+行代码)【gif生成】
  5. Ubiquiti几十款无线产品爆出命令注入漏洞 是因为没有升级老版本的PHP 据说厂商还未给出补丁...
  6. android删除文件夹代码,Android_Android递归方式删除某文件夹下的所有文件(.mp3文件等等),1.由于需要删除文件,因此需 - phpStudy...
  7. 21秋期末考试建筑力学与结构10126k2
  8. CentOS 7安装Teamviewer 12
  9. Wap Push Access Protocol(PAP)介绍-开放源码
  10. 简单的事情搞复杂:挂个版本到网站,拖了几个月还没做
  11. 在线翻译转换器对接百度翻译、有道词典和谷歌翻译api
  12. 端口扫描工具有哪些linux,Linux C语言写的超级简单端口扫描器linux操作系统 -电脑资料...
  13. 广义线性模型和线性回归
  14. 金蝶专业版怎么反过账当月_金蝶KIS专业版没有反过账功能,怎么反过账
  15. php中的oop思想,oop_php oop思想_oop和ood
  16. Unity 自动化构建方案:一键实现版本管理与打包、压缩
  17. 2011计算机一级a,计算机一级A2011 上海.doc
  18. 编程这工作究竟是在干什么?
  19. ffmpeg命令行太多了_ffmpeg每帧请求的位数过多
  20. Ubuntu 14.04 安装配置 JDK8

热门文章

  1. 漫话:如何给女朋友解释什么是熔断?
  2. 那些年让你迷惑的阻塞、非阻塞、异步、同步
  3. 用PaddlePaddle打比赛!
  4. 推荐系统超级公开课报名!
  5. 各种 Optimizer 梯度下降优化算法总结
  6. 机器学习工业复现的 12 个要素!
  7. Linux 这些工具堪称神器!
  8. 即将 50 岁的雷军,重新回到手机战场
  9. 美多商城之项目准备-工程创建和配置
  10. 长知识啦!字符也可以作为下标!_只愿与一人十指紧扣_新浪博客