linux hadoop 运行jar,Linux下执行Hadoop WordCount.jar
Linux执行 Hadoop WordCount
Ubuntu 终端进入快捷键 :ctrl + Alt +t
hadoop启动命令:start-all.sh
正常执行效果如下:
hadoop@HADOOP:~$ start-all.sh
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-namenode-HADOOP.MAIN.out
HADOOP.MAIN: starting datanode, logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-HADOOP.MAIN.out
HADOOP.MAIN: starting secondarynamenode,logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-secondarynamenode-HADOOP.MAIN.out
starting jobtracker, logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-jobtracker-HADOOP.MAIN.out
HADOOP.MAIN: starting tasktracker, loggingto /home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-tasktracker-HADOOP.MAIN.out
jps命令查看启动的hadoop服务
hadoop@HADOOP:~$jps
3615 Jps
2699 NameNode
3461 TaskTracker
2922 DataNode
3137 SecondaryNameNode
3231 JobTracker
本地创建一个文件夹
hadoop@HADOOP:~$ mkdir ~/file
在file文件创建两个txt文件
hadoop@HADOOP:~$ cd file
hadoop@HADOOP:~/file$ echo "Hello World" > file1.txt
hadoop@HADOOP:~/file$ echo "Hello Hadoop" > file2.txt
hadoop@HADOOP:~/file$ ls
file1.txt file2.txt
hadoop@HADOOP:~/file$
在HDFS上创建一个输入文件夹
hadoop@HADOOP:~/file$ hadoop fs -mkdir input
查看创建的input文件夹路径
hadoop@HADOOP:~$ hadoop fs -ls
Warning: $HADOOP_HOME is deprecated.
Found 5 items
-rw-r--r-- 3 Administrator supergroup 6296230 2014-09-03 10:38 /user/hadoop/cloud.txt
drwxr-xr-x - hadoop supergroup 0 2014-09-02 16:31/user/hadoop/hadi_curbm
drwxr-xr-x - hadoop supergroup 0 2014-09-04 09:59/user/hadoop/input
drwxr-xr-x - hadoop supergroup 0 2014-09-02 16:31/user/hadoop/pegasus
hadoop@HADOOP:~$
可以看到目录被创建到 /user/hadoop/input 目录
上传本地file文件到input目录
hadoop@HADOOP:~$hadoop fs put ~/file/*.txt /user/hadoop/input
找到hadoop目录下的examples.jar 程序包
hadoop@HADOOP:~$ cd hadoop-1.1.2
hadoop@HADOOP:~/hadoop-1.1.2$ ls
bin docs hadoop-test-1.1.2.jar LICENSE.txt src
build.xml hadoop-ant-1.1.2.jar hadoop-tools-1.1.2.jar logs webapps
c++ hadoop-client-1.1.2.jar ivy NOTICE.txt wordcount.jar
CHANGES.txt hadoop-core-1.1.2.jar ivy.xml README.txt
conf hadoop-examples-1.1.2.jar lib sbin
contrib hadoop-minicluster-1.1.2.jar libexec share
hadoop@HADOOP:~/hadoop-1.1.2$
执行jar程序代码 统计input目录下文件的Wordcount
hadoop@HADOOP:~$ hadoop jar /home/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar wordcount /user/hadoop/input output
Warning: $HADOOP_HOME is deprecated.
14/09/04 10:10:44 INFOinput.FileInputFormat: Total input paths to process : 0
14/09/04 10:10:45 INFO mapred.JobClient:Running job: job_201409040943_0001
14/09/04 10:10:46 INFOmapred.JobClient: map 0% reduce 0%
14/09/04 10:10:54 INFOmapred.JobClient: map 0% reduce 100%
14/09/04 10:10:55 INFO mapred.JobClient:Job complete: job_201409040943_0001
14/09/04 10:10:55 INFO mapred.JobClient:Counters: 18
14/09/04 10:10:55 INFOmapred.JobClient: Job Counters
14/09/04 10:10:55 INFOmapred.JobClient: Launched reducetasks=1
14/09/04 10:10:55 INFOmapred.JobClient: SLOTS_MILLIS_MAPS=4087
14/09/04 10:10:55 INFOmapred.JobClient: Total time spent byall reduces waiting after reserving slots (ms)=0
14/09/04 10:10:55 INFOmapred.JobClient: Total time spent byall maps waiting after reserving slots (ms)=0
14/09/04 10:10:55 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=4068
14/09/04 10:10:55 INFOmapred.JobClient: File Output FormatCounters
14/09/04 10:10:55 INFOmapred.JobClient: Bytes Written=0
14/09/04 10:10:55 INFOmapred.JobClient: FileSystemCounters
14/09/04 10:10:55 INFO mapred.JobClient: FILE_BYTES_WRITTEN=55309
14/09/04 10:10:55 INFOmapred.JobClient: Map-Reduce Framework
14/09/04 10:10:55 INFOmapred.JobClient: Reduce inputgroups=0
14/09/04 10:10:55 INFOmapred.JobClient: Combine outputrecords=0
14/09/04 10:10:55 INFOmapred.JobClient: Reduce shufflebytes=0
14/09/04 10:10:55 INFOmapred.JobClient: Physical memory(bytes) snapshot=35037184
14/09/04 10:10:55 INFOmapred.JobClient: Reduce outputrecords=0
14/09/04 10:10:55 INFO mapred.JobClient: Spilled Records=0
14/09/04 10:10:55 INFOmapred.JobClient: CPU time spent(ms)=120
14/09/04 10:10:55 INFOmapred.JobClient: Total committedheap usage (bytes)=15925248
14/09/04 10:10:55 INFOmapred.JobClient: Virtual memory(bytes) snapshot=377499648
14/09/04 10:10:55 INFOmapred.JobClient: Combine inputrecords=0
14/09/04 10:10:55 INFOmapred.JobClient: Reduce inputrecords=0
hadoop@HADOOP:~$
显示结果
hadoop@HADOOP:~$ hadoop fs -ls output
Warning: $HADOOP_HOME is deprecated.
Found 3 items
-rw-r--r-- 1 hadoop supergroup 02014-09-04 10:10 /user/hadoop/output/_SUCCESS
drwxr-xr-x - hadoop supergroup 02014-09-04 10:10 /user/hadoop/output/_logs
-rw-r--r-- 1 hadoop supergroup 02014-09-04 10:10/user/hadoop/output/part-r-00000
hadoop@HADOOP:~$
查看执行结果
hadoop@HADOOP:~$ hadoop fs -cat output/part-r-00000
Hadoop 1
Hello 2
World 1
linux hadoop 运行jar,Linux下执行Hadoop WordCount.jar相关推荐
- linux安装运行jmeter,Linux下安装运行Jmeter程序
Jmeter在linux系统中运行需要安装jdk和Jmeter两个软件: 1.安装JDK 先检查系统是否有安装jdk,在linux中执行如下命令:java -version 如果返回版本信息,说明系 ...
- Windows环境下执行hadoop命令出现系统找不到指定路径Error
问题详情 比如在win下的cmd下执行如下命令,会出现 首先打了下java -version,对的呀. C:\Users\lenovo>java -version java version &q ...
- 内网linux服务器安装运行环境,linux下如何在内网中安装docker_网站服务器运行维护...
docker的镜像和仓库是什么_网站服务器运行维护 docker镜像就像是一个linux的文件系统,这个文件系统里面包含了可以运行在linux内核的程序以及相应的数据.仓库是集中存储镜像的地方. 一. ...
- win10下执行Hadoop命令报错:系统找不到指定的路径。Error: JAVA_HOME is incorrectly set. Please update D:\
当我们在Win10操作系统下安装hadoop时,输入hadoop version,我们可能会遇到以下这种问题: 我们输入java -version,发现没有问题. 查看hadoop的环境变量也没有问题 ...
- linux sh 运行命令,linux shell运行命令详解
在Linux下,如果你需要运行shell程序,那么应该使用那个命令呢?下面由学习啦小编为大家整理了linux shell运行命令的相关知识,希望对大家有帮助! linux shell运行命令 说明:用 ...
- c#在linux上运行,在Linux上运行C#的方法
本文实例讲述了在Linux上运行C#的方法.分享给大家供大家参考.具体方法如下: 在任何一个平台(操作系统+硬件体系)上,编写和运行程序的三个最根本的需求是库.编译器/解释器.运行环境.库以类和方法( ...
- linux+后台运行+nohup,Linux后台运行命令集(、fg、bg、jobs、nohup、ctrl + z)
Linux后台运行命令集(&.fg.bg.jobs.nohup.ctrl + z) 1).& 命令或进程最后加上"&",可以把此操作放到后台执行: 2).c ...
- linux c 运行脚本,linux 将c源代码当作shell一样脚本运行_沃航科技
大家好,小沃这里为大家献上一点小技巧,关于linux中,如何让c语言代码向shell一样可以直接运行,其实这个技巧只是小沃在多年运维经验中所获得的一点小感悟而已. 大家知道,linux的c编程功能强大 ...
- 在linux上运行winpe,Linux配置PXE Server启动WinPE3.0环境
PXE Server就是DHCP+TFTP服务,如果想使用Server上的文件,可以加入FTP或Samba等服务.我用经常用的是PXE启动WinPE环境,在Linux 中再加入Samba服务.WinP ...
最新文章
- 零基础python入门课程-零基础 Python 入门
- [转]Oracle DB 执行用户管理的备份和恢复
- ListView隐藏HeadView
- this指向undefined uiapp_this为什么会为undefined?
- Oracle online系列(上):Online Move Datafile
- 构造函数必须是public吗_谈谈 constructor 的private和public
- [教官] 目标中关村!偶滴工作日记
- 解决Eclipse 64位启动时,报jvm.dll错
- python的setheading什么意思_用Python告诉你什么是佩奇
- ECMAScript6 新特性——“数组的扩展”
- python常用的颜色英文表达_python常用颜色
- mapgis注释文字文件完整转换成arcgis格式注记shp 2019视频教程
- 戴尔服务器2012系统密钥,戴尔恢复密钥在哪里找
- 77GHz雷达信号处理流程框图及应用方案
- BF算法和KMP算法详解
- eating的中文意思_Eating是什么意思中文
- 比较DirectX和OpenGL的区别
- C语言入门part2—大致知识点梳理(中篇)
- 七律:冬奥:2022年北京冬奥赞/文:铁哥
- wmm的学习日记(sql注入练习)
热门文章
- C# winform 多线程中创建等待窗体
- MFC中char*,string和CString之间的转换
- MFC 类库结构 总结
- C++和C#相互调用COM组件的方法简介
- 计算机操作系统思维导图_我在b站学计算机
- import caffe ImportError: No module named 'skimage'
- java quot;1quot;==quot;1quot;_JAVA: 为什么要使用quot;抽象类quot;? 使用quot;抽象类quot;有什么好处?...
- QComboBox样式
- angular2页面抓取_angular2怎么获取目前高度?
- 推流地址 java_Java实现腾讯云直播生成推流地址和播放地址