Ubantu12.04下hadoop-1.2.1运行第一个例子wordcount过程,分享一下

将WordCount.java文件放在Hadoop安装目录下,并在安装目录下创建输入目录input,目录下有输入文件file1,file2,其中:

  file1内容:hello world

  file2内容:hello hadoop

          hello mapreduce

准备好之后在命令行输入运行,下面对执行的命令进行介绍:

注:在此之前必须启动hadoop的所有服务。

  在启动之前,需要格式化Hadoop的文件系统HDFS ,进入Hadoop文件夹。输入命令:bin/hadoop namenode -format

  格式化文件系统,接下来启动Hadoop所有进程,输入命令:bin/start-all.sh(中间无空格)

  然后查看是否启动成功,输入命令:jps  

  如下所示即可:

    wangnan@slave1:~/hadoop-1.2.1$ jps
    3866 DataNode
    4102 SecondaryNameNode
    4192 JobTracker
    4430 TaskTracker
    8576 Jps
    4700 NameNode

(1)在集群上创建输入文件夹

  bin/hadoop fs -mkdir wordcount_input

(2)上传本地目录input下前四个字符的为file的文件到集群上的 input 目录下:

  bin/hadoop fs -put input/file* wordcount_input

(3)编译WordCount.java程序,将结果放入当前目录的WordCount目录下(在此之前首先在hadoop安装目录下创建一WordCount个目录,即新建文件夹):

  javac -classpath hadoop-core-1.2.1.jar:lib/commons-cli-1.2.jar -d WordCount WordCount.java

(4)将编译结果打包jar

  首先进入hadoop-1.2.1/WordCount/org/apache/hadoop/examples下,也就是进入class文件目录如图:

输入命令:jar cvf WordCount.jar *.class

(5)在集群上运行WordCount程序,以input目录为输入目录,output为输出目录:

bin/hadoop jar hadoop-examples-1.2.1.jar wordcount wordcount_input wordcount_output

(6)查看输出结果:

bin/hadoop fs -cat wordcount_output/part-r-00000

(7)最后运行代码如下:

  hello  3

  world 1

  hadoop 1

  mapreduce  1

不同机器可能遇到不同的问题,可以参考一下解决方法:

MapReduce——WordCount问题总结 http://blog.sina.com.cn/s/blog_7fcb1aef0100zpux.html

bin/hadoop jar hadoop-*-examples.jar wordcount 路径错误     http://blog.csdn.net/jkeven/article/details/7655586

转载于:https://www.cnblogs.com/wangnan45/p/3407981.html

Ubantu下hadoop运行第一个例子wordcount过程相关推荐

  1. linux运行wordcount,hadoop运行第一个实例wordcount

    引语: 这几周事情比较多,两周没写博客了,这周总算把hadoop的实例给运行起来,然后跑了一下官方的wordcount例子(用于统计文件中单词出现的次数). 接下来是我成功运行实例的记录.运行的前提是 ...

  2. (1)Hadoop 的第一个程序 WordCount 理解

    Hadoop 的第一个程序 WordCount 理解 map and Reduce 相关概念 Map 将数据拆分成一个个键值对, reduce 负责将一个个键值对进行归集, 最后统计出结果 machi ...

  3. mapReducer第一个例子WordCount

    mapreducer第一个例子,主要是统计一个目录下各个文件中各个单词出现的次数. mapper package com.mapreduce.wordCount;import java.io.IOEx ...

  4. ubuntu下hadoop运行wordcount程序

    本机环境 ubuntu 12 hadoop 1.1.2 首先保证hadoop配置成功 1.在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/or ...

  5. Linux系统下Hadoop运行环境搭建

    1.安装ssh免密登录 命令:ssh-keygen overwrite(覆盖写入)输入y 一路回车 将生成的密钥发送到本机地址 ssh-copy-id localhost (若报错命令无法找到则需要安 ...

  6. linux下运行hadoop,Linux环境下hadoop运行平台的搭建

    1.hadoop版本认识 截至目前(2012年12月23日),Apache Hadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0.第一 ...

  7. 使用Hadoop自带的例子wordcount实现词频统计

    Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用wordcount实现词频统计.具体步骤如下: 1. 启动Hadoop 切换到Hadoo ...

  8. Activity工作流(2)-入门安装运行第一个例子

    1. 初识Activiti 1.1. 工作流与工作流引擎 工作流(workflow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计 ...

  9. 镭神C16激光雷达在ubantu下测试

    镭神C16激光雷达在ubantu下测试 前言 一.将雷达和笔记本电脑通过网线连接起来,在ubantu下设置IP地址 二.镭神Linux驱动的安装 1.创建一个工作空间 2.进入创建的空间下的src目录 ...

最新文章

  1. 腾讯汤道生:人工智能最大的价值是“服务于人”
  2. python入口函数的作用_python之函数中参数的作用域
  3. 宜搭小技巧|找不到应用怎么办?群应用一键直达
  4. Nginx进程间通讯方式
  5. Catlyst 6509告警信息--把trunk口配置成access
  6. 青蛙换位置excel_吃青蛙:如何在Excel中创建每日交付的sprint消耗图
  7. ATL的GUI程序设计(2)
  8. 当过爱因斯坦助理,参加过曼哈顿计划,他还发明受欢迎的编程语言 | 人物志...
  9. Android 还可以走多久?
  10. linux 美化 深度,不美翻怎么开发!Ubuntu 16.04 LTS深度美化!(2017年度定稿版)
  11. java二路归并排序算法_java二路归并排序示例分享
  12. 国产配色网站,简单好用,包含在线图片取色工具
  13. Windows 使用winPe装机详细教程(图片来来源网络,仅为交流学习之用,谢谢)
  14. pandas读取excel遇见空值的处理
  15. 新教育杂志新教育杂志社新教育编辑部2023年第6期目录
  16. 平均的计算机符号,如何在Word中输入平均数的符号X上加一横(X拔)
  17. mvn No proxy was configured, downloading directly
  18. 【ESP 保姆级教程】玩转emqx认证篇② ——认证安全之使用内置数据库(Mnesia)的密码认证
  19. 【深度学习】VGGNet原理解析及实现
  20. 用python画小星星

热门文章

  1. 大数据学习01——配置虚拟机节点相关网络
  2. 2022-2028年中国橡胶履带产业发展动态及投资趋势预测报告
  3. 【Sql Server】DateBase-视图
  4. view(*args)改变张量的大小和形状_pytorch reshape numpy
  5. 使用Spring容器
  6. LeetCode简单题之有序数组中出现次数超过25%的元素
  7. Lambda 表达式基础理论与示例
  8. 光谱投影颜色感知器件与围栅多桥沟道晶体管技术
  9. TensorRT 加速性能分析
  10. Python 爬虫框架Scrapy安装汇总