一 安装jdk

下载相应版本的jdk安装到相应目录,我的安装目录是/usr/lib/jdk1.8.0_40

下载完成后,在/etc/profile中设置一下环境变量,在文件最后追加如下内容

export JAVA_HOME=/usr/lib/jdk1.8.0_40
export JRE_HOME=/usr/lib/jdk1.8.0_40/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

二 安装ssh---------sudo apt-get install ssh

主要使用其管理远端守护进程,这里是单击模式,所以,不重要.

三 下载hadoop

http://hadoop.apache.org/releases.html

建议下载稳定版本的,我下载的是hadoop2.6.4,并把它放在了/usr/local/目录下

hadoop运行在apache服务器上的,需要java环境的支持,所以,下载的hadoop需要配置java环境变量,使java认识hadoop,同时也要使hadoop放到java环境中.

1 设置 ~/.bashrc,为登录的hadoop用户设置环境变量

export JAVA_HOME=/usr/lib/jdk1.8.0_40export HADOOP_INSTALL=/usr/local/hadoop-2.6.4export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

设置完成之后,要运行

source ~/.bashrc

使设置的环境变量生效

2 配置hadoop

在   /usr/local/hadoop-2.6.4/etc/hadoop/下打开hadoop-env.sh

export JAVA_HOME=/usr/lib/jdk1.8.0_40
export JRE_HOME=/usr/lib/jdk1.8.0_40/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

到这里hadoop单击模式就配置好了

运行

./bin/hadoop version

可看到如下信息

Hadoop 2.6.4
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 5082c73637530b0b7e115f9625ed7fac69f937e6
Compiled by jenkins on 2016-02-12T09:45Z
Compiled with protoc 2.5.0
From source with checksum 8dee2286ecdbbbc930a6c87b65cbc010
This command was run using /usr/local/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar

说明hadoop配置好了

下面来运行一下hadoop自带的wordcount程序检验一下

1 在hadoop目录下创建input文件夹,将/etc/hadoop中的配置文件复制到里面作为待测文件

mkdir input

cp etc/hadoop/* input/

2 运行程序,计数

在hadoop目录下运行命令

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output '[a-z.]+'

意思是,通过example那个jar包,将a-z开头的单词数统计出来

看到如下运行信息

    File System CountersFILE: Number of bytes read=632564FILE: Number of bytes written=1415622FILE: Number of read operations=0FILE: Number of large read operations=0FILE: Number of write operations=0Map-Reduce FrameworkMap input records=1151Map output records=1151Map output bytes=22396Map output materialized bytes=24704Input split bytes=126Combine input records=0Combine output records=0Reduce input groups=70Reduce shuffle bytes=24704Reduce input records=1151Reduce output records=1151Spilled Records=2302Shuffled Maps =1Failed Shuffles=0Merged Map outputs=1GC time elapsed (ms)=0CPU time spent (ms)=0Physical memory (bytes) snapshot=0Virtual memory (bytes) snapshot=0Total committed heap usage (bytes)=667942912Shuffle ErrorsBAD_ID=0CONNECTION=0IO_ERROR=0WRONG_LENGTH=0WRONG_MAP=0WRONG_REDUCE=0File Input Format Counters Bytes Read=32250File Output Format Counters Bytes Written=15798

说明运行成功

查看运行结果

cat output/*

再次运行的话,需要 rm -r output/ 删除output文件夹才能再次运行

转载于:https://www.cnblogs.com/wktwj/p/5307938.html

hadoop单击模式环境搭建相关推荐

  1. 【云计算平台】Hadoop单机模式环境搭建

    Centos7环境 – Hadoop单机模式部署 正文开始@Assassin 目录: Centos7环境 -- Hadoop单机模式部署 1. Hadoop介绍: 2. Hadoop发展史及生态圈: ...

  2. Spark Standalone单机模式环境搭建

    Spark Standalone单机模式环境搭建 一.实验环境 二.准备工作 三.安装部署 一.实验环境 JDK版本:jdk1.8.0_171 Spark版本:2.1.0,下载地址 Linux操作系统 ...

  3. hadoop集群环境搭建准备工作

    一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...

  4. Hadoop完全分子式环境搭建—问题及解决办法

    Hadoop完全分布式环境搭建 ps:本人是按照尚硅谷的教程搭建的,版本hadoop2.7,centos版本6,一台主机,两台从机. 一．版本问题 1.尽量使用hadoop版本2,尽量不要使用最新版本 ...

  5. hadoop与spark环境搭建命令简易教程（Ubuntu18.04）

    hadoop与spark环境搭建命令简易教程(Ubuntu18.04) Hadoop 一.single node cluster 二.multi node cluster 三.快速版(远程复制) Sp ...

  6. hadoop 单机单间_初学Hadoop之单机模式环境搭建

    本文仅作为学习笔记,供大家初学Hadoop时学习参考.初学Hadoop,欢迎有经验的朋友进行指导与交流! 1.安装CentOS7 准备 CentOS系统镜像CentOS-7.0-1406-x86_64 ...

  7. 大数据 -- Hadoop集群环境搭建

    首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...

  8. Hadoop学习总结（3）——Hadoop伪分布式环境搭建

    一.Hadoop运行模式 Local (Standalone) Mode 本地模式 适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式 适用于 ...

  9. 大数据之Hadoop简介及环境搭建

    第1章 大数据概论 1.1 大数据概念 大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的 ...

最新文章

  1. 云原生应用程序运行时 Kyma 简介
  2. StringBuilder内存碎片对性能的影响
  3. 当电压放大电路的开路增益和输出电阻固定后_晶体管放大电路的性能分析与应用...
  4. 信息学奥赛一本通（1032：大象喝水查）
  5. 实验报告格计算机,计算机实验报告格式大全
  6. mysql 实时恢复_MySQL实时在线备份恢复方案：Replication+LVM Snapsho
  7. C语言中各数据类型和他们对应的最大值和最小值的常量
  8. vc6.0快捷键小结收藏
  9. 2019年江苏卷数学高考真题Word版含答案解析
  10. CSPs-2020 游记
  11. 计算机中的八卦知识,原来计算机的核心技术来自周易八卦
  12. Python实现三维数据(x, y, z)的索引——即通过(x, y)的值索引z的值
  13. python爬虫selenium-前程无忧
  14. MBR和GUID分区表
  15. chrome浏览器安装redux-devtools调试工具
  16. 想当站长请立即使用Orchard
  17. 关于php内部编码与mysql字符差异问题的研究
  18. 五分钟讲透开关电源buck降压基本原理
  19. 国际化复数形式的支持与pygettext的补丁
  20. react样式的私有化方法

热门文章

  1. 《Gabor feature based sparse representation for face recognition with gabor occlusion dictionary》
  2. c语言任意位数逆序数,C语言求助！一个三位数的逆序数，总是编不对
  3. 修正的判定条件覆盖例题_硬核：嵌入式代码覆盖率统计方法和经验
  4. Native方式运行Fabric(非Docker方式)
  5. 黑客新技术在ATM钻洞就让其吐钱
  6. 栈和堆（Stack Heap）
  7. STL源码剖析-map
  8. ssm校园帮代服务系统的设计与实现答辩PPT模板
  9. 【毕业设计】《数据库原理及应用技术》课程指导平台的开发
  10. mybaits 字段设置null_并发编程的艺术：双重检查锁为什么要使用volatile字段？