一  、新建用户和用户组

注明:(这个步骤事实上能够不用的。只是单独使用一个不同的用户好一些)

1.新建用户组

sudo addgroup hadoop

2.新建用户

sudo adduser -ingroup hadoop hadoop

3.加入hadoop用户权限

sudo gedit  /etc/sudoers

打开sudoer文件后加入hadoop用户

# User privilege specification
root    ALL=(ALL:ALL) ALL
hadoop  ALL=(ALL:ALL) ALL

4.使用hadoop用户登录

二、安装ssh

 sudo apt-get install openssh-server

安装完毕后。启动服务

sudo /etc/init.d/ssh start

查看服务是否正确启动:ps -e | grep ssh

集群、单节点模式都须要用到SSH无password登陆,首先设置SSH无password登陆本机。

输入命令

ssh  localhost

首次登录须要输入yes
 

设置免password登录,生成私钥和公钥

 ssh-keygen -t rsa -P ""

以下我们将公钥追加到authorized_keys中,它用户保存全部同意以当前用户身份登录到sshclient用户的公钥内容。

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后使用ssh localhsot就能够无password登录了。

使用exit退出登录

三、安装Java环境

曾经的教程都是建议安装Oracle的JDK,不建议使用OpenJDK。只是按http://wiki.apache.org/hadoop/HadoopJavaVersions中说的。新版本号在OpenJDK 1.7下是没问题的。通过命令安装OpenJDK 7。

sudoapt-getinstall openjdk-7-jreopenjdk-7-jdk

查看安装结果。输入命令:java -version。结果例如以下表示成功安装。

查看安装结果,输入命令:java -version,结果例如以下表示成功安装。

四、 安装Hadoop 2.4.1

2.4.1的下载地址为: http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz,安装教程主要參考了官方教程http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html。

下载后,解压到/usr/local/中。

然后改动目录名为hadoop

赋予用户对该目录的读写权限(这个问题非常是坑,我当时配置的时候被一些方法坑了,不太了解文件权限的东西)

有的建议是这样:

 sudo chmod 774 /usr/local/hadoop

可是我用这个命令之后。目录所有被隐藏了。都打不开。最后我是删除了hadoop目录。使用以下这个才解决的。

 sudo  chown -R hadoop:hadoop   /usr/local/hadoop

配置~/.bashrc

配置该文件前须要知道Java的安装路径。用来设置JAVA_HOME环境变量,能够使用以下命令行查看安装路径

update-alternatives - -config java

运行结果例如以下:

配置.bashrc文件

sudo gedit ~/.bashrc

#HADOOP VARIABLES STARTexport JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"#HADOOP VARIABLES END

运行以下命。使加入的环境变量生效:

source ~/.bashrc

编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

运行以下命令。打开该文件的编辑窗体

 sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME变量,改动此变量例如以下

 export JAVA_HOME==/usr/lib/jvm/java-7-openjdk-i386   

五、測试wordcount

单机模式安装完毕。以下通过运行hadoop自带实例WordCount验证是否成功安装

/usr/local/hadoop路径下创建input目录

sudo mkdir input

拷贝README.txt到input

 cp README.txt input

运行WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行例如以下

运行 cat output/*。查看字符统计结果

结果例如以下

Ubuntu下hadoop2.4搭建集群(单机模式)相关推荐

  1. ubuntu下用vagrant搭建集群环境

    1.安装virtualbox 终端输入:sudo apt-get install virtualbox(事实从来都不是一番风顺的.......) 正在读取软件包列表... 完成 正在分析软件包的依赖关 ...

  2. (超详细版)Linux下Hadoop2.7.1集群环境的搭建(3台为例)

    2019独角兽企业重金招聘Python工程师标准>>> 一.基础环境 在Linux上安装Hadoop之前,需要先安装两个程序: 1.1 安装说明 1. JDK 1.6或更高版本(本文 ...

  3. linux下使用nginx搭建集群,CentOS(linux) 下Nginx的安装(Nginx+Tomcat集群第一步)

    CentOS(linux) 下Nginx的安装(Nginx+Tomcat集群) CentOS 7.4(腾讯云) pcre库 zlib库 openssl Nginx服务器 安装gcc g++开发类库 y ...

  4. redis在Windows下以后台服务一键搭建集群(多机器)

    redis在Windows下以后台服务一键搭建集群(多机器) 一.概述 此教程介绍如何在windows系统中多台机器之间布置redis集群,同时要以后台服务的模式运行.布置以脚本的形式,一键完成.多台 ...

  5. Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo

    随笔 - 70  文章 - 0  评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...

  6. hadoop2.8 ha 集群搭建

    简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop ...

  7. Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

    25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...

  8. Hadoop2.2.0集群在RHEL6.2下的安装实战

    题记 本文介绍了一个Hadoop2.2.0集群的搭建过程,在2台4G内存的酷睿双核PC机上,使用VMWare WorkStation虚拟了4个RHEL6.2(1G内存.单核CPU.10G硬盘),总计用 ...

  9. linux centos7 hadoop2.7.7HA集群搭建

    此搭建过程通过xshel远程连接操作 ssh免密登录 linux cetos7 配置三个节点配置ssh免密登录 (最简便)_Lost Contral的博客-CSDN博客 zookeeper搭建 lin ...

  10. centos6.5环境下zookeeper-3.4.6集群环境部署及单机部署详解

    centos6.5环境下Zookeeper-3.4.6集群环境部署 [系统]Centos 6.5 集群部署 [软件]准备好jdk环境,此次我们的环境是open_jdk1.8.0_101 zookeep ...

最新文章

  1. opencv dnn 人脸 年龄
  2. 报错解决——ctypes.ArgumentError: argument 1:……….. : wrong type
  3. 【机器学习_4】机器学习算法分类
  4. oracle 学习之:建视图时报ora-01031
  5. 《设计模式之禅》--摘要
  6. java jpeg压缩算法_在创建JPEG时,我可以更改Java的ImageWriter使用的压缩算法吗?
  7. bsd协议开源框架tcp服务器,BSD协议栈架构浅析
  8. bootstrap导航栏.nav和.navbar区别
  9. 关于设计思维的理解与思考
  10. Cannot pull, git cannot resolve reference ORIG_HEAD
  11. 尚硅谷SpringBoot学习笔记
  12. Computer Transformation UVA - 1647
  13. JavaScript实现EAN13条码校验
  14. jQuery获得当前元素id
  15. 嵌入式计算机的分类与应用
  16. 博客凉凉,备份新浪博文图片或留下博友的评论要抓紧
  17. C# 路径 目录 文件操作办法
  18. 【AUTOSAR CanDrive 2.了解通信Hoh、CanId与PduID的Mapping关系】
  19. 安全加密 - 安全认证 EAL,CC
  20. MPQ技术内幕(转载)

热门文章

  1. VUE父组件与子组件的数据传递
  2. 4.创建并调用自动控制器(api)
  3. C#读写注册列表(写入注册列表,读取注册列表的数据)
  4. python流程图自动生成_python自动化办公 自动生成PPT通报
  5. 计算机系统结构自考应用题,2017年10月自考02325计算机系统结构真题及答案
  6. PHP中的ZIP压缩与解压
  7. freetype 2.11.0必须使用VS2012编译
  8. OpenJDK8在LINUX上,输入法候选框无法正确定位
  9. OpenJDK8 u282发布一个月了,龙芯还没有更新跟进
  10. CENTOS安装后没有图形界面GUI,怎么办?