http://blog.itpub.net/26978437/viewspace-730136/
按照上几篇的内容,安装好两台ubuntu虚拟机之后,首先确定好哪台机子做namenode,哪台做datanode,打开终端,输入:$sudo vi /etc/hosts

在打开的文件中输入主机名和IP地址,比如我的是:
127.0.0.0 localhost
202.118.212.4 ubuntu
202.118.212.5 ubuntu01
两台虚拟机上都要这么写,然后开启SSH服务,确保两台虚拟机能互相无密码登陆,然后关闭防火墙:
$sudo ufw disable
准备工作做好之后开始安装hadoop

   1.安装jdk,版本要在1.6以上(以ubuntu为例,ubuntu01设置是一样的)
    从java官网下载jdk(linux版),如果是从下载到物理机,则在虚拟机上安装VMwareTools之后,就可以直接将jdk-6u24-linux-i586.bin从物理机中拖入虚拟机系统/home/hadoop目录下,打开终端,输入$sudo ./jdk-6u24-linux-i586.bin

即可进行安装。如果不能成功安装,可能是安装包出现了错误,可以多拖几次。本例是将路径安装在:/home/hadoop/jdk1.6.0.24

很多资料上写要设置环境变量,但是我是默认安装的,所以没有设置环境变量。如果路径安装不是默认的,可能要修改:

这里记一下环境变量的修改:

打开终端:$ sudo gedit /etc/profile

在打开的文件中写入:

#set java enviornment

JAVA_HOME=/usr/java/jdk1.6.0_24

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

保存退出。

2.  从apache官网下载hadoop安装包,以hadoop-0.20.2为例,将安装包解压:$sudo tar -zxvf  /home/hadoop/hadoop-0.20.2.tar.gz

3.安装完之后

把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
4. 配置hadoop
hadoop 的主要配置都在hadoop-0.20.2/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同):
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/hadoop/jdk1.6.0.24

在两台虚拟机上都需要配置文件:map-site.xml,core-site.xml和hdfs-site.xml.简单配置如下:

(2)core-site.xml配置文件

内容配置如下所示:

hadoop.tmp.dir

/home/hadoop/tmp //hadoop 启动的临时文件夹的地址,你可以设在任何地方,只要你愿意。

fs.default.name 
    hdfs://202.118.212.4:9000

(3) hdfs-site.xml配置文件

内容配置如下所示:

view plaincopy to clipboardprint?
  
  
     
    
      
    dfs.replication

1 // dfs的副本数,默认是3,如果

datanode少于3台,可改为1

(4) mapred-site.xml配置文件

配置内容如下所示:

view plaincopy to clipboardprint?
  
  
    
    
       
 mapred.job.tracker                                                          202.118.212.4:9001

3.配置文件,只在namenode上配置就可以了:hadoop-0.20.2/conf/masters和hadoop-0.20.2/conf/slaves
   masters: 202.118.212.4 (second namenode)

slaves: 202.118.212.5

如果第二名称节点second namenode设在另外的机子上就写上那台机子的IP地址就可以了,也可以不设第二名称节点。

4 启动Hadoop

首先格式化namenode:

hadoop@ubuntu:~ $sudo cd /home/hadoop/hadoop-0.20.2/bin

进入hadoop-0.20.2/bin之后:$hadoop namenode -format

然后启动:$start-all.sh

用jps查看进程启动情况,也可以用web查看;

http://202.118.212.4:50030查看jobtracker

http://202.118.212.4:50070查看namenode

转载于:https://www.cnblogs.com/southdom/articles/5004587.html

两台ubuntu虚拟机环境下hadoop安装配置相关推荐

  1. macOS 环境下 Go 安装配置

    macOS 环境下 Go 安装配置 1.下载安装包 2.配置环境变量 1.下载安装包 大家尽量选择 官网 下载,根据自己系统版本和位数选择需要的包 2.配置环境变量 安装完成后,需要我们手动配置一下环 ...

  2. macosx php环境,MacOSX环境下MAMP安装配置PHP的开发环境

    本部分描述如何在 Mac 上安装 MAMP.将通过一个操作安装 Apache Web 服务器.MySQL 和phpMyAdmin,需要的朋友可以参考下 一.简单介绍: PHP 页需要通过 Web 服务 ...

  3. Linux环境下Redis安装配置步骤

    在LInux下安装Redis的步骤如下: 1.首先下载一个Redis安装包,官网下载地址为:https://redis.io/ 2.在Linux下解压redis: tar -zxvf redis-2. ...

  4. Linux环境下nginx安装配置--淘宝Tengine

    文章目录 前言 一.tengine是什么? 二.使用步骤 1.下载地址 2.解压 3.依赖安装 4.安装nginx 5.编译 6.启动 7.设置为系统服务 7.服务启动.停止.重启 总结 前言 随着公 ...

  5. DELF: DEep Local Features在windows10环境下的安装配置

    以图搜图模式的图像检索是CBIR(基于内容的图像检索)任务中最难的一块,传统的基于SIFT.SURF.ORB的方法主要基于点结构特征和统计模型.DELF是google基于CNN框架提出的一种图像点特征 ...

  6. 6 个步骤,教你在Ubuntu虚拟机环境下,用Docker自带的DNS配置Hadoop | 附代码

    作者 | tianyouououou 责编 | Carol 来源 | CSDN 博客 封图 | CSDN付费下载于视觉中国 最近,作者整理了一套Hadoop搭建方案.最后的镜像大小1.4G多,使用do ...

  7. Ubuntu虚拟机环境下安装Python3.6

    打开设置共享文件夹,将下载后的Python源代码文件https://www.python.org/downloads/release/python-368/直接拖进Downloads目录下 解压缩 t ...

  8. (一)linux下hadoop安装配置

    1.准备Linux环境 1.1关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkc ...

  9. Linux环境下Anaconda3安装配置pytorch

    目录 1 安装anaconda 2 配置conda环境 2.1 一些常用conda命令 2.2 安装pytorch 1 安装anaconda https://blog.csdn.net/tomatt7 ...

最新文章

  1. kotlin Bean加载失败lateinit property has not been initialized
  2. C#中Action与delegate、EventHandler的差异
  3. 从引力波探测到RNA测序,AI如何加速科学发现
  4. PHP常用正则表达式汇总 [复制链接]
  5. ThinkPHP分页实例
  6. [转]Backup and restore history details
  7. 让人期待的Visual Studio 2010
  8. windows环境下 curl 安装和使用
  9. 帝国理工学院暑期学校 | 大数据与创新主题,郭院士领衔,全球Top10校级证书...
  10. 深度学习之图像识别基础篇——神经元与感知机
  11. 从电视主播到高考,人工智能还能干些什么
  12. oracle 查看最大连接数与当前连接数
  13. 系统学习深度学习(二十四)--WRN
  14. 解决跨浏览器兼容的CSS编码准则
  15. 在没有鼠标或键盘的情况下在 Mac 上如何启用蓝牙?
  16. JS版的bin2hex和hex2bin,支持汉字
  17. 网易云自动化爬虫方案,24小时爬取10万首音乐信息,30万条用户信息,100万个热评
  18. Allegro如何给铜皮导弧操作详解
  19. 编程经验:关于如何在自己的网站或博客添加CNZZ站长统计功能
  20. web前端读取串口数据

热门文章

  1. python注入_python的常见命令注入威胁
  2. 派工单系统 源码_「青鸟报修云」酒店设备报修管理系统
  3. 北师大版图形的旋转二教案_北师大2011课标版(闫金铎主编)初中物理八年级下册三、重力公开课优质课课件教案视频...
  4. swift文件服务器,Swift3一行代码将各种类型文件上传到服务器
  5. xp大容量u盘补丁_Win XP系统下载与安装(U盘)
  6. python项目了解_神级程序员都是这样来开源 Python 项目!今天算是涨知识了!
  7. java web乱码问题_如何解决JavaWeb乱码问题
  8. ssh 登陆mysql数据库_mysql命令行客户端如何通过ssh服务器连接数据库啊?
  9. 点云Las文件是什么?
  10. opencv学习笔记(二)