Hadoop安装记录
参考网页:http://vampire1126.iteye.com/blog/891693
http://vampire1126.iteye.com/blog/891735
基本上是参照这个博客做下来的,然后自己实现了下。
-----------------------------------------------------正式工作------------------------------------------------------
安装软件:
VMware workstation 8
Ubuntu 10.04LTS
总体步骤:
1.安装Ubuntu,在Ubuntu中装好jdk,hadoop和ssh-server。
2.配置jdk环境变量,配置hadoop,配置ssh-key
3.单机环境运行hadoop监测是否成功
4.克隆单机hadoop环境的ubuntu,将两台ubuntu加入一个局域网
5.配置master和slave的ip,并测试是否ping通
6.在所有结点上配置相关master和slave信息
7.在slave中拷贝master和JobTracker的公钥,在JobTracker上拷贝master公约
8.启动hadoop,并用wordcount程序测试是否搭建成功
详细步骤:
1. 利用VMware安装虚拟机Ubuntu,我选择的是10.04,因为10.04是长效支持版本(long-term supported)。常规的安装过程,不累述。
2. 进入Ubuntu之后,选择软件源为中国的源,这里我选择了163的源。
3. 安装JDK
a) 在usr下新建Java文件夹,并拷贝下载好的jdk
b) 改变Java目录为可执行,进入Java这个目录,并执行安装。
4. 安装hadoop
下载hadoop并将其拷贝到usr/local文件夹下,并解压缩,然后将带版本号的文件夹重命名为hadoop。对应命令如下:
5. 创建hadoop的用户组,并在hadoop用户组中添加hadoop用户。
6. 为添加的用户提供root权限。
7. 配置Java变量
打开etc下的profile文件,在文件的后面加上环境变量。
改好后,重新启动虚拟机。
8. 重启后使用hadoop用户登录
检测java环境变量是否配置好
9. 安装ssh-server。我第一次尝试的时候是在ubuntu11.10,需要事先update一下apt-get
创建一个rsa的ssh-key
将生成的ssh-key加入到信任列表:
10. 配置hadoop
为hadoop添加java环境变量:
配置core-site.xml
(上图是我已经配置好集群之后的截图,如果需要是单机环境,将master换为localhost。)
配置mapred-site.xml
(上图是我已经配置好集群之后的截图,如果需要是单机环境,将master换为localhost。)
11. 运行测试
格式化namenode
为hadoop用户赋予hadoop文件夹的使用权限
启动hadoop
利用jps查看已经启动的服务
12. 运行wordcount程序
在tmp文件夹下添加一个文件作为测试:
将其上传到hdf文件系统中:
执行wordcount程序,并将结果上送至result
查看result的结果:
统计结果:
(如果还需要继续执行其余程序,应该将输出结果放到其他文件夹,否则会出现fileAlreadyExist的错误)
----------------------------------------------至此,单机模式已经匹配完成------------------------------
13. 克隆单机配置好hadoop环境的ubuntu
在VM的library中的Ubuntu点击右键,选择manage中的clone,然后按照提示做一个完整的克隆。(虚拟机需要在关闭状态)
14. 将两台Ubuntu加入到一个局域网中。
在虚拟机上点击右键,选择setting,点击Network Adapter,两台都选择同一个custom模式下同一个虚拟局域网。
15. 设置为其中一台为Master(因为在虚拟机中,因此随便选一台即可,之后不要混淆,实际中应选取性能强劲的为Master),极为UbuntuM,另一台为UbuntuS(Ubuntu Slave)。
分别配置两者的IP地址:
Master:
Slave:
并测试能否ping通过:
Master:
Slave ping的地址是192.168.1.10
16. 在所有结点上,配置/usr/local/Hadoop,以下是配置好的截图,配置过程只需要用gedit或者vi打开该文件并配置即可。
配置hosts
分别用vi打开下面画线的文件,添加内容或者修改内容,添加和修改的内容用黄线划出
配置hdfs-sites文件:
17. 在slave上拷贝master的密钥
将这些密钥添加到信任列表
18.在JobTracker上拷贝master的公钥并添加到信任列表
19.删除/home/hadoop下的tmp文件夹(对所有结点)
20.在master上格式化namenode
21. 启动hadoop
利用jps查看已经启动的服务
Master:
Slave:
22.在master上查看系统状态
23.按照单机模式,利用wordcount,测试成功。
-----------------------------集群模式搭建成功---------------------
转载于:https://www.cnblogs.com/XuYankang/archive/2012/03/09/2387487.html
Hadoop安装记录相关推荐
- Hadoop安装记录(伪分布式)
下面给大家分享一下我在安装Hadoop时候的一些步骤记录,希望能给大家带来帮助,我安装的是单节点的伪分布式. 1.基本环境:VMware8.0 + CentOS 6.0 2.软件版本:hadoop-0 ...
- hadoop 安装过程记录
1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了 ...
- Hadoop学习记录(6)|Eclipse安装Hadoop 插件
下载 https://skydrive.live.com/redir.aspx?cid=cf7746837803bc50&resid=CF7746837803BC50!1277&par ...
- Hadoop安装与配置问题说明
说明:本博客对Hadoop安装与配置过程中可能存在的问题做简单记录 启动Hadoop hadoop@ubuntu16:/usr/local/java/hadoop/hadoop-2.7.1$ ./sb ...
- 大数据学习(2-1)-Hadoop安装教程-单机模式和伪分布模式(Ubuntu14.04LTS)
文章目录 目录 1.linxu的安装 1.1安装Linux虚拟机 1.2安装Linux和Windows双系统 2.Hadoop的安装 2.1 Hadoop安装前配置 2.1.1 配置Hadoop用户 ...
- ubuntu18.04下hadoop安装与集群配置
ubuntu18.04下hadoop安装与集群配置 hadoop安装_单机/伪分布式配置 环境 创建hadoop用户 更新apt 安装SSH.配置SSH无密码登陆 安装Java环境 安装 Hadoop ...
- hadoop安装作业
Hadoop安装与配置 安装环境: Ubuntu 16.04 64位 hadoop 2.4.1 实验在win7.Ubuntu双系统环境下进行,伪分布式安装. 实验准备: 先安装Ubuntu双系统,常见 ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
给力星 追逐内心的平和 首页 笔记 搜藏 代码 音乐 关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...
- Hadoop 安装
Hadoop 安装 打开xshell连接Linux系统, 1.查看Java版本:Java -version 2.查看mysql:mysql -uroot -proot //打开mysql mysql& ...
最新文章
- 觉SLAM的主要功能模块分析
- 关于数据取舍问题的一个实例
- android收费知乎,知乎 Android 端的一次重设计练习
- GDCM:gdcm::Testing的测试程序
- SQL AVG() 函数
- SQL Server 2008 R2的发布订阅配置实践
- C#/.Net操作MongoDBHelper类
- 黑马程序员-JAVA高级视频_IO输入与输出-20天-9(切割合并文件)
- 关于苹果与摄影的事。
- SpringCloud组件:Eureka服务注册是采用主机名还是IP地址?
- CorelDRAW X7 X8 2017 2018是什么关系?
- 软件测试bug文章,软件测试技术之说一个让你印象最深的bug?
- 实战!如何搭建一个完整的智能家居系统
- 【修真院java小课堂】HashMap浅析
- JavaWeb笔记:第07章 MVC |EL |JST |Filter |Listener |JQuery |AJAX |Maven |JSON |Redis |Linux |Nginx
- 如何批量将 Excel 文档转为 Svg 格式
- 一对一直播源码,一对一直播平台将普及我们的生活
- 宜宾市放心舒心消费平台-工商GIS一张图
- 让人爱不释手的工具,每款都是高质量工具分享
- sqli-Labs————less-44
热门文章
- ORA-16014 与 ORA-00312
- css中定义超级链接的样式
- real210开发板tslib1.4移植
- linux下C/C++ IDE比较 Code::Blocks还是不错的
- 15丨基础篇:Linux内存是怎么工作的?
- php++mpdf.mpdf,使用php第三方包mpdf将网页装换成pdf文件【2】
- 回顾 | Apache Flink 1.13 新版本 x 互娱实践分享 Meetup · 北京站精彩回顾 (附 PPT 下载)
- 首次公开!菜鸟弹性调度系统的架构设计
- 终于有人把Java技术知识面试体系整理出来了,这些文档让你的面试稳如泰山
- 《风暴英雄》里那些超棒的游戏设计