Alex 的 Hadoop 菜鸟教程: 第3课 Hadoop 安装教程 - 非HA方式 (一台服务器)
原帖地址: http://blog.csdn.net/nsrainbow/article/details/36629741
接上一个教程:http://blog.csdn.net/nsrainbow/article/details/36629339
本教程是在 Centos6 下使用yum来安装 CDH5 版本的 hadoop 的教程。 如果没有添加yum源的请参考上一个教程:http://blog.csdn.net/nsrainbow/article/details/36629339
Hadoop架构图
- NameNode、DataNode和Client
NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode是文件存储的基本单元,它将Block存储在本地文件系统中,保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。
Client就是需要获取分布式文件系统文件的应用程序。 - 文件写入
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。 - 文件读取
Client向NameNode发起文件读取的请求
NameNode返回文件存储的DataNode的信息。
Client读取文件信息。
开始安装非HA模式
1. 添加库key
$ sudo rpm --import http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
2. 安装CDH5
2.1 安装Resource Manager host
$ sudo yum clean all
$ sudo yum install hadoop-yarn-resourcemanager -y
2.2 安装 NameNode host
$ sudo yum clean all
$ sudo yum install hadoop-hdfs-namenode -y
2.3 安装 Secondary NameNode host
$ sudo yum clean all
$ sudo yum install hadoop-hdfs-secondarynamenode -y
2.4 安装 nodemanager , datanode, mapreduce (官方说明是在除了 Resource Manager以外的机子上装这些,但是我们现在就一台机子,所以就在这台机子上装)
$ sudo yum clean all
$ sudo yum install hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce -y
2.5 安装 hadoop-mapreduce-historyserver hadoop-yarn-proxyserver (官方说是在cluster中挑一台做host,但是我们就一台,就直接在这台上装)
$ sudo yum clean all
$ sudo yum install hadoop-mapreduce-historyserver hadoop-yarn-proxyserver -y
2.6 安装 hadoop-client (用户连接hadoop的客户端,官方说在客户端装,我们就直接在这台上装)
$ sudo yum clean all
$ sudo yum install hadoop-client -y
3. 部署CDH
3.1 配置计算机名(默认是localhost)
先看看自己的hostname有没有设置
$ sudo vim /etc/sysconfig/network
HOSTNAME=localhost.localdomain
如果HOSTNAME是 localhost.localdomain的话就改一下
HOSTNAME=myhost.mydomain.com
然后再运行下,保证立即生效
$ sudo hostname myhost.mydomain.com
检查一下是否设置生效
$ sudo uname -a
3.2 修改配置文件
先切换到root用户,免得每行命令之前都加一个sudo,所以以下教程都是用root角度写的
$ sudo su -
$ cd /etc/hadoop/conf
$ vim core-site.xml
在 <configuration>...</configuration> 中增加
<property><name>fs.defaultFS</name><value>hdfs://myhost.mydomain.com:8020</value>
</property>
编辑hdfs-site.xml
$ vim hdfs-site.xml
在 <configuration>...</configuration> 中添加
<property><name>dfs.permissions.superusergroup</name><value>hadoop</value>
</property>
3.3 配置存储文件夹
在 namenode 机子上配置 hdfs.xml 用来存储name元数据(我们只有一台机,所以既是namenode又是datanode)
$ vim hdfs-site.xml
修改dfs.name.dir 为 dfs.namenode.name.dir(dfs.name.dir已经过时),并修改属性值,一般来说我们的 /data 或者 /home/data 都是挂载大硬盘数据用的,所以把存储文件夹指向这个路径里面的文件夹比较较好
<property><name>dfs.namenode.name.dir</name><value>file:///data/hadoop-hdfs/1/dfs/nn</value></property>
在 datanode上配置 hdfs.xml 用来存储实际数据(我们只有一台机,所以既是namenode又是datanode)
$ vim hdfs-site.xml
增加dfs.datanode.data.dir(dfs.data.dir已经过时)配置
<property><name>dfs.datanode.data.dir</name><value>file:///data/hadoop-hdfs/1/dfs/dn,file:///data/hadoop-hdfs/2/dfs/dn</value></property>
建立这些文件夹
$ mkdir -p /data/hadoop-hdfs/1/dfs/nn
$ mkdir -p /data/hadoop-hdfs/1/dfs/dn
$ mkdir -p /data/hadoop-hdfs/2/dfs/dn
修改文件夹用户
$ chown -R hdfs:hdfs /data/hadoop-hdfs/1/dfs/nn /data/hadoop-hdfs/1/dfs/dn /data/hadoop-hdfs/2/dfs/dn
修改文件夹权限
$ chmod 700 /data/hadoop-hdfs/1/dfs/nn
3.4 格式化namenode
$ sudo -u hdfs hdfs namenode -format
3.5 配置 Secondary NameNode
在hdfs-site.xml中加入
<property><name>dfs.namenode.http-address</name><value>0.0.0.0:50070</value><description>The address and the base port on which the dfs NameNode Web UI will listen.</description>
</property>
3.6 启动hadoop
$ for x in `cd /etc/init.d ; ls hadoop-*` ; do sudo service $x start ; done
Starting Hadoop nodemanager: [ OK ]
starting nodemanager, logging to /var/log/hadoop-yarn/yarn-yarn-nodemanager-xmseapp03.ehealthinsurance.com.out
Starting Hadoop proxyserver: [ OK ]
starting proxyserver, logging to /var/log/hadoop-yarn/yarn-yarn-proxyserver-xmseapp03.ehealthinsurance.com.out
Starting Hadoop resourcemanager: [ OK ]
starting resourcemanager, logging to /var/log/hadoop-yarn/yarn-yarn-resourcemanager-xmseapp03.ehealthinsurance.com.out
Starting Hadoop datanode: [ OK ]
starting datanode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-datanode-xmseapp03.ehealthinsurance.com.out
Starting Hadoop namenode: [ OK ]
starting namenode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-namenode-xmseapp03.ehealthinsurance.com.out
Starting Hadoop secondarynamenode: [ OK ]
starting secondarynamenode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-secondarynamenode-xmseapp03.ehealthinsurance.com.out
...
都成功后用jps看下
$jps
17033 NodeManager
16469 DataNode
17235 ResourceManager
17522 JobHistoryServer
16565 NameNode
16680 SecondaryNameNode
17593 Jps
4 客户端测试
打开你的浏览器输入 http://<hadoop server ip>:50070
如果看到
Hadoop Administration
DFS Health/Status
这样的字样就成功进入了hadoop的命令控制台
Alex 的 Hadoop 菜鸟教程: 第3课 Hadoop 安装教程 - 非HA方式 (一台服务器)相关推荐
- Alex 的 Hadoop 菜鸟教程: 第5课 YARN 安装以及helloworld (基于centos的CDH)
原帖地址:http://blog.csdn.net/nsrainbow/article/details/36627675 新老MapReduce的比较 说到YARN肯定要先说下老的MapReduce ...
- Mysql8.0.12安装教程方法 Mysql8.0.12安装教程
Mysql8.0.12安装教程方法 Mysql8.0.12安装教程 MySql安装教程 - 首先,MySql官网下载地址: 官网下载地址 主要下载server版本的 Archive版本,不需要安装解压 ...
- mysql8.0.12怎么用_Mysql8.0.12安装教程方法 Mysql8.0.12安装教程
Mysql8.0.12安装教程方法 Mysql8.0.12安装教程 MySql安装教程 - 首先,MySql官网下载地址: 官网下载地址 主要下载server版本的 Archive版本,不需要安装解压 ...
- STM32安装教程和J-link烧录驱动安装教程【第二天】
STM32安装教程和J-link烧录驱动安装教程 一.SOC 二.安装简介 三.STM32工程创建步骤 四.J-link安装过程 五.STM32型号 一.SOC SoC称为系统级芯片,也有称片上系统, ...
- mysql安装的官方教程_MySQL官方教程及各平台的安装教程和配置详解入口
官方文档入口: https://dev.mysql.com/doc/ 一般选择MySQL服务器版本入口: https://dev.mysql.com/doc/refman/en/ 在右侧有版本选择: ...
- Ubuntu18.04安装教程及SLAM常用软件安装教程
文章目录 前言 Ubuntu18.04安装教程 一.准备工作 1.1.下载ubuntu镜像 1.2.制作U盘启动项 1.3.给ubuntu分配硬盘空间 二 安装ubuntu18.04系统 2.1.设置 ...
- python3.7.4安装教程-Python3.7.4图文安装教程
Python Python开发 Python语言 Python3.7.4图文安装教程 Python更新的很快,一转眼Python2已经过时了,本文为大家详细说明Python最新版本3.7.4的安装过程 ...
- python官网下载步骤除了windows-python安装教程详解|python下载安装教程步骤
Python是现在最受欢迎的编程语言,使用Python开发软件应用效率极高,相比其它语言有不可比拟的优势,Python是一种跨平台的计算机程序设计语言. 免费开源.最初被设计用于编写自动化脚本(she ...
- 苹果cms安装PHP,苹果cms图文安装教程和苹果cms模板安装教程详解
做影视网站的站长对苹果cms是相当熟悉的,毕竟这套系统实在太好用了,使它一直火到了今天!今天小编就带着刚接触到本套程序的大家用它来搭建一次影视视频网站! 苹果cms v10版本下载地址:苹果cms v ...
- AE软件+模板+教程+各种模板资料+安装教程(自己花钱买的)
学习AE的过程中,稳定的软件必不可少,在网上找的大多都特么的-,不说了反正很烦,所以花钱买了一套,为了服务大家,拯救那些个正在找软件学AE的朋友们,我把自己买的资料免费分享给大家,资料主要包括以下资料 ...
最新文章
- 将tensor张量转换成图片格式并保存
- window 添加环境变量
- 公积金买房有什么好处?
- Python3 Selenium自动化web测试 == 第三节 常用WebDriver API使用示例上(24个API)
- Linux视频切片m3u8,Rtmp转m3u8视频切片系统及方法
- postfix邮件服务器
- python中验证码连通域分割的方法详解
- 全国职称计算机题库视频,全国职称计算机考试题库模拟训练—windowsXP
- 什么是架构师?Java架构师一般多少年薪呢?
- 欧拉降幂公式模板hdu4704
- 模拟转换芯片:ADC芯片参数及介绍
- 你真的了解牛顿第一定律吗
- 数据结构与算法基础学习(一)
- 计算机组成原理时序与启停实验,计算机组成原理时序与启停实验
- 输入股票、热门事件词,查最新消息
- 谈梦想也谈谈钱!多城市 Cocos 人才招聘需求打包送上丨10月岗位
- Python--Matplotlib(基本用法)
- 常见EDA软件工具有哪些?(附EDA企业名单)
- “麒麟计划”携手Wish助力卖家人、货、运全面升级!
- NekoHtml解析 html 文件
热门文章
- chartControl控件常用属性总结
- 【日常小结】VB.NET下操作Access数据库
- 科学研究设计二:定量分析和定性分析
- Your connection is not private Attackers might be trying to steal your information from nemertes.lis
- 面试计算机人员试题及答案,【仁宝电脑员工笔试试题及答案】 - 面试网
- wps android版本下载,wps文档app下载-wps文档 安卓版v2.7.6-PC6安卓网
- 朱松纯:AI 需由“心”驱动,实现“心”与“理”的动态平衡
- dnf红眼补丁在哪下载_dnf狂战士技能血色补丁-DNF狂战士技能红色补丁下载 v3.23完全版--pc6下载...
- 提供SCDN基础版本售卖
- 学生信息管理系统html界面,学生信息管理系统jsp课程设计.doc