Hadoop分布式集群搭建完全教程
Hadoop分布式集群环境搭建步骤如下
实验环境:
系统:win7
内存:8G(因要开虚拟机,内存建议不低于8G)
硬盘:建议固态
虚拟机:VMware 12
Linux:Centos 7
jdk1.7.0_67
hadoop-2.5.0.tar.gz
- 1.安装VMware虚拟机环境
- 2.安装Centos操作系统
- 3.修改主机名配置网络
- 4.配置ssh无密码登录
- 5.上传jdk配置环境变量
- 6.上传hadoop配置环境变量
- 7.修改hadoop配置文件
- 8.格式化namenode
- 9.启动hadoop并测试
1安装VMware虚拟机环境
这一步很简单,直接下载安装包下一步,安装成功之后打开输入注册码
5A02H-AU243-TZJ49-GTC7K-3C61N
GA1T2-4JF1P-4819Y-GDWEZ-XYAY8
FY1M8-6LG0H-080KP-YDPXT-NVRV2
ZA3R8-0QD0M-489GP-Y5PNX-PL2A6
FZ5XR-A3X16-H819Q-RFNNX-XG2EA
ZU5NU-2XWD2-0806Z-WMP5G-NUHV6
VC58A-42Z8H-488ZP-8FXZX-YGRW8
2安装Centos操作系统
我这里安装了3台Linux,一台作为namenode,两台作为datanode,使用的是Centos7 64位,建议使用Centos,原因很简单,免费开源,属于重量级Linux,更接近生产环境,当然用其它版本也是可以的。
下载地址:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
安装过程很简单这里就不详述了。
3.修改主机名配置网络
namenode:master
datanode:slave1 slave2
执行以下命令
vi /etc/hostname
将localhost改为master
另外两台分别改为slave1和slave2
接着执行以下命令
vi /etc/hosts
将三台linux的ip和主机名加进去
192.168.149.138 master
192.168.149.139 slave1
192.168.149.140 slave2
以上地址根据自己主机填写
4配置ssh无密码登录
在master上执行以下命令
ssh-keygen
上一步执行完之后将会生成公钥和私钥
cd ~/.ssh
在.ssh目录执行ll命令会看到id_rsa和id-rsa.pub两个文件,第一个是私钥,第二个是公钥
然后执行
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.139
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.149.140
这样就把公钥拷到了另外两台linux上
然后测试是否成功
ssh 192.168.149.139
如果不要密码则配置成功
5 上传jdk配置环境变量
将jdk上传至centos
执行以下命令
tar -zxvf jdk1.7.0_67
vi /etc/profile
将Java环境变量配置好之后
source /etc/profile 让配置生效
查看是否配好
java -version
6上传hadoop配置环境变量
将hadoop安装包上传至centos
执行以下命令
tar -zxvf hadoop-2.5.0.tar.gz
mv hadoop-2.5.0.tar.gz hadoop 重命名
配置hadoop环境变量同Java。PATH路径分别为bin和sbin
查看是否成功
hadoop version
7修改hadoop配置文件
需要修改的文件有 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
yarn-site.xml
hadoop-env.sh
将JAVA_HOME路径添加进去
core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property>
</configuration>
hdfs-site.xml
<configuration> <property><name>dfs.replication</name> <value>1</value> </property>
</configuration>
mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
</configuration>
yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
</configuration>
注意:配置完成后别忘了把master上的hadoop拷贝到slave1和slave2上,使用命令:scp -r /usr/local/haoop slave1:/usr/local/
8格式化namenode
执行以下命令
hadoop namenode -format
start-dfs.sh
start-yarn.sh
9启动hadoop并测试
master上执行以下命令测试
jps
如结果如下则表示搭建成功
ResourceManager
Jps
NameNode
NodeManager
SecondaryNameNode
slave1和slave2上执行以下命令测试
jps
NodeManager
DataNode
Jps
至此hadoop分布式集群环境搭建就成功了!
Hadoop分布式集群搭建完全教程相关推荐
- 搭建Hadoop分布式集群的详细教程
目录 写在前面 一.创建虚拟机,安装Centos 二.VMware VMnet8模式共享主机网络配置 三.克隆集群节点HadoopSlave1与HadoopSlave2 四.Linux系统配置 五.H ...
- hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
- Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境 二:设置静态ip以及主机名与映射关系 三:创建用户.配置SSH无密登录 四:子机dn操作 五:配置主机jdk.ha ...
- Hadoop分布式集群搭建完全详细教程
Hadoop分布式集群环境搭建步骤如下 实验环境: 系统:win7 内存:8G(因要开虚拟机,内存建议不低于8G) 硬盘:建议固态 虚拟机:VMware 12 Linux:Centos 7 jdk1. ...
- 【转】Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
https://www.cnblogs.com/caiyisen/p/7373512.html 前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很 ...
- Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
- minio分布式集群搭建完全教程(纠删码,数据恢复)
minio存储 单机测试 minio对象存储: 编译安装: minio 服务器安装: git clone https://gitee.com/mirrors/minio.git cd minio go ...
- Hadoop分布式集群搭建详细过程
1. 首先用五台机器搭建分布式,一个为master,剩下四个分别为slave01.slave02.slave03, slave04. 2. 修改机器名 五台机器分别都执行sudo vim /etc/h ...
- Hadoop分布式集群搭建(完整版)
一.前期准备工作 VMware和Centos7下载安装教程: https://blog.csdn.net/m0_59209350/article/details/117793482 XShell和Xf ...
最新文章
- instant apps_Android Instant Apps 101:它们是什么以及它们如何工作
- Istio 1.1 版本发布,性能和可用性提升
- 利用MyBatis Generator进行数据层代码自动生成
- 使用H5实现机器人脸
- [html] 写个布局,当页面高度不够时,底部固定在下面,反之不固定
- Spark源码分析之Task
- python中格式化_python的format格式化
- 终极解决方案UnicodeEncodeError: 'ascii' codec can't encode character u'\uff08' in position 13: ordinal not
- 删除windows server backup备份
- 重定向和请求转发后面加“return;”语句
- 永磁同步电机转子磁链_永磁同步电机转子初始位置检测、增量式光电编码器对位调零思路解析...
- 屏幕坐标转换世界坐标
- 已删除的QQ好友聊天记录怎么查看
- Kconfig内容(详细)总结附示例快速掌握
- 有权图的单源最短路算法
- 小管家进销存 v3.1 bt
- Android 百分比布局库(percent-support-lib) 解析与扩展
- Oracle 变量绑定与变量窥视合集系列五
- [×××.launch]is neither a launch file in package [××] nor is [××] a launch file name解决办法
- UEFI引导+GPT分区模式如何安装win10原版镜像或ghost版