3.环境搭建-Hadoop(CDH)集群搭建
目录
- 目录
- 实验环境
- 安装 Hadoop
- 配置文件
- 在另外两台虚拟机上搭建hadoop
- 启动hdfs集群
- 启动yarn集群
本文主要是在上节CentOS集群基础上搭建Hadoop集群。
实验环境
- Hadoop版本:CDH 5.3.6
*本实验项目所需软件均可在百度网盘链接:http://pan.baidu.com/s/1dFeNR6h 密码:1zx4中获取。
安装 Hadoop
上传hadoop文件到/usr/local
目录下
rz
解压
tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz
删除tar包
rm -rf hadoop-2.5.0-cdh5.3.6.tar.gz
重命名
mv hadoop-2.5.0-cdh5.3.6 hadoop
设置环境变量
vi ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
生效设置
source ~/.bashrc
- 1
- 1
测试
hadoop
hadoop versionyarn
yarn version
创建/usr/local/data
目录
配置文件
修改core-site.xml
文件
cd /hadoop/etc/hadoop
ls
vi core-sie.xml
<property><name>fs.default.name</name> <value>hdfs://sparkproject1:9000</value> </property>
修改hdfs-site.xml
<property><name>dfs.name.dir</name> <value>/usr/local/data/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/data/datanode</value> </property> <property> <name>dfs.tmp.dir</name> <value>/usr/local/data/tmp</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>
修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml
<property><name>mapreduce.framework.name</name> <value>yarn</value> </property>
修改yarn-site.xml
<property><name>yarn.resourcemanager.hostname</name> <value>sparkproject1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
修改slaves
sparkproject2
sparkproject3
sparkproject1是主节点,sparkproject2和sparkproject3是从节点
在另外两台虚拟机上搭建hadoop
在sparkproject1上使用scp命令将配置好的文件传输到另外两个虚拟机上
cd /usr/local
scp -r hadoop root@sparkproject2:/usr/local
scp -r hadoop root@sparkproject3:/usr/local
scp ~/.bashrc root@sparkproject2:~/ scp ~/.bashrc root@sparkproject3:~/
在sparkproject2和sparkproject3上分别执行
source ~/.bashrc
在sparkproject2和sparkproject3的/usr/local目录下创建data目录
cd /usr/local
mkdir data
启动hdfs集群
格式化namenode
在sparkproject1上执行
hdfs namenode –format
启动集群
start-dfs.sh
查看是否启动成功
在浏览器中输入sparkproject1:50070
查看状态
上传测试文件
vi hello.txt
Hello world !
hdfs dfs -put hell.txt /hello.txt
在网页端查看上传的文件
启动yarn集群
start-yarn.sh
- 1
- 1
使用jps
检查各节点启动状态,sparkproject1上启动ResourceManager,sparkproject2和sparkproject3节点上启动NodeManager
在浏览器中输入sparkproject1:8088
查看
至此,hadoop集群搭建完成,下一步将安装Hive。
更多文章:Spark大型电商项目实战:http://blog.csdn.net/u012318074/article/category/6744423
转载于:https://www.cnblogs.com/wanghuaijun/p/6860877.html
3.环境搭建-Hadoop(CDH)集群搭建相关推荐
- CDH大数据平台搭建之SPARK集群搭建
CDH大数据平台搭建之SPARK集群搭建 一.安装规划 二.下载 三.安装及配置 1.解压 2.修改配置文件 四.启动 五.JPS检查节点 一.安装规划 参考CHD大数据平台搭建之集群规划 二.下载 ...
- hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
- 【转】Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
https://www.cnblogs.com/caiyisen/p/7373512.html 前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很 ...
- Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
- 搭建hadoop分布式集群
搭建hadoop分布式集群 ~ jdk安装 ip修改 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 BOOTPROTO=none H ...
- Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境 二:设置静态ip以及主机名与映射关系 三:创建用户.配置SSH无密登录 四:子机dn操作 五:配置主机jdk.ha ...
- Hadoop/Spark集群搭建图文全攻略
Hadoop/Spark集群搭建图文全攻略 一.安装VMware 二.创建Linux虚拟机 三.CentOS-7安装 四.Linux系统环境配置 五.其他配置 六.虚拟机克隆 七.jdk安装 八.Zo ...
- 大数据测试平台搭建记录(CDH集群)
大数据测试平台搭建记录(CDH集群) 服务器ip密码 关闭防火墙以centos7为例: systemctl stop firewalld.service systemctl disable firew ...
- Linux搭建hadoop高性能集群(一)
文章目录 关于此篇(题外话) Linux系统搭建hadoop高性能集群(一) 第一步 虚拟机的安装 第二步 创建一个虚拟机 第三步 虚拟机启动初始化 第四步 虚拟机克隆 第五步 Linux系统网络配置 ...
- CDH大数据平台搭建之KAFKA集群搭建
CDH大数据平台搭建之KAFKA集群搭建 一.安装规划 二.下载KAFKA 三.安装及配置 1.先安装zookeeper 2.解压 3.新建文件夹 4.修改config目录server.propert ...
最新文章
- java体重指数计算器程序_育儿 - 低体重儿和巨大儿的危害
- 黑色星期五,外区亚马逊技嘉 GTX 1080 折合约3870元人民币
- 【翻译】Programming Ruby——正则表达式
- 中山网络推广解答网站排名优化为什么总是上不了首页!
- python 数值的整数次方
- Django(part39)--制作图书管理系统
- mysql批量修改字段字符集_MySQL字符集修改实战教程
- cla c 语言编译器,第九章 CLA_C2000_C_Compiler.pdf
- sql server management studio快捷键
- 5款最好的MySQL自由软件工具
- [测试模式]Setup方法的滥用
- centos django mysql安装
- 用eclipse开发需要准备什么?
- 74ls161中rco是什么_催化燃烧RCO设备多少钱?为什么价格差别如此之大?
- 史上最全的正则表达式-匹配中英文、字母和数字
- perl编译器下载linux64,perl 在linux 下的安装
- However的用法主要有以下两点:
- 用微信扫一扫功能扫描二维码下载安装APK不能用,不能打开APK下载链接的解决方案
- 《Nature》子刊发布,IIT科学家模仿“植物的触须”,打造可逆渗透致动的仿生软体机器人
- Windows——卸载MinGW的方法