1)hadoop集群搭建
2019独角兽企业重金招聘Python工程师标准>>>
操作系统环境
CentOS7.2
网络环境
hostname | ip | role |
hadoop001 | 192.168.252.164 |
hdfs:namenode,datanode,sceondnamenode yarn:resourcemanager,nodemanager |
hadoop002 | 192.168.252.165 |
hdfs:datanode yarn:nodemanager |
hadoop003 | 192.168.252.166 |
hdfs:datanode yarn:nodemanager |
软件包:
jdk-7u55-linux-x64.tar.gz
hadoop-2.6.4.tar.gz
1.准备工作
1.1关闭防火墙
systemctl stop firewalld
chkconfig firewalld off
1.2关闭selinux
vi /etc/selinux/config
SELINUX=disabled
1.3设置网络
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
TYPE=Ethernet
BOOTPROTO=static
NAME=eno16777736
DEVICE=eno16777736
ONBOOT=yes
IPADDR=192.168.252.164
NETMASK=255.255.255.0
GATEWAY=192.168.252.1
systenctl restart network
1.4设置hostname
vi /etc/sysconfig/network
HOSTNAME=hadoop001
1.5设置hosts
vi /etc/hosts
192.168.252.164 hadoop001
192.168.252.165 hadoop002
192.168.252.166 hadoop003
1.6配置互信
生成密钥文件(~/.ssh目录下生成id_rsa和id_rsa.pub)
ssh-keygen -t rsa
复制公钥 (~/.ssh目录下)
cp id_rsa.pub authorized_keys
每个节点执行完毕之后,合并各个节点的authorized_keys,并用合并后的文件覆盖原有authorized_keys。
1.7安装jdk
tar zxvf jdk-7u55-linux-x64.tar.gz
配置java环境变量
vi ~/.bashrc
export JAVA_HOME=/usr/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc
2.节点一搭建
2.1解压hadoop(/opt目录下)
tar zxvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4.tar.gz hadoop
2.2配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
2.3修改配置
core-site.xml
<property><name>fs.default.name</name><value>hdfs://hadoop001:9000</value>
</property>
hdfs-site.xml
<property><name>dfs.name.dir</name><value>/usr/local/data/namenode</value>
</property><property><name>dfs.data.dir</name><value>/usr/local/data/datanode</value>
</property><property><name>dfs.tmp.dir</name><value>/usr/local/data/tmp</value>
</property><property><name>dfs.replication</name><value>3</value>
</property>
mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
yarn-site.xml
<property><name>yarn.resourcemanager.hostname</name><value>hadoop001</value>
</property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
Slaves
hadoop001
hadoop002
Hadoop003
3.节点二、三搭建
3.1复制hadoop目录到二、三节点
scp -r hadoop 192.168.252.165:/opt
scp -r hadoop 192.168.252.166:/opt
3.2复制环境变量文件
scp -r profile 192.168.252.165:/etc
scp -r profile 192.168.252.166:/etc
3.3建立data目录
mkdir /usr/local/data
4.启动
4.1格式化HDFS
hdfs namenode -format
4.2启动hdfs集群
start-dfs.sh
4.3验证
jps命令或50070端口
hadoop001:namenode\datanode\sceondnamenode
hadoop002:datanode
hadoop003:datanode
4.4启动yarn
start-yarn.sh
4.5验证:
jps,8088端口
hadoop001:resourcemanager\nodemanager
hadoop002:nodemanager
hadoop003:nodemanager
转载于:https://my.oschina.net/puwenchao/blog/715769
1)hadoop集群搭建相关推荐
- 好程序员大数据笔记之:Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
- linux hadoop集群搭建,hadoop集群搭建
hadoop集群搭建步骤 实验介绍 下面将要在三台linux虚拟机上搭建hadoop集群. 知识点 linux基本命令 集群安装 完成实验需要以下相关知识 解压命令 tar -zxvf XX.tar. ...
- Hadoop集群搭建(27)
2019独角兽企业重金招聘Python工程师标准>>> Hadoop集群搭建方式: 1.1 确定部署三个节点,分别是hadoop0,hadoop1,hadoop2. 其中had ...
- Hadoop 集群搭建
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建 ...
- 大数据 -- Hadoop集群搭建
Hadoop集群搭建 1.修改/etc/hosts文件 在每台linux机器上,sudo vim /etc/hosts 编写hosts文件.将主机名和ip地址的映射填写进去.编辑完后,结果如下: 2. ...
- 不看就亏系列!这里有完整的 Hadoop 集群搭建教程,和最易懂的 Hadoop 概念!| 附代码...
作者 | chen_01_c 责编 | Carol 来源 | CSDN 博客 封图 | CSDN付费下载于视觉中国 hadoop介绍 Hadoop 是 Lucene 创始人 Doug Cutting, ...
- hadoop集群搭建 修改配置文件(三台主机都要配置)
hadoop集群搭建 修改配置文件(三台主机都要配置) master 主机配置 1)hadoop-env.sh vim hadoop-env.sh 2)core-site.xml vim c ...
- Hadoop集群搭建之问题锦集
**Hadoop集群搭建之问题锦集** 1.Centos7 ifconfig这个命令没找到的解决方法 yum -y install net-tools 2.修改文件的读写权限 chmod 777 /e ...
- 大数据Hadoop集群搭建
大数据Hadoop集群搭建 一.环境 服务器配置: CPU型号:Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数:16 内存:64GB 操作系统 版本:CentO ...
- Hadoop集群搭建(三台Linux服务器)
Hadoop集群搭建(三台Linux服务器) 搭建之前注意的几点问题 环境以及版本 基本命令 Linux环境准备 首先安装Hadoop 配置集群分发脚本 克隆配置好的机器 Hadoop集群配置 第一步 ...
最新文章
- MCSE2003学习之六
- 成为顶尖算法专家需要知道哪些算法?
- qt-designer使用教程1--HelloWorld
- 一文了解文件上传全过程(1.8w字深度解析)「前端进阶必备」
- rxjs fromEvent的用法
- Python快速学习03:运算 缩进和选择
- java jna调用dll文件_关于java jna调用dll的问题
- java ee 值范围_JAVAEE之内置对象和属性范围
- 窗体传值 父子窗体传值情况 c# 1231
- 第 22 章 Beta
- java中excelAPI的简介
- 【Oracle】DBA_AUDIT_TRAIL表SES_ACTIONS字段对应的操作列表
- matlab细胞数组类型建立及操作
- 阿里云CDN缓存总结
- 使用两个队列,改进耗时线程引起的性能问题的思路及代码
- Atitit 知识搜索 信息检索的方法总结 目录 1. 目录搜索	1 1.1. 向下同级搜索	1 1.2. 向上目录抽象搜索	1 2. hash搜索模式	1 2.1. 关键词搜索 主题搜索	1 2
- paip.php 配置ZEND DEBUGGER 断点调试for cli..
- 番茄助手Visual Assistx报错The security key for this program currently。。
- 豆丁网文档免登陆免积分下载工具原理分析
- js实现图片压缩上传
热门文章
- DataGridView的DataGridViewComboBoxColumn列点击后触发其他方法
- 查 oracle 的sid,oracle 查询sid 运行的sql语句
- 安卓IPCamera-ONVIF JAVA代码开源啦
- error C2864 只有静态常量整型数据成员才可以在类中初始化
- 穿越者的真正优势是人才
- No plugin found for prefix ‘doclint‘ in the current project
- WORD中输入已知编码的特殊字符
- E: 错误,pkgProblemResolver::Resolve 发生故障,这可能是有软件包被要求保持现状的缘故
- 编译编译时,用不到的库,一定不要链接
- 纽微特荒唐事:都知道是找人顶罪,竟没人敢指正