hadoop-2.7.2 分布式集群搭建
1.机器信息
五台centos 64位机器
2.集群规划
Server Name |
Hadoop Cluster |
Zookeeper Ensemble |
HBase Cluster |
Hadoop01 |
Name node & Resource manager |
Master |
|
Hadoop02 |
Secondary name node |
||
Hadoop03 |
Data node & Node manager |
√ |
Region server |
Hadoop04 |
Data node & Node manager |
√ |
Region server |
Hadoop05 |
Data node & Node manager |
√ |
Region server |
3. hadoop 集群
3.1core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/app/hadoop-2.7.2</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
3.2hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/hadoopdata/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoopdata/datanode</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9001</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
</configuration>
3.3mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
</configuration>
3.4yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8035</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
<name>yarn.acl.enable</name>
<value>false</value>
</property>
<property>
<name>yarn.admin.acl</name>
<value>*</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.5slaves
hadoop03
hadoop04
hadoop05
3.6hadoop-env.sh
修改java_home 改成绝对路径
export JAVA_HOME=/usr/app/jdk1.7.0_51
4修改host文件
命令 vim /etc/hosts
192.168.12.60 hadoop01
192.168.12.61 hadoop02
192.168.12.62 hadoop03
192.168.12.63 hadoop04
192.168.12.64 hadoop05
5.修改环境变量
vim /etc/profile
编辑如下:
HADOOP_PREFIX=/usr/app/hadoop-2.7.2
HADOOP_MAPRED_PREFIX=$HADOOP_PREFIX
HADOOP_HDFS_PREFIX=$HADOOP_PREFIX
HADOOP_YARN_PREFIX=$HADOOP_PREFIX
PATH=$PATH:$HADOOP_PREFIX/bin
PATH=$PATH:$HADOOP_PREFIX/sbin
6配置ssh 免密码登录
命令 cd ~/.ssh
发现 没有问价 那么就自己创建一个.ssh 文件
利用ls –al 来查看文件
再执行 命令 cd ~/.ssh
执行 ssh-keygen -t rsa (四个回车)
命令ssh-copy-id localhost 和其他机器
7 集群配置
将配置好的hadoop-2.7.2文件发送到各个机器上 并修改各个机器的配置文件
8启动集群
命令 start-dfs.sh 显示除了本机之外的权限不够 Permission denied
登录其他机器 修改调用文件的权限 例如 chmod 777 文件名
8总结
遇到的问题 我在配置的时候 ssh 时候一直配置不成功 当时使用的命令是scp ~/.ssh/id_rsa.pub root@192.168.0.2:/root/.ssh
后来使用ssh-copy-id 主机名 youxiao
还有一个问题就是启动hdfs 时候 目标节点显示权限不够 (很困扰)困在这里很长时间。
修改权限之后就可以运行了。
转载于:https://www.cnblogs.com/qerror404/p/5438294.html
hadoop-2.7.2 分布式集群搭建相关推荐
- Hadoop 2.7.2 分布式集群搭建-操作指南(不断更新)
文章目录 1.Hadoop运行环境的搭建 1.1 虚拟机环境准备 1.1.1 克隆虚拟机 1.1.2 克隆完成后的配置 1.1.2.1 修改克隆后虚拟机的ip 1.1.2.2 修改IP地址 1.1.2 ...
- hadoop分布式集群搭建
hadoop集群搭建前的准备(一定要读):https://blog.51cto.com/14048416/2341450 hadoop分布式集群搭建: 1. 集群规划: 2.具体步骤: (1)上传安装 ...
- 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统) 一:创建分布式集群环境 二:设置静态ip以及主机名与映射关系 三:创建用户.配置SSH无密登录 四:子机dn操作 五:配置主机jdk.ha ...
- HADOOP 伪分布式集群搭建
一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
- 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建 一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络 为虚拟机普通用户配置 ...
- Hadoop完全分布式集群搭建详细图文教程
本文所使用的环境及版本: CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一.安装模板机 1.安装CentOS 7.9并配 ...
- 基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1 借鉴网址2 hadoop官方配置教程 搭建虚拟机,克隆(或者先配置JAVA和Hadoop环境再克隆,之后要改主机名和映射以及SSH免密) 可以利用xsync集群分发脚本一台机器配置其他机器 ...
- Hadoop完全分布式集群搭建
hadoop本地模式搭建 首先准备一台Linux环境的服务器关闭防火墙 # 查看防火墙状态 systemctl status firewalld # 停止防火墙 systemctl stop fire ...
- [大数据技术与应用省赛学习记录二]——模块一(HADOOP完全分布式集群搭建)
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
最新文章
- 一个关于binder的debug技巧
- AtCoder AGC035F Two Histograms (组合计数、容斥原理)
- 自定义验证控件CustomValidator
- 亚马逊AWS EC2云实例AMI安装LNMP环境(3)——Mysql5.5
- 如何使用我的博客电子书
- Python逐行读取文件内容
- [JSON].typeOf( keyPath )
- 快手推出“一站式开放平台”:千亿流量5亿现金扶持经营伙伴
- Chirpy Zippy工具使用心得
- GCC全过程详解+剖析生成的.o文件[转]
- 钉钉签到自动签到python_原来实现钉钉自动签到如此简单,每天准时上下班不是梦...
- 【科研作图】软件推荐资源汇总PPT瑞思拜!
- GitHub Copilot 自动写代码插件使用体验
- 第二届“马栏山”杯国际音视频算法大赛音乐节拍检测题参赛总结及分享(Rank7)
- Vue项目启动时自动打开浏览器
- Artifact xxx:war exploded: Error during artifact deployment.
- C++ 小白 学习记录15
- 简述C语言中32个关键字
- android 仿相册,Android 仿新浪相册选择器 PhotoSelector
- 高性能计算在石油物探中的应用现状与前景
热门文章
- Python模块——_winreg操作注册表
- 使用pdb调试Python程序
- Linux 串口编程三 使用termios与API进行串口程序开发
- [react] createElement与cloneElement两者有什么区别?
- [react] 在React中组件的props改变时更新组件的有哪些方法?
- 深入react技术栈(11):样式处理
- 前端学习(3053):vue+element今日头条管理-展示列表分页
- [css] 标签、class和id选择器三者的区别是什么?分别在什么时候用?
- [css] 你知道什么是流体排版吗?说说它的原理是什么?
- [vue-element] 有用过哪些vue的ui?说说它们的优缺点?