Centos7完全分布式搭建Hadoop2.7.3
(一)软件准备
1,hadoop-2.7.3.tar.gz(包)
2,三台机器装有cetos7的机子
(二)安装步骤
1,给每台机子配相同的用户
进入root : su root
创建用户s: useradd s
修改用户密码:passwd s
2.关闭防火墙及修改每台机的hosts(root 下)
vim /etc/hosts 如:(三台机子都一样)
vim /etc/hostsname:如修改后参看各自的hostname
关闭防火墙:
systemctl stop firewalld.service
禁用防火墙:systemctl disable firewalld.service
查看防火墙状态firewall-cmd --state
重启 reboot
3,为每台机的用户s配置ssh,以用户s身份登录 (一定要相同的用户,因为ssh通信默认使用相同用户身份访问另一台机子)
1,root 用户下修改: vim /etc/ssh/sshd_config,设置这三项后,执行service sshd restart
2,退出root,在用户s下操作
生成密钥对: ssh-keygen -t dsa(一路回车即可)
转入ssh目录下:cd .ssh
导入公钥: cat id_dsa.pub >> authorized_keys
修改authorized_keys权限:chmod 644
authorized_keys (修改权限,保证自己免密码能登入)
验证 ssh Master (在三台机都执行相同的操作)
3,实现master-slave免密码登录
在master 上执行: cat ~/.ssh/id_dsa.pub | ssh s@Slave1 'cat - >> ~/.ssh/authorized_keys'
cat ~/.ssh/id_dsa.pub | ssh s@Slave2 'cat - >> ~/.ssh/authorized_keys '
验证 :ssh Slave1
(三 )配置Hadoop集群
1,解压hadoop和建立文件
root用户下:tar zxvf /home/hadoop/hadoop-2.7.3.tar.gz -C /usr/
重命名:mv hadoop-2.7.3 hadoop
授权给s: chown -R s /usr/hadoop
2,创建hdfs相关文件(三台机子都需要操作)
创建存储hadoop数据文件的目录: mkdir /home/hadoopdir
存储临时文件,如pid:mkdir /home/hadoopdir/tmp
创建dfs系统使用的dfs系统名称hdfs-site.xml使用:mkdir /home/hadoopdir/dfs/name
创建dfs系统使用的数据文件hdfs-site.xml文件使用:mkdir /home/hadoopdir/dfs/data
授权给s: chown -R s /home/hadoopdir
3,配置环境变量(三台机子都需要操作)
root用户下:vim /etc/profile 添加如图: 保存退出后:source /etc/profile
验证:hadoop version(这里要修改 /usr/hadoop/etc/hadoop/hadoop-env.sh,即export JAVA_HOME=/usr/lib/jvm/jre)
4,配置hadoop文件内容
4.1 修改core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoopdir/tmp/</value><description>A base for other temporary directories.</description></property><property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property> </configuration>
4.2 修改hdfs-site.xml文件
<configuration><property><name>dfs.namenode.name.dir</name><value>file:///home/hadoopdir/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///home/hadoopdir/dfs/data</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property> </configuration>
4.3 修改mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value></property><property><name>mapreduce.jobtracker.http.address</name><value>Master:50030</value></property><property><name>mapred.job.tracker</name><value>Master:9001</value></property> </configuration>
4.4 修改 yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> <property><name>yarn.resourcemanager.hostname</name><value>Master</value></property><property><name>yarn.resourcemanager.address</name><value>Master:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Master:8088</value></property> </configuration>
4.5,修改 slaves文件
5,搭建集群(普通用户s)
格式hadoop文件:hadoop namenode -format (最后出现“util.ExitUtil: Exiting with status 0”,表示成功)
发送dfs内容给Slave1:scp -r /home/hadoopdir/dfs/* Slave1:/home/hadoopdir/dfs
发给dfs内容给Slave2:scp -r /home/hadoopdir/dfs/* Slave2:/home/hadoopdir/dfs
发送hadoop文件给数据节点:scp -r /usr/hadoop/* Slave1:/usr/hadoop/ scp -r /usr/hadoop/* Slave2:/usr/hadoop/
6,启动集群
./sbin/start-all.sh
1,jps(centos 7 默认没有,可以参照这里安装)查看:Master和Slave中分别出现如下所示:
2,离开安全模式(master): hadoop dfsadmin safemode leave
查看结果:hadoop dfsadmin -report,如图
3,登录网页查看:http://Master:50070 (查看live node) 查看yarn环境(http://Master/8088)
(四) 参考网页:
1,Ubuntu16.04 完全分布式搭建Spark2.0
2,Cetos6详细搭建hadoop集群
3,SSH集群搭建
4,livenode 为0 异常汇总(我就是第二种情况)
转载于:https://www.cnblogs.com/xieyulin/p/7061230.html
Centos7完全分布式搭建Hadoop2.7.3相关推荐
- # 从零開始搭建Hadoop2.7.1的分布式集群
Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,可是确实有非常多细节须要注意.不然会造成很多配置错误的情况.尽量保证一次配置正确防止重复改动. 网上教程有非常 ...
- Hadoop2.7.3完全分布式搭建
Hadoop2.7.3完全分布式搭建 1.软件准备: 下载虚拟机软件VMware . 下载Linux 镜像文件. 下载客户端连接工具XShell与XFtp 下载jdk 下载hadoop 2.软件安装 ...
- 在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
- 大数据小项目之电视收视率企业项目04--完全分布式搭建
完全分布式搭建 前边已经修改完ip了,那么现在就开始搭建完全分布式了 1.修改主机名 hostname(查看主机名) sudo nano /etc/hostname(修改主机名) 2.修改hosts文 ...
- Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!
Hadoop完全分布式搭建及测试 项目开始前准备工作 1.下载并安装VM workstation pro 15安装包,这里选择: VMware-workstation-full-15.1.0-1359 ...
- Windows8.1+Eclipse搭建Hadoop2.7.2本地模式开发环境
下面介绍如何在Windows8.1上搭建hadoop2.7.2的本地模式开发环境,为后期做mapreduce的开发做准备. 在搭建开发环境之前,首先选择开发工具,就是大家都很熟悉的Eclipse(本人 ...
- Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...
- 高效5步走,高速搭建Hadoop2伪分布环境
前两天将Hadoop2的全然分布式搭建文档整理公布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369).朋友相邀.就再将Hado ...
- Ubuntu中搭建Hadoop2.5.2完全分布式系统(一)
Hadoop平台搭建有三种模式,分别是单机模式.伪分布模式.完全分布模式.单机模式是在单一计算机或者服务器上运行Hadoop,没有分布式的文件上传和任务分配等功能.它执行的流程仍然是Map/Reduc ...
最新文章
- javascript的date对象
- 最新版IDEA常用配置指南,打造你的最酷IDE
- Python 搜狗站长平台批量添加域名+批量提交链接 过验证码 IP限制
- 1.12 深层循环神经网络-深度学习第五课《序列模型》-Stanford吴恩达教授
- 普通进程的守护进程化
- javascript对时间的处理
- (转)Http协议经典详解
- 编写Arduino支持的C++类库
- 【重点突破】—— React实现富文本编辑器
- python简易停车系统
- ActiveReports 9实战教程(1): 手把手搭建环境Visual Studio 2013 社区版
- Spring Boot系列(一) Spring Boot介绍和基础POM文件
- java 动态获取IP地址(城市)
- matlab二进制十进制十六进制和任意进制之间的转换
- git之提交本地代码到远端指定仓库
- 排序算法-冒泡排序(入门级别)
- 云计算需要更强大的管理工具
- C: 与Atom相爱相生
- python 去除txt文本内容重复值
- 在用mybatis时报错java.lang.AbstractMethodError: com.mysql.jdbc.ServerPreparedState
热门文章
- jquery 实现智能炫酷的翻页相册效果
- mysql 清空表的两种方法
- oracle分区索引及循环插入
- Unity3D面试ABC
- 是什么样的骚操作让应用上线节省90%的时间
- WPF:从WPF Diagram Designer Part 4学习分组、对齐、排序、序列化和常用功能
- IBM将推NVMe存储解决方案
- [Leetcode] Majority Element 众数
- Android应用程序打包时,出现错误:XXX is not translated in af (Afrikaans), am (Amharic), ar (Arabic).....(...
- bootstrap 中这段代码 使bundles 失败