hadoop集群安装
一、简述
本次集群安装基于4台虚拟集群下进行。
hadoop版本使用 2.6.4
操作系统为 centos6.5
jdk版本为 jdk-7u67-linux-x64.tar.gz
二、准备
创建hadoop用户
#分别在4台机器中创建hadoop用户
useradd hadoop#给hadoop用户授权——如下【图1】
vi /etc/sudoers
【图1】
下载hadoop安装包
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
下载jdk安装包
https://download.csdn.net/download/u014414323/10420850
上传文件到linux
解压jdk、hadoop安装包并设置环境变量
#解压JDK安装包
tar -zvxf jdk-7u67-linux-x64.tar.gz -C ../apps/#解压hadoop安装包
tar -zvxf hadoop-2.6.4.tar.gz -C ../apps/#设置jdk、hadoop 环境变量sudo vi /etc/profile#文件最后追加以下3行
export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_67
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#让环境变量生效
source /etc/profile
三、hadoop配置
hadoop安装包解压目录说明
[hadoop@min1 ~]$ ll apps/hadoop-2.6.4/
总用量 52
drwxrwxr-x. 2 hadoop hadoop 4096 3月 8 2016 bin #存放hadoop自身的操作命令
drwxrwxr-x. 3 hadoop hadoop 4096 3月 8 2016 etc #存放配置文件
drwxrwxr-x. 2 hadoop hadoop 4096 3月 8 2016 include #存放c语言本地库的一些头文件
drwxrwxr-x. 3 hadoop hadoop 4096 3月 8 2016 lib #存放本地库
drwxrwxr-x. 2 hadoop hadoop 4096 3月 8 2016 libexec
-rw-r--r--. 1 hadoop hadoop 15429 3月 8 2016 LICENSE.txt
-rw-r--r--. 1 hadoop hadoop 101 3月 8 2016 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1366 3月 8 2016 README.txt
drwxrwxr-x. 2 hadoop hadoop 4096 3月 8 2016 sbin #存放hadoop框架启动管理的命令
drwxrwxr-x. 4 hadoop hadoop 4096 3月 8 2016 share #存放文档与jar包
伪分布式需要修改5个配置文件
第一个:hadoop-env.sh
vim hadoop-env.sh#第27行export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_67
第二个:core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --><property><name>fs.defaultFS</name><value>hdfs://min1:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/apps/hadoop-2.6.4/tmp</value></property>
第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>3</value></property>
<!-- 指定secondary namenode地址 --><property><name>dfs.secondary.http.address</name><value>min1:50090</value></property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
#重命名 mv mapred-site.xml.template mapred-site.xml#编辑vim mapred-site.xml
<!-- 指定mr运行在yarn上,默认为local(表示让mr在本地机器运行) --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 --><property><name>yarn.resourcemanager.hostname</name><value>min1</value></property><!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
把上述min1配置好的文件内容全部拷贝到其他集群机器(min2、min3、min4)中(可通过人机交互脚本实现自动化处理)
scp -r apps/ min2:/home/hadoop/scp -r apps/ min3:/home/hadoop/scp -r apps/ min4:/home/hadoop/#拷贝环境变量配置文件sudo scp /etc/profile min2:/etc/sudo scp /etc/profile min3:/etc/sudo scp /etc/profile min4:/etc/#使环境变生效(将命令发送给4台机器执行)source /etc/profile
格式化namenode(是对namenode进行初始化,namenode存放着文件存放的索引地址)
hadoop namenode -format
单独启动 namenode
hadoop-daemon.sh start namenode
访问namenode网页界面:
http://min1:50070/
单独启动 datanode
hadoop-daemon.sh start datanode
更多常用命令详情查看:https://blog.csdn.net/u013490585/article/details/83012749
slaves 文件作用说明
一般在集群中你唯一地选择一台机器作为 NameNode ,一台机器作为 ResourceManager,这是master (主)。
那么 ,集群中剩下的机器作为DataNode 和 NodeManager。这些是slaves (从)。
在你的 hadoop目录/etc/hadoop/slaves 文件上列出全部slave机器名或IP地址,一个一行如下:
[hadoop@min1 hadoop]$ vi slaves #slaves 编辑内容如下
min2
min3
min4
四、免密登录
生成ssh免登陆密钥
ssh-keygen
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登陆的目标机器上
[hadoop@min1 ~]$ ssh-copy-id min1
hadoop@min1's password:
Now try logging into the machine, with "ssh 'min1'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[hadoop@min1 ~]$ ssh-copy-id min2
hadoop@min2's password:
Now try logging into the machine, with "ssh 'min2'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[hadoop@min1 ~]$ ssh-copy-id min3
hadoop@min3's password:
Now try logging into the machine, with "ssh 'min3'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.[hadoop@min1 ~]$ ssh-copy-id min4
hadoop@min4's password:
Now try logging into the machine, with "ssh 'min4'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting.
启动hadoop
start-all.sh
查看各机器进程启动情况
关闭hadoop
hadoop集群安装相关推荐
- Hadoop实战-中高级部分 之 Hadoop 集群安装
Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop ...
- Hadoop集群安装与配置
转载自Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Had ...
- Hadoop集群安装及其配置(三台虚拟机)
Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机 利用cat查看配置文件 修改主机名称 配置IP映射 配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...
- Hadoop集群安装和搭建(全面超详细的过程)
Hadoop集群安装和搭建(全面超详细的过程) 文章目录 Hadoop集群安装和搭建(全面超详细的过程) 前言 一.虚拟机的安装 二.Linux系统安装 1.环境准备 2.虚拟机安装 三.Centos ...
- Hadoop集群安装-CDH5(5台服务器集群)
CDH5包下载:http://archive.cloudera.com/cdh5/ 架构设计: 主机规划: IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 N ...
- 一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)
1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的 ...
- Hadoop集群安装部署_分布式集群安装_02
文章目录 一.上传与 解压 1. 上传安装包 2. 解压hadoop安装包 二.修改hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hd ...
- Hadoop集群安装部署_分布式集群安装_01
文章目录 1. 分布式集群规划 2. 数据清理 3. 基础环境准备 4. 配置ip映射 5. 时间同步 6. SSH免密码登录完善 7. 免密登录验证 1. 分布式集群规划 伪分布集群搞定了以后我们来 ...
- Hadoop集群安装部署_伪分布式集群安装_02
文章目录 一.解压安装 1. 安装包上传 2. 解压hadoop安装包 二.修改Hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hdfs ...
最新文章
- 转载:python原生态的输入窗口抖动+输入特效
- 防止******ADSL的一些技巧
- Android程序员一年工作经验能重复用十年?高效学习很重要!
- vs--bookmark用法
- 【Linux】Linux下建立和管理逻辑卷
- 动动嘴皮子就解决身份安全验证问题,这很NICE
- linux IP、端口连通性测试
- Android热更新开源项目Tinker集成实践总结
- 继安卓市场下架后 探探App也在苹果商店下架
- Oracle中拼出树型结构
- UVA10733 The Colored Cubes【Polya定理】
- python画雷达图-python使用matplotlib绘制雷达图
- sequence to sequence模型
- 图像频率和图像频谱的概念
- vant-ui 有赞ui官网打不开?
- UI设计原型交互基础
- 台式计算机没声音,台式电脑没声音了如何恢复 台式电脑忽然没声音
- C:\Users\用户名\Documents不可用
- 很遗憾,这就是现实!35岁之后软件测试工程师靠什么养家?
- 超详细28天备考Tableau考试经验分享
热门文章
- 从言行合一到知行合一
- 2022-2028年中国客厅经济深度调研及投资前景预测报告
- 认清自己,愉快度过每一天
- 2019半年总结:Teams are powerful
- 掩码语言模型(Masked Language Model)mlm
- linux 虚拟环境
- pytorch 状态字典:state_dict 模型和参数保存
- Java中类、常量、变量、方法名等命名规则
- 基于OpenSeq2Seq的NLP与语音识别混合精度训练
- 2021年大数据Flink(四十四):​​​​​​扩展阅读 End-to-End Exactly-Once