hadoop2.X集群安装与应用
可参考此文档:hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档(非常详细)http://www.aboutyun.com/thread-7684-1-1.html
步骤一:下载并安装JDK
JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[root@master vmware-share-folder]# cp * /usr/local/src/
[root@master src]# chmod +x jdk-6u45-linux-x64.bin
[root@master src]# ./jdk-6u45-linux-x64.bin
完成后设置环境变量:
[root@master src]# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_141/
export PATH=$PATH:$JAVA_HOME/bin
[root@master src]# source /etc/profile.d/java.sh
[root@slave1 hadoop]# java -version
java version "1.8.0_141"
Java(TM) SE Runtime Environment (build 1.8.0_141-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.141-b15, mixed mode)
表示JDK安装成功!!!!
在slave1和slave2做同样的操作: 如果没有么有scp 命令:yum install -y openssh-clients openssh
[root@master src]# scp -r jdk1.8.0_141 slave1:/usr/local/src/
[root@master src]# scp -r jdk1.8.0_141 slave2:/usr/local/src/
之后操作如同master即可!!!!!!
步骤二:编辑hosts文件(每台机器上都操作)
[root@master src]# cat /etc/hosts
192.168.244.200 master
192.168.244.201 slave1
192.168.244.202 slave2
步骤三:关闭防火墙(每台机器上都操作)
[root@master src]# /etc/init.d/iptables stop
[root@master src]# chkconfig iptables off
[root@master src]# vim /etc/sysconfig/selinux
SELINUX=disabled
步骤四:部署免密码(SSH)
[root@master src]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
d6:9f:53:20:59:93:a4:08:c2:2d:b6:68:2e:01:a1:32 root@master
The key's randomart image is:
+--[ RSA 2048]----+
|.. .... .+. |
|o +... . +.. |
|E o o . + . |
|o.o . . . . |
| + S . . |
|. . . . o |
| . + |
| . |
| |
+-----------------+
[root@master src]# cd /root/.ssh/
[root@master .ssh]# ll
total 12
-rw------- 1 root root 1675 Jun 29 02:37 id_rsa
-rw-r--r-- 1 root root 393 Jun 29 02:37 id_rsa.pub
-rw-r--r-- 1 root root 794 Jun 29 02:20 known_hosts
[root@master .ssh]# cp id_rsa.pub authorized_keys
测试:
[root@master .ssh]# ssh slave1
[root@master .ssh]# ssh slave2
成功即可!!!!
步骤五:下载hadoop2.x 并解压
https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/
[root@master src]# tar xf hadoop-2.7.3.tar.gz
步骤六:修改配置文件
涉及到的配置文件有7个:
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的,可以复制相应的template文件获得。
1.修改hadoop-env.sh配置文件
[root@master hadoop]# pwd
/usr/local/src/hadoop-2.7.3/etc/hadoop
[root@master hadoop]# cat hadoop-env.sh |grep -i java_home
export JAVA_HOME=/usr/local/src/jdk1.6.0_45/
2.修改yarn-env.sh配置文件
[root@master hadoop]# cat yarn-env.sh
export JAVA_HOME=/usr/local/src/jdk1.6.0_45/
3.修改slaves配置文件
[root@master hadoop]# cat slaves
slave1
slave2
4.修改core-site.xml配置文件
[root@master hadoop]# cat core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.proxyuser.aboutyun.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.aboutyun.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop-2.7.3/tmp</value>
<description>Abase forother temporary directories.</description>
</property>
</configuration>
5.修改hdfs-site.xml配置文件
[root@master hadoop-2.7.3]# mkdir dfs/{name,data} -p
[root@master hadoop]# cat hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.7.3/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.7.3/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
6.修改mapred-site.xml配置文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
7.修改yarn-site.xml配置文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
8.将master的hadoop 目录复制到slave1和slave2节点上:
[root@master src]# scp -r hadoop-2.7.3 root@slave1:/usr/local/src/
[root@master src]# scp -r hadoop-2.7.3 root@slave2:/usr/local/src/
9.设置环境变量
[root@master profile.d]# cat hadoop2.sh
export HADOOP2_HOME=/usr/local/src/hadoop-2.7.3
export PATH=$PATH:$HADOOP2_HOME/bin:HADOOP2_HOME/sbin
[root@master profile.d]# source hadoop2.sh
10 .启动Hadoop
先格式化:hadoop namenode -format
[root@master sbin]# ./start-dfs.sh
[root@master sbin]# ./start-yarn.sh
[root@master sbin]# jps
2714 NameNode
3051 ResourceManager
2892 SecondaryNameNode
3310 Jps
[root@slave1 hadoop]# jps
1904 NodeManager
2004 Jps
1797 DataNode
特别注意点:如果hadoop 版本是2.7 JDK一定要用1.7 以上版本,不然格式化namenode 会出现各种类找不到
hadoop 2.6 可以使用jdk 1.6 版本
########快照案例#################
HDFS快照是对目录进行设定,是某个目录的某一个时刻的镜像
1 [root@master ~]# jps 2 3604 Jps 3 2714 NameNode 4 3051 ResourceManager 5 2892 SecondaryNameNode 6 [root@master ~]# hadoop fs -ls / 7 [root@master ~]# hadoop fs -mkdir /kuaizhao_dir 8 [root@master ~]# hadoop fs -ls / 9 Found 1 items 10 drwxr-xr-x - root supergroup 0 2017-07-20 11:02 /kuaizhao_dir 11 [root@master ~]# hadoop fs -mkdir /kuaizhao_dir/kz_test 12 [root@master ~]# hadoop fs /etc/passwd 13 passwd passwd- 14 [root@master ~]# hadoop fs -put /etc/passwd /kuaizhao_dir/kz_test 15 [root@master ~]# hadoop fs -cat /kuaizhao_dir/kz_test/passwd |head 16 root:x:0:0:root:/root:/bin/bash 17 bin:x:1:1:bin:/bin:/sbin/nologin 18 daemon:x:2:2:daemon:/sbin:/sbin/nologin 19 adm:x:3:4:adm:/var/adm:/sbin/nologin 20 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin 21 sync:x:5:0:sync:/sbin:/bin/sync 22 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 23 halt:x:7:0:halt:/sbin:/sbin/halt 24 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin 25 uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
1 [root@master ~]# hdfs dfsadmin -allowSnapshot /kuaizhao_dir/kz_test 2 Allowing snaphot on /kuaizhao_dir/kz_test succeeded 3 [root@master ~]# hdfs dfs -createSnapshot /kuaizhao_dir/kz_test s0 4 Created snapshot /kuaizhao_dir/kz_test/.snapshot/s0 5 [root@master ~]# hadoop fs -ls /kuaizhao_dir/kz_test/.snapshot/s0 6 Found 1 items 7 -rw-r--r-- 3 root supergroup 854 2017-07-20 11:07 /kuaizhao_dir/kz_test/.snapshot/s0/passwd
转载于:https://www.cnblogs.com/shanhua-fu/p/7091054.html
hadoop2.X集群安装与应用相关推荐
- Hadoop2.8集群安装详细教程
https://mp.weixin.qq.com/s/WsSP9oeis0uFcDhBp3r0Vg 一.网络及主机名配置 1.修改主机名 [root@master /]# vi /etc/hostna ...
- Centos6.5集群安装64位hadoop2.2.0
2019独角兽企业重金招聘Python工程师标准>>> Centos6.5集群安装64位hadoop2.2.0: 网络环境,整3台虚拟机或者物理机,配置好相应网络,编辑/etc/ho ...
- hadoop2.8配置_Hadoop 2.8集群安装及配置记录
第一部分:环境配置(含操作系统.防火墙.SSH.JAVA安装等) Hadoop 2.8集群安装模拟环境为: 主机:Hostname:Hadoop-host,IP:10.10.11.225 节点1:Ho ...
- 2021年大数据HBase(二):HBase集群安装操作
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 前言 HBase集群安装操作 一.上传解压HBase安装包 ...
- hadoop集群安装
一.简述 本次集群安装基于4台虚拟集群下进行. hadoop版本使用 2.6.4 操作系统为 centos6.5 jdk版本为 jdk-7u67-linux-x64.tar.gz 二.准备 创建had ...
- HBase 1.2.6 完全分布式集群安装部署详细过程
2019独角兽企业重金招聘Python工程师标准>>> Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Big ...
- 大数据入门第五天——离线计算之hadoop(上)概述与集群安装
一.概述 根据之前的凡技术必登其官网的原则,我们当然先得找到它的官网:http://hadoop.apache.org/ 1.什么是hadoop 先看官网介绍: The Apache™ Hadoop® ...
- Hadoop集群安装-CDH5(5台服务器集群)
CDH5包下载:http://archive.cloudera.com/cdh5/ 架构设计: 主机规划: IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 N ...
- hadoop 2.4.1 集群安装一
配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二 配置hadoop A:下载解压hadoop http://mirrors.cnnic.cn/a ...
最新文章
- AI化身监工,上班还能摸鱼吗?
- 计算机组装与维修单元卷,计算机组装与维修期中考试试卷及答案
- opencv resize_树莓派监控摄像头python+picamera或openCV
- nginx常用代理配置
- u3d:强大的dotween。使用dotween处理延时问题,最最最最简单的办法
- 使用dotnet template快速开发Microsoft Teams Outgoing Web Hook
- stl resize函数_vector :: resize()函数以及C ++ STL中的示例
- CTS(5)---Android8.0中CTS测试对于TEE的要求
- 二叉树常见算法总结(java)
- 大学计算机基础模拟系统2014综合第三套,秋第三套计算机一级试题.doc
- visa虚拟卡生成器_虚拟信用卡。亲,你懂了吗?
- 【R_绘图】绘图字体设为Times New Roman
- 怎么查看计算机办公软件版本的,怎么看电脑office是哪个版本
- UE4引擎源码学习笔记(一):源码整体文件结构
- 程序员笔试题收集汇总(三)
- 解决Chrome无法自动同步书签
- L1 loss 是什么
- xsmax 拨号失败服务器无响应,加载资源失败:服务器响应状态为404(未找到)和nodejs...
- 携程Hadoop跨机房架构实践
- alpha因子常见问题_手把手教你构建量化因子分析体系
热门文章
- AcWing 1978. 奶牛过马路(前缀和)
- PHP数组的访问方法有几种,PHP数组的几种遍历方法
- matlab listbox选中输出,vba中ListBox控件的使用
- 重磅︱R+NLP:text2vec包——New 文本分析生态系统 No.1(一,简介)
- Redis集群命令行部署工具
- 什么是思考?如何主动思考?
- mui 中template 的使用
- json字符串与js对象转换
- 如何在vs2010中使用ConfigurationManager
- 《Microsoft Sql server 2008 Internals》读书笔记--第五章Table(6)