hadoop2.8配置_Hadoop 2.8集群安装及配置记录
第一部分:环境配置(含操作系统、防火墙、SSH、JAVA安装等)
Hadoop 2.8集群安装模拟环境为:
主机:Hostname:Hadoop-host,IP:10.10.11.225
节点1:Hostname:Hadoopnode1,IP:10.10.11.254
两台机器均为Centos 7.*,64位版本。
主机操作系统安装时采用界面化形式,节点1采用最小化安装。安装完成后,首先设置机器名称并设置固定IP,方法如下:
1.修改主机名:
修改/etc/host、hostname文件,注意请在host文件中一并添加hadoopnode1机器的IP地址。
10.10.11.225 Hadoop-host10.10.11.254hadoopnode1
::1 localhost
2.修改IP为固定IP方法:
修改网络配置文件:/etc/sysconfig/network-scripts/ifcfg-eno16777736的内容,最终如下:
最难的是DNS的设置,刚开始在网上找了很多资料,都说是设置为虚拟机的网关即可,设置后发现主机与节点计算机之间可以Ping通,但是无法上网。几经周折,后发现网络配置页面里面明明写着DNS地址,于是抄过来,按其修改后保存后一切正常。
3.SSH面密码登录设置
首先生成rsa密匙与公匙,ssh-keygen -t rsa,一路回车后生成。然后利用命令:ssh-copy-id -i ~/.ssh/id_rsa.pub root@10.10.11.254,然后输入密码后搞定。
备注:如果执行以上命令时遇到以下错误:
The authenticity of host 192.168.***.*** can't be established.可运行命令:ssh -o StrictHostKeyChecking=no 192.168.***.***,然后输入密码解决。
4.升级java openjdk。
centos 7.*系统版本自带openjdk,因为懒得缘故,本人想利用openjdk,这样就不用安装java jdk了。在此,用命令:yum install java,升级openjdk。升级完后,通过查询得知,openjdk的安装路径默认为:usr/lib/jvm/,根据此路径,设置系统的全局变量JAVA_HOME。打开文件/etc/profile,并在文件最后添加:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-2.b11.el7_3.x86_64/jre
export PATH=$JAVA_HOME/bin:$PATH
注意,全局变量中的路径中是到bin文件夹上级目录位置,因此,路径最终必须为****/jre.
第二部分:安装并配置Hadoop 2.8
本人比较喜欢wget方式,找一个国内的Hadoop镜像站点,下载后,解压到指定目录(本示例解压到:/usr/hadoop),然后打开文件/etc/profile,并在文件最后添加:
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
保存并退出。
配置/usr/hadoop/etc/hadoop/文件夹下的各个配置文件,分别为:
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<final>true</final>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://10.10.11.225:9000</value>
<!-- hdfs://Master.Hadoop:22-->
<final>true</final>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>
hdfs-site.xml
dfs.replication
2
dfs.name.dir
/usr/local/hadoop/hdfs/name
dfs.data.dir
/usr/local/hadoop/hdfs/data
dfs.namenode.secondary.http-address
hadoop-host:9001
dfs.webhdfs.enabled
true
dfs.permissions
false
mapred-site.xml
mapreduce.framework.name
yarn
yarn-site.xml
yarn.resourcemanager.address
hadoop-host:18040
yarn.resourcemanager.scheduler.address
hadoop-host:18030
yarn.resourcemanager.webapp.address
hadoop-host:18088
yarn.resourcemanager.resource-tracker.address
hadoop-host:18025
yarn.resourcemanager.admin.address
hadoop-host:18141
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-2.b11.el7_3.x86_64/jre
即与系统的环境变量JAVA_HOME保持一致。
设置关键的分布式IP地址配置:(补充:只配置slaves文件也可以)
masters文件:
10.10.11.225
slaves文件:
10.10.11.254
10.10.11.225
如果在slaves文件里面没有包含Hadoop主机IP,那么启动时会只有一个datanode.
至此Hadoop配置工作告一段落。
最后,利用命令:scp –r /usr/hadoop root@hadoopnode1 :/usr/,将hadoop配置分发至hadoopnode1节点计算机。
第三部分:运行及结果
首先使用命令:hadoop namenode -format,格式化namenode,否则会报:Call From ****/**** to ****:9000 failed on connection exception: java.net.ConnectException: 拒绝连接;错误。
然后运行Hadoop启动命令:
start-all.sh
然后通过命令:hadoop dfsadmin -report可以查看节点情况,本示例为2个datanode,因此结果为:
由上图可以看出,有2个活跃的datanode节点。
通过网址查看整体运行情况:
如果出现节点无法连接情况,很可能是防火墙忘记关了。可采用命令:systemctl stop firewalld.service来关闭,还可以通过命令:system disable firewalld.service来禁止防火墙随开机启动。
总结:Hadoop 2.8本身的配置不算复杂,重点在于Centos 7.*系统环境的各种配置。Centos 7的命令较以前的版本发生了变化,网上资料要么都是以前版本的,无法直接应用,要么就是针对7.*版本的资料很少。这时需要认真分析,仔细排查,找出问题,这样才能逐步掌握配置方法。另外,刚开始学习时,由于缺乏积累,出现几次配置失败是很稀松平常的,这时候千万要抵住压力与挫折,在学习过程中一定要保持足够的耐心,不能因为一点点的挫折而放弃学习新环境的机会。拿自己来说,自己经过几次的配置,满以为总算能成功了,没想到在运行时却发现结果不对,当时差点就放弃了,还好最终时刻通过排查防火墙,发现并解决了问题,出现了预期结果。总之,耐心与细心缺一不可。
hadoop2.8配置_Hadoop 2.8集群安装及配置记录相关推荐
- Hadoop集群安装及其配置(三台虚拟机)
Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机 利用cat查看配置文件 修改主机名称 配置IP映射 配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...
- 基于zookeeper(集群)+LevelDB的ActiveMq高可用集群安装、配置、测试
Linux 环境 zookeeper集群安装.配置.测试https://blog.csdn.net/weixin_40816738/article/details/100576259 MQ集群部署规划 ...
- 【ZooKeeper】集群安装与配置
单机模式 下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg: tickTime=2000 dataDir=/Users/app ...
- ActiveMQ — 集群 — 安装与配置
2019独角兽企业重金招聘Python工程师标准>>> 1. 服务器配置 推荐集群的数量为基数,并且在这些机器上安装JDK,配置环境变量. 2. 集群方式 常用的集群方式有三种: 基 ...
- KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
- Hadoop集群安装与配置
转载自Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Had ...
- zookeeper集群安装和配置解读 - 雨中散步撒哈拉
一.集群安装 0.环境准备 1.下载好的zk进行解压 2.创建数据和日志目录 3.修改配置 4.分发到集群节点 5.分别添加id 6.添加环境变量 二.集群常用命令 2.2.1 启动客户端 2.2.2 ...
- MongoDB的集群安装搭建配置
1. MongoDB介绍 1.1.MongoDB 简介 MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统.具有以下特点: 面向集合文档型存储,易于存储对象类型的数据, 以 ...
- FastDFS分布式文件系统集群安装与配置
原文链接:http://blog.csdn.net/xyang81/article/details/52928230 FastDFS集群规划 跟踪服务器负载均衡节点1:192.168.1.206 df ...
最新文章
- C# 系统应用之清空回收站操作
- 【C++学习之路】第一章——C++核心方法总论
- vue 输入框获取焦点
- 简单实践GraphEmbedding图嵌入的几种方法
- java 骗局_Java有陷阱,用时需谨慎——慎用入参做返回值
- 树链剖分+线段树 CF 593D Happy Tree Party(快乐树聚会)
- http重定向到https
- Invalid prop: type check failed for prop “index“. Expected String with value “145“...
- 史上最全的HTML、CSS知识点总结,浅显易懂。
- bcrypt加密工具
- golang 同一个包下不同文件之间函数调用问题
- ubuntu - sudo file 编辑报错 sudo: no valid sudoers sources found, quitting
- 进程控制-创建、退出、等待、替换
- SpringMVC-自定义类型转换器
- 图片格式及其内存占用
- sqlserver查询今日和昨日数据
- 具有手摇柴油机带动的油泵和空压机带动的柴油喷嘴的涡轮喷气式飞机
- 【从零开始的Java开发】1-4-3 多态:概念、实现、向上转型、向下转型、instanceof、类型转换、抽象类、抽象方法
- 【UE4源代码观察】学习队列模板TQueue
- 京东 9.17笔试题 Java
热门文章
- lol老是闪退到桌面_lol闪退到桌面怎么解决
- matlab示波器图形导出,(最新整理)Matlab-simulink示波器图形保存
- 苹果电脑(mac)的快捷键大全
- python显示文件夹图片_python遍列目录搜索文件夹及子文件夹图片文件
- php中控制段落的行距,CSS段落间距调整 P标签段落距离如何设置
- python分析红楼梦中人物形象_红楼梦中的人物形象及其性格特点
- word保存html格式批注没有了,word批注框里字体消失的解决办法
- java学习第二周周记
- 在国企的日子(第三章中部 出差)
- 关于GPL协议的理解(开源与商用、免费与收费)