hadoop 开启防火墙_Hadoop部署一Hadoop安装
哈喽,同学们好,继上篇文章《Hadoop部署一jdk与MySQL》,我们安装好了jdk以及MySQL。我们现在开始安装部署Hadoop,开启Hadoop之旅。
一、下载Hadoop安装包
Hadoop官网:http://hadoop.apache.org/我这里用的Hadoop版本下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/
二、解压Hadoop安装包(只在bigdata01做)
1、通过rz,把Hadoop安装包hadoop-3.3.0.tar.gz文件上传到bigdata01机器的/home/bigdata/install_pkg目录(为了方便,我们把安装包都放置同一个目录哈)。
2、执行解压缩命令:
tar -zxvf hadoop-3.3.0.tar.gz
3、把解压后的Hadoop目录,移动到安装目录/usr/local/soft目录下:
三、配置中Hadoop相关配置文件(只在bigdata01做)
1、在/usr/local/soft/hadoop-3.3.0目录下,配置jdk文件。
vi etc/hadoop/hadoop-env.sh
找到 “ export JAVA_HOME ” 这行,用来配置jdk路径,修改为:
export JAVA_HOME=/usr/local/soft/jdk1.8.0_161
2、在/usr/local/soft/hadoop-3.3.0目录下,配置core-site.xml文件。
vi etc/hadoop/core-site.xml
需要在和之间加入的代码:
<property> <name>fs.defaultFSname> <value>hdfs://bigdata01:9000value> property> <property> <name>hadoop.tmp.dirname> <value>/usr/local/soft/hadoop-3.3.0/hadoopdatavalue> property>
注意:hadoopdata目录需提前创建
3、在/usr/local/soft/hadoop-3.3.0目录下,配置hdfs-site.xml文件。
vi etc/hadoop/hdfs-site.xml
需要在和之间加入的代码:
<property> <name>dfs.replicationname> <value>3value> property>
4、在/usr/local/soft/hadoop-3.3.0目录下,配置yarn-site.xml文件。
vi etc/hadoop/yarn-site.xml
需要在和之间加入的代码:
<property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property> <property> <name>yarn.resourcemanager.addressname> <value>bigdata01:18040value> property> <property> <name>yarn.resourcemanager.scheduler.addressname> <value>bigdata01:18030value> property> <property> <name>yarn.resourcemanager.resource-tracker.addressname> <value>bigdata01:18025value> property> <property> <name>yarn.resourcemanager.admin.addressname> <value>bigdata01:18141value> property> <property> <name>yarn.resourcemanager.webapp.addressname> <value>bigdata01:18088value> property>
5、在/usr/local/soft/hadoop-3.3.0目录下,配置mapred-site.xml文件。
vi etc/hadoop/mapred-site.xml
需要在和之间加入的代码:
mapreduce.framework.name yarn
6、在/usr/local/soft/hadoop-3.3.0目录下,配置workers文件。workers文件给出了Hadoop集群的worker节点列表,该文件十分的重要,因为启动Hadoop的时候,系统总是根据当前workers文件中的worker节点名称列表启动集群,不在列表中的worker节点便不会被视为计算节点。
vi etc/hadoop/workers
添加bigdata02、bigdata03
注意:删除workers文件中原来localhost那一行!
7、复制Hadoop到其余两台机器
scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata02:/usr/local/soft
scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata03:/usr/local/soft
注意:因为权限问题,要在三台机器上修改一下文件的权限
sudo chmod 777 /usr/local/soft
四、Hadoop集群的启动
1、编辑.bash_profile文件(三台机器都做)
(1)vi ~/.bash_profile
(2)以下内容追加到文件的尾部:
#HADOOPexport HADOOP_HOME=/usr/local/soft/hadoop-3.3.0export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
(3)执行命令,使得配置生效:
source ~/.bash_profile
2、格式化文件系统(只在bigdata01做)
hadoop namenode -format
3、启动和关闭Hadoop集群(只在bigdata01做)
(1)进入/usr/local/soft/hadoop-3.3.0/sbin目录中:
cd /usr/local/soft/hadoop-3.3.0/sbin
(2)启动shell脚本:
start-all.sh
4、验证是否安装成功。
(1)在bigdata01,输入jps,出现
SecondaryNameNode、
ResourceManager、
Jps 、
NameNode
这四个进程,则表明主节点master启动成功:
(2)在bigdata02、bigdata03,输入jps,出现
NodeManager、
Jps 、
DataNode
这三个进程,则表明从节点(bigdata02、bigdata03)启动成功:
五、通过网页访问集群的状态
1、hdfs访问地址:http://192.168.211.128:9870
2、yarn访问地址:http://192.168.211.128:18088(18088端口,是因为我们在yarn-site.xml文件中,通过yarn.resourcemanager.webapp.address参数,修改了网页的默认地址)
ps:
倘若,页面无法访问,则尝试关闭虚拟机的防火墙,然后再次尝试一下:
systemctl status firewalld.service(查看状态)
systemctl stop firewalld.service(关闭防火墙)
同学们,经过上述操作后,我们Hadoop就配置好啦,下一期,我们开始讲一讲Hadoop的组件以及简单的开发,之后再逐渐安装hive、spark、hue等。
hadoop 开启防火墙_Hadoop部署一Hadoop安装相关推荐
- hadoop 开启防火墙_hadoop上搭建hive
环境 hadoop2.7.1+ubuntu 14.04hive 2.0.1集群环境namenode节点:master (hive服务端)datanode 节点:slave1,slave2(hive客户 ...
- hadoop是什么_Hadoop精华问答 | hadoop能干什么?
Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧. 1 Q:hadoop是什么 A:H ...
- Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
- flume java 安装部署_[Hadoop] Flume安装部署与简单使用
1. Flume Flume是一个分布式的日志收集框架,针对日志数据进行采集汇总,把日志从A地方搬运到B地方去. 使用场景: RDBMS ==> Sqoop ==> Hadoop 分散在各 ...
- Hadoop学习笔记——入门教程(虚拟机安装LinuxHadoop环境搭建配置)
文章目录 一.Hadoop安装配置文档及注意事项 二.Hadoop概述 2.1.Hadoop是什么 2.2.Hadoop的发展历史 2.3.Hadoop三大发行版本 2.3.1 Apache Hado ...
- Hadoop HA集群部署 - A - 详解
理论简介: HA 概念以及作用 HA(High Available), 高可用性群集,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点.通常把正在执行业务 ...
- hadoop和spark HA部署
hadoop和spark主备HA配置说明 1. 环境说明 集群中包括4个节点:2个Master(主备),2个Salve,节点之间局域网连接,可以相互ping通.节点IP地址分布如下: Hadoop ...
- Hadoop 部署之 Hadoop (三)
一.Hadoop 介绍 Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算. 1.HDFS 介绍 Hadoop ...
- 胖虎的Hadoop笔记——Hadoop的伪分布式部署
胖虎的Hadoop笔记--Hadoop的伪分布式部署 本博客用于Hadoop大数据企业课笔记记录.第三步 一.VMware安装和创建虚拟机 1.VMware安装 安装包下载:https://pan.b ...
最新文章
- 在任何设备上都完美呈现的30个华丽的响应式网站
- Varnish 4.0.3详细配置
- 监督学习无监督学习_无监督学习简介
- VS2005 ASP.NET2.0安装项目的制作(包括数据库创建、站点创建、IIS属性修改、Web.Config文件修改)
- Unicode简介【转】
- 又回来了~工作告一段落了,终于有时间看书写点东西了
- by mybatis 自定义order_MyBatis动态SQL实现ORDER BY和LIMIT的控制?
- 通过adb查看当前页面中显示的窗口Activity名称
- LCN根据官网改造本项目失败案例
- 手机可用熵_思想丨在商言“熵”
- 堆叠注入-强网杯2019随便注
- 多语言适配分享会演讲稿
- CQOI2020 退役记
- Windows 同时访问内网和外网解决方案
- nginx rewrite 配置说明与参数详解
- python期货程序化交易高手心得_位顶级高手谈期货心得
- 计算机在未来土木工程领域的作用,土木工程基础概论
- 阿里云软件著作权登记申请(详细流程)
- 明基逐鹿出席2016薪酬福利与激励创新论坛
- 小红书内容传播之品牌推广,干货分析
热门文章
- .net平台的rabbitmq使用封装
- JavaScript中的this用法
- HTML5 Boilerplate - 让页面有个好的开始
- Android Contextual Menus之二:contextual action mode
- 设计模式-工厂模式学习(初级)
- ubuntu12.04上安装flashcahce
- sql server 2008语言基础: 集合
- LeetCode 295. 数据流的中位数 Hard难度
- 马斯克:人脑“带宽”有限,需要用人工智能加持提高连接速度
- 交通运输部:春节期间小客车免收高速通行费