Hadoop配置和启动

Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实现分布式的计算。

Hadoop允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数千台机器，每个机器都提供本地计算和存储，而不是依靠硬件来提供高可用性。此外，Hadoop集群的高可用性也非常良好，因为框架内的机制是可以够自动检测和处理故障。

Hadoop的两个作用：

①存储海量数据

②计算海量数据

Hadoop配置及启动的准备工作:

启动一台虚拟机
通过远程工具登录操作虚拟机
切换到/home/software目录下,将hadoop2.7.1安装包上传到此目录下
将jdk安装包上传到/home/software目录下

Hadoop的配置和启动步骤(单一节点)

1.关闭防火墙

 #关闭防火墙命令systemctl stop firewalld.service#开机防火墙不启动systemctl disable firewalld.service

2.修改主机名

 #修改主机名vim /etc/hostname#文件里面只写hadoop01

3.配置ip与主机名的映射

 #修改映射的命令vim /etc/hosts#文件里面显示的内容(ip写自己本机的ip)#127.0.0.1  localhost#::1            localhost#192.168.64.211 hadoop01

4.配置免密钥登录,防止后续每次启动Hadoop都输入密码的麻烦

 #生成密钥----用默认的配置(直接按回车三次)ssh-keygen#把生成的密钥复制到本机ssh-copy-id root@hadoop01

5.安装和配置jdk

 #1.进入jdk的目录cd /home/software#2.解压jdk压缩包tar -xvf jdk-8u51-linux-x64.tar.gz#3.更改jdk文件名为jdk1.8mv jdk1.8.0_51 jdk1.8#3.1配置jdk的linux环境变量vim /etc/profile#3.2编辑文件的最后加jdk的环境变量JAVA_HOME=/home/software/jdk1.8CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME PATH CLASSPATH

6.解压hadoop安装包,并进行配置

 #进入hadoop的目录cd /home/software#解压hadoop安装包tar -xvf hadoop-2.7.1_64bit.tar.gz#解压成功后,删除hadoop的安装包rm -rf hadoop-2.7.1_64.bit.tar.gz#进入hadoop目录下cd /home/software/hadoop-2.7.1/etc/hadoop#编辑hadoop-env.sh文件vim hadoop-env.sh#更改环境变量:export JAVA_HOME=/home/software/jdk1.8export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop#让更改后的环境变量生效source hadoop-env.sh

7.编辑core-site.xml

 #进入core-site.xml文件vim core-site.xml#文件内配置的数据<configuration><!--用来指定hdfs的namenode的地址--><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><!--用来指定hadoop运行时产生文件的存放目录--><property><name>hadoop.tmp.dir</name><value>/home/software/hadoop-2.7.1/tmp</value></property></configuration>

7.编辑hdfs-site.xml

 #进入hdfs-site.xml文件vim hdfs-site.xml#文件内配置的数据<configuration><!--指定文件块副本数量为1,注意单机环境副本数量必须为1--><property><name>dfs.replication</name><value>1</value></property><!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property></configuration>

8.把文件mapred-site.xml.temlate重命名

 mv mapred-site.xml.template  mapred-site.xml

9.编辑mapred-site.xml

 #进入mapred-site.xml文件vim mapred-site.xml#文件内配置的数据<configuration><property><!--指定mapreduce运行在yarn上--><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

10.编辑yarn-site.xml文件

 #进入yarn-site.xml文件vim yarn-site.xml#文件内配置的数据<configuration><property><!--指定yarn的resoucemanager的地址--><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

11.编辑slaves文件

 #进入slaves文件vim  slaves#文件内配置的数据(指定hadoop的从属节点服务器)hadoop01

12.配置hadoop的环境变量

 #进入hadoop环境变量的配置文件vim /etc/profile#文件的最后配置的数据(hadoop的环境变量与jdk的环境变量合并了,注意)#java envHADOOP_HOME=/home/software/hadoop-2.7.1JAVA_HOME=/home/software/jdk1.8CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_HOME PATH CLASSPATH HADOOP_HOME

13.让更改的环境变量配置生效

 source /etc/profile

14.初始化namenode(第一次启动hadoop需要初始化namenode)

 hadoop namenode -format

15.启动hadoop

 #进入hadoop安装目录下的sbin目录cd /home/software/hadoop-2.7.1/sbin#运行启动hadoop命令sh start-all.sh#停止hadoop命令sh stop-all.sh

Hadoop配置和启动相关推荐

学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...
实验0-Hive配置与启动
实验0-Hive配置与启动实验目的掌握Hive配置与启动的方法. 实验内容预置环境:1.1.1 HDFS.1.1.2. zookeeper和1.1.3 yarn均正常启动. 将文件上传hdfs ...
Spark加载hadoop配置原理
0x0 背景最近为了将hadoop&hive的五大配置文件,即: core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hive ...
hadoop配置(个人总结)
实验机器: namenode: 192.168.120.63 - centos5 datanode: 192.168.120.64 -centos5 datanode: 192.168.120.65 ...
Hadoop集群启动、初体验
1．启动方式要启动Hadoop集群,需要启动HDFS和YARN两个集群. 注意:首次启动HDFS时,必须对其进行格式化操作.本质上是一些清理和准备工作,因为此时的HDFS在物理上还是不存在的. h ...
hadoop配置eclipse的开发环境
hadoop配置eclipse的开发环境一.前言由于大三学习需要,而且网上的教程都有点模糊,导致我走了不少弯路,因此我写下这篇博客,本文仅供参考,如果有不足之处,还望指出. 二.安装eclipse ...
Hadoop配置lzo
Hadoop配置lzo 编译部署参考:https://blog.csdn.net/weixin_40420525/article/details/84869883 一.编译: 0. 环境准备 mave ...
Hadoop配置—完全分布式
Hadoop分为三种配置模式:独立模式(standalone|local),伪分布模式(Pseudodistributed mode),完全分布式(full distributed) 说在前面工作环 ...
Hadoop配置总结(重置细节版)
Hadoop配置总结配置静态的的ip /*为什么我会先配置这个就是因为我安装的centos7的版本是没有ifconfig这个命令的所以只能先设置他的静态的ip地址才能链接远程所以我先配置这.*/ c ...
hadoop安装与启动
参考 Hadoop集群安装教程(完全分布模式)--更新中 - 成佛在西天 - 博客园 Hadoop3.3.1分布式集群搭建详细教程_忘三日的博客-CSDN博客_hadoop分布式集群搭建安装java ...

Hadoop配置和启动

Hadoop配置和启动相关推荐

最新文章

热门文章