Hadoop安装(二) --- Hadoop安装

修改hadoop313的权限

更改配置文件

配置core-site.xml

配置hadoop-env.sh

配置hdfs-site.xml

配置mapred-site.xml

配置yarn-site.xml

配置环境

刷新当前的shell环境

初始化

启动所有 SH

接上一篇 Hadoop安装(一) --- JDK安装

修改hadoop313的权限

在/opt目录下，将hadoop目录下的所有权限更改

chown -R root:root ./hadoop313/

更改配置文件

（注意更改配置文件里面有些名字需要改）

切换到opt/soft/hadoop313/etc/hadoop目录下面

在此目录下新建一个文件夹data,作为namenode上本地的hadoop临时文件夹

配置core-site.xml

vim ./core-site.xml

 <configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop313/data</value><description>namenode上本地的hadoop临时文件夹</description></property><property><name>hadoop.http.staticuser.user</name><value>root</value></property><property><name>io.file.buffer.size</name><value>131072</value><description>读写队列缓存：128k</description></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property></configuration>

配置hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/opt/soft/jdk180

配置hdfs-site.xml

vim hdfs-site.xml

 <configuration><property><name>dfs.replication</name><value>1</value><description>hadoop中每一个block文件的备份数量</description></property><property><name>dfs.namenode.name.dir</name><value>/opt/soft/hadoop313/data/dfs/name</value><description>namenode上存储hdfsq名字空间元数据的目录</description></property><property><name>dfs.datanode.data.dir</name><value>/opt/soft/hadoop313/data/dfs/data</value><description>datanode上数据块的物理存储位置目录</description></property><property><name>dfs.permissions.enabled</name><value>false</value><description>关闭权限验证</description></property>
</configuration>

配置mapred-site.xml

vim mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>job执行框架：local,classic or yarn</description><final>true</final></property><property><name>mapreduce.application.classpath</name><value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*
</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property><property><name>mapreduce.map.memory.mb</name><value>1024</value></property><property><name>mapreduce.reduce.memory.mb</name><value>1024</value></property>
</configuration>

配置yarn-site.xml

vim yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.connect.retry-interval.ms</name><value>20000</value></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value></property><property><name>yarn.nodemanager.localizer.address</name><value>hadoop1:8040</value></property><property><name>yarn.nodemanager.address</name><value>hadoop1:8050</value></property><property><name>yarn.nodemanager.webapp.address</name><value>hadoop1:8042</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.local-dirs</name><value>/opt/soft/hadoop313/yarndata/yarn</value></property><property><name>yarn.nodemanager.log-dirs</name><value>/opt/soft/hadoop313/yarndata/log</value></property>
</configuration>

配置环境

vim /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

配置完成之后

刷新当前的shell环境

source /etc/profile

初始化

hdfs namenode -format

启动所有 SH

start-all.sh

输入jps，出来以下结果则启动成功

输入IP：9870访问网站会出来下面页面

例如：192.168.111.111：9870

Hadoop安装(二) --- Hadoop安装相关推荐

Hadoop教程(二)Hadoop伪集群环境安装
Hadoop教程(二)Hadoop伪集群环境安装本文链接:https://blog.csdn.net/yuan_xw/article/details/50039325 Hadoop教程(二)Hado ...
hadoop基础----hadoop实战(二)-----hadoop操作hdfs---hdfs文件系统常用命令
我们在前面已经介绍过了 hadoop 1.0是由2大部分组成的: hdfs + mapreduce 也对hdfs做了相关介绍. hadoop基础----hadoop理论(三)-----hadoop分布 ...
mysql hive 安装配置_hive 安装配置部署与测试
系统初始化 mysql5.6 的安装配置 hive 的安装配置处理一: 系统环境初始化 1.1 系统环境: CentOS6.4x64 安装好的hadoop伪分布环境所需软件包: apache-hi ...
Linux7/Redhat7/Centos7 安装Oracle 12C_安装Oracle软件_04
文章目录一.安装准备 1. 下载oracle12c 2. 上传oracle12c 3. 赋予权限 4. vnc远程连接主机 5. 解压 5. 安装二.安装流程 2.1. 邮箱设置 2.2. 只安装 ...
在ubuntu中安装单机Hadoop（二）
接着上一篇 " 在ubuntu中安装单机Hadoop(一)" 继续记录在Ubuntu上安装Hadoop: 额,一共是以下几步: 1. 在Ubuntu中,建立hadoop用户组和用 ...
hadoop 2.4.1 集群安装二
1:创建目录 [jifeng@feng01 hadoop]$ mkdir tmp [jifeng@feng01 hadoop]$ mkdir name [jifeng@feng01 hadoop]$ ...
Linux中安装配置hadoop集群
原文:http://www.cnblogs.com/lijingchn/p/5574476.html 一. 简介参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把 ...
hadoop 1.2.1 安装步骤伪分布式
最近在系统的学习hadoop 课程第一步是安装hadoop1.x,具体安装步骤如下: 一.系统安装本文使用centos6.5安装,具体安装步骤省略二.jdk安装下载jdk1.7.0_51解压,在 ...
win10安装java+hadoop+spark
目录前言 Java安装方法一方法二测试 hadoop安装下载配置环境变量 Scala安装下载配置环境变量测试 Spark安装方法一方法二两种方法的区别说明: 前言操作系统w ...

Hadoop安装(二) --- Hadoop安装

修改hadoop313的权限

更改配置文件

配置core-site.xml

配置hadoop-env.sh

配置hdfs-site.xml

配置mapred-site.xml

配置yarn-site.xml

配置环境

刷新当前的shell环境

初始化

启动所有 SH

Hadoop安装(二) --- Hadoop安装相关推荐

最新文章

热门文章