简要描述如何安装配置apache的一个开源Hadoop

title: ‘’‘简要描述如何安装配置apache的一个开源Hadoop’’’
date: 2020-05-14 10:54:44
tags:

1）使用 root 用户登录

2）修改 IP

【ifconfig -a】

【vim /etc/sysconfig/network-scripts/ifcfg-etho】

3）修改 host 主机名

【hostname】
【vim /etc/sysconfig/network】

【vim /etc/host】

4）配置 SSH 免密码登录

【ssh localhost】
【cd ~/.ssh/】
【ssh-keygen -t rsa】会有提示，都按回车
【cat ./id_rsa.pub >> ./authorized_keys】

5）关闭防火墙

查询防火墙状态：【service iptables status】
关闭防火墙：【service iptables stop】

6）安装 JDK 7）解压 hadoop 安装包

①在/opt目录下创建module 跟 software 文件夹
【cd /opt】
【mkdir module】
【mkdir software】
②将JDK跟 hadoop 安装包拖进 software 文件夹（Xftp、 SecureFX、配置共享文件夹等）

③解压安装文件到/opt/module/
【tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/】
【tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/】

8）配置 hadoop 的核心文件 hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

窍诀：遇到env就是JAVAHOME窍诀：遇到 env 就是 JAVA_HOME 窍诀：遇到env就是JAVAHOME

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml】

<!-- 指定HDFS中NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://B0:9000</value></property><!-- 指定Hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value></property>

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh】

export JAVA_HOME=/opt/module/jdk1.8.0_144

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml】

<!-- 指定HDFS副本的数量 --><property>  <name>dfs.replication</name>   <value>1</value></property>

对mapred-site.xml.template重新命名为 mapred-site.xml：【mv mapred-site.xml.template mapred-site.xml】

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml】

<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>B1:10020</value></property><!-- 历史服务器web端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>B1:19888</value></property>

9）配置 hadoop 环境变量

④打开/etc/profile文件，文件末尾添加JDK及HADOOP路径

#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-2.7.2export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效：【source /etc/profile】

测试JDK安装成功：【java -version】

测试HADOOP安装成功：【hadoop version】

10）格式化 hadoop namenode-format

【bin/hdfs namenode -format】

11）启动节点 start-all.sh

【sbin/start-all.sh】