Hadoop单机配置

hadoop单机配置记录

1、配置环境
1)VMware虚拟机，centos7最小化安装

2、centos最小化安装默认不开启网络
   1)开启网络
   命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 #版本不同最后文件名略有不同
   修改最后一行ONBOOT=yes
   2)重启网络服务
   命令：service network restart
   3)查看ip
   命令：ip add

3、开启ssh服务
   命令：sudo service sshd start

   1)注：如果没有ssh请安装
   yum list installed | grep openssh-server
   参考：https://www.cnblogs.com/kinwing/p/11134179.html

4、配置免密
   1)ssh-keygen -t dsa -P ''
   2)cat ./.ssh/id_dsa.pub >> ./.ssh/authorized_keys

4、关闭防火墙
   1)查看防火墙状态：systemctl status firewalld.service
   2)关闭防火墙：systemctl stop firewalld.service
   3)设置开机不启动：systemctl disable firewalld.service

5、安装JDK配置环境变量
   1)解压java包 tar -zxvf ./OpenJDK11U-jdk_x64_linux_openj9_linuxXL_11.0.10_9_openj9-0.24.0.tar.gz
   2)vi /etc/profile
   3)JAVA_HOME JRE_HOME CLASSPATH PATH 的配置
       export JAVA_HOME=/usr/jdk-11.0.10+9
       export JRE_HOME=/usr/jdk-11.0.10+9
       export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
       export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
   4)编辑完之后，执行命令 source /etc/profile 使配置生效
   5)输入命令：java -version 查看刚刚的JDK配置是否生效

5、安装配置hadoop文件
   1)解压hadoop包:tar -zxvf ./hadoop-3.2.2.tar.gz
   2)添加环境变量:
       export HADOOP_HOME=/usr//usr/hadoop-3.2.2
       export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
       export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
       export PATH=$PATH:$HADOOP_HOME/bin
   3)在root下创建文件夹，（测试环境用的root用户，偷懒了）
       mkdir /root/hadoop
       mkdir /root/hadoop/tmp
       mkdir /root/hadoop/var
       mkdir /root/hadoop/dfs
       mkdir /root/hadoop/dfs/name
       mkdir /root/hadoop/dfs/data
   4)修改 core-site.xml
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/root/hadoop/tmp</value>
           <description>Abase for other temporary directories.</description>
       </property>
           <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
       </property>
   5)修改 hadoop-env.sh
       执行命令 vi hadoop-env.sh，将${JAVA_HOME} 修改为自己的JDK路径
       export JAVA_HOME=/usr/jdk-11.0.10+9
   6)修改 hdfs-site.xml
       <property>
           <name>dfs.name.dir</name>
           <value>/root/hadoop/dfs/name</value>
           <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
       </property>
       <property>
           <name>dfs.data.dir</name>
           <value>/root/hadoop/dfs/data</value>
           <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
       </property>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.permissions</name>
           <value>false</value>
           <description>need not permissions</description>
       </property>
   7)修改 mapred-site.xml
       <property>
           <name>mapred.job.tracker</name>
           <value>localhaost:9001</value>
       </property>
       <property>
           <name>mapred.local.dir</name>
           <value>/root/hadoop/var</value>
       </property>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   8)到此处Hadoop的单机模式配置就完成了

6、启动验证服务
   1)执行命令 ./bin/hadoop namenode -format ，初始化hadoop
   2)修改 ./sbin/start-dfs.sh
       在前面添加如下代码
       HDFS_DATANODE_USER=root
       HADOOP_SECURE_DN_USER=hdfs
       HDFS_NAMENODE_USER=root
       HDFS_SECONDARYNAMENODE_USER=root
   3)修改 ./sbin/start-yarn.sh
       在前面添加如下代码
       YARN_RESOURCEMANAGER_USER=root
       HADOOP_SECURE_DN_USER=yarn
       YARN_NODEMANAGER_USER=root

   4)启动服务
       ./sbin/start-all

   5)执行命令jps查看目前启动的进程
   6)网页验证服务是否清单
       http://localhost:8088/cluster
       http://localhost:9870/

****************************完****************************

Hadoop单机配置相关推荐

hadoop单机配置(非分布式)
1.1 环境使用deepin系统.Hadoop3.1.3和Java环境jdk-8u162-linux-x64.tar.gz. https://pan.baidu.com/s/1K1U1dypbgJe ...
Hadoop学习篇(一)——初识Hadoop Hadoop单机配置
Hadoop学习篇(一) 本文档适用于Hadoop开发学习者使用说明:如涉及到侵权,请及时联系我,并在第一时间删除文章. Hadoop简介:Hadoop是一个由Apache基金会所开发的分布式系统基 ...
Ubuntu 14.04 hadoop单机安装
2019独角兽企业重金招聘Python工程师标准>>> 摘要自:http://www.powerxing.com/install-hadoop/ wget http://mirror ...
Hadoop 单机与完全分布式配置
Hadoop 单机模式安装配置 • Hadoop 的单机模式安装非常简单,只需要配置好环境变量即可运行,这个模式一般用来学习和测试hadoop 的功能. 1.获取软件 http://hadoop.ap ...
Hadoop单机环境配置
http://www.csdn.net/article/2010-11-28/282615 关于Hbase的介绍,可以参见http://wiki.apache.org/hadoop/Hbase与htt ...
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法
Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法环境说明系统:ubuntu18.04 主机名:test1 用 ...
Hadoop安装配置,并使用Hadoop计算圆周率测试Hadoop是否安装成功
一.实验目的掌握如何安装.配置和运行Hadoop,并使用Hadoop计算圆周率测试Hadoop是否安装成功. 二.实验环境 (1)Linux Ubuntu 16.04 (2)jdk-8u162-li ...
hadoop 单机单间_初学Hadoop之单机模式环境搭建
本文仅作为学习笔记,供大家初学Hadoop时学习参考.初学Hadoop,欢迎有经验的朋友进行指导与交流! 1.安装CentOS7 准备 CentOS系统镜像CentOS-7.0-1406-x86_64 ...
【云计算平台】Hadoop单机模式环境搭建
Centos7环境 – Hadoop单机模式部署正文开始@Assassin 目录: Centos7环境 -- Hadoop单机模式部署 1. Hadoop介绍: 2. Hadoop发展史及生态圈: ...
Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...

Hadoop单机配置

Hadoop单机配置相关推荐

最新文章

热门文章