Linux搭建hadoop环境

1.查看Linux系统上是否装有Java环境

java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径

2.下载hadoop安装包

http://hadoop.apache.org/

1）图一：点击download

2）图二：选择对应版本点击source

3）图三：点击链接进行下载

3.将下载的包上传到Linux系统，解压到指定的目录

 tar -zxvf aaa.tar.gz -C /tmp/

4.修改配置文件

注意
配置文件所在位置：/root/hadoop-2.10.1/etc/hadoop（具体位置根据你解压的位置去找,我的是在根目录下直接解压的）

1）hadoop-env.sh配置

找到export JAVA_HOME，将自己的jdk路径粘贴进去

2）core-site.xml配置

<configuration><property><name>hadoop.tmp.dir</name><value>file:/root/hadoop-2.10.1/tmp</value><description>路径根据自己的实际位置去修改</description></property><property><name>fs.defaultFS</name><value>hdfs://0.0.0.0:9000</value></property><property><name>hadoop.logfile.size</name><value>10000000</value><description>每个日志文件的最大值，单位：bytes </description></property><property><name>hadoop.logfile.count</name><value>10</value><description>日志文件的最大数量</description></property>
</configuration>

3）hdfs-site.xml配置

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/root/hadoop-2.10.1/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/root/hadoop-2.10.1/tmp/dfs/data</value></property>
</configuration>

4）profile配置（路径：/etc）

HADOOP_HOME=/root/hadoop-2.10.1
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

修改完profile文件后，使用hadoop version命令出现该截图，则配置成功

4.格式化HDFS以及启动HADOOP

格式化hdfs:

hdfs namenode -format

启动HADOOP：// 这里可能需要输入三次linux系统密码

./sbin/start.all.sh

5.查看

jps命令查看是否启动成功，成功截图如下，这三个缺一不可
如果使用jps命令，出现上面的截图，那么已经成功搭建了hadoop环境

【hadoop环境搭建】相关推荐

Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录安装三台 CentOS 7系统一.X-Shell的准备工作二.基本工具安装三.关闭防火墙四.修改Host文件五.3.4.4 ...
Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录前言一.Hadoop的三种运行环境二.集群规划三.需要的基本软件安装下期见前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
Hadoop环境搭建(二)CentOS7的下载与安装
Hadoop环境搭建(一) VMware Workstation安装与网络配置 1. CentOS7的下载 https://wiki.centos.org/Download 2. CentOS7安 ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳原文: 史上最详细的Hadoop环境搭建关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
hadoop环境搭建（详解）
hadoop 环境搭建引言: 随着人工智能和大数据的热潮的到来,大数据变得越来越火了,坏蛋哥的信念就是致力于大数据的发展和进步,希望能为大数据的发展和推广尽一份绵薄之力.如果要做大数据,那么大数据相 ...
Spark Hadoop 环境搭建http://www.jianshu.com/p/5b1eafdf34a9
Spark Hadoop 环境搭建链接地址:http://www.jianshu.com/p/5b1eafdf34a9 来源:简书博文内容与结构: 1.介绍了搭建大数据框架的文件和步骤; 2.包括 ...
Hadoop环境搭建之zookeeper安装
Hadoop环境搭建一.预备知识 1.大数据导论 1.1 大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决 ...
Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
Hadoop+hive+flask+echarts大数据可视化项目(二) --------------系统数据整合和hadoop环境搭建---------------- 关注Hadoop+Hive+F ...
Hadoop环境搭建及常见问题解决（保姆级教程）
Hadoop环境搭建及常见问题解决零.资源准备一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...

【hadoop环境搭建】