超图大数据环境搭建之单机版hadoop搭建

2024-04-14 14:39:07

1 准备

1.1 软件版本
hadoop2.7.3

1.2 绑定 IP 和修改计算机名
1.2.1 修改/etc/hosts,添加 IP 绑定

1.2.2 修改/etc/hostname,为绑定计算机名。（计算机名和上面 hosts 绑定名必须一致）

1.3 JDK 安装
下载jdk1.8软件包，放到/opt 下解压
1.3.1 将 JDK 环境变量配置到/etc/profile 中
export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
export CLASSPATH=$ JAVA_HOME/lib:$ JRE_HOME/lib
export PATH=$ JAVA_HOME/bin:$ PATH
1.3.2 检查 JDK 是否配置好
source /etc/profile
java -version

2 Hadoop 部署

2.1 Hadoop 安装
解压 hadoop2.7.3软件包，并在主目录下创建 tmp、dfs、dfs/name、dfs/node、dfs/data

2.2 Hadoop 配置
以下操作都在 hadoop-2.7.3/etc/hadoop 下进行
2.2.1 编辑 hadoop-env.sh 文件，修改 JAVA_HOME 配置项为 JDK 安装目录
export JAVA_HOME=/opt/jdk
2.2.2 编辑 core-site.xml 文件，添加以下内容，其中 master 为计算机名，/opt/hadoop-2.7.3/tmp 为手动创建的目录

2.2.3 编辑hdfs-site.xml文件，添加以下内容其中master为计算机名，file:/opt/hadoop-2.7.3/dfs/name和file:/opt/hadoop2.7.3/dfs/data 为手动创建目录

2.2.4 将mapred-site.xml.template重命名为mapred-site.xml，编辑mapred-site.xml文件，添加以下内容其中master为计算机名

2.2.5 编辑yarn-site.xml文件，添加以下内容其中master为计算机名

2.2.6 修改slaves文件

2.3 Hadoop启动
2.3.1. 格式化一个新的文件系统，进入到hadoop-2.7.3/bin下执行：
./hadoop namenode -format
2.3.2. 启动hadoop，进入到hadoop-2.7.3/sbin下执行：
./start-all.sh
2.3.3. 打开浏览器输入ip:50070能访问则搭建成功

超图大数据环境搭建之单机版hadoop搭建相关推荐

Hbase集群搭建二（Hadoop搭建）
服务器准备:下述内容绑定 /etc/hosts 10.110.110.10 master 10.110.110.11 slave1 10.110.110.12 slave2 操作用户准备:hbase ...
[转]大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
好程序员大数据笔记之：Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
从搭建大数据环境说起，到执行WordCount所遇到的坑
从搭建大数据环境说起,到执行WordCount所遇到的坑文章目录从搭建大数据环境说起,到执行WordCount所遇到的坑背景说明基于`docker compose`的大数据环境搭建 docke ...
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析⑤
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"大数据环境搭建与数据采集技能线上专题赛--满分解析系列的第⑤期, ...
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析③
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"大数据环境搭建与数据采集技能线上专题赛--满分解析系列的第③期, ...
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析②
大家好,喜欢Bigdata的阿尼亚来了!希望大家会喜欢阿尼亚的文章!!哇酷哇酷!!! 本次为师傅们带来的是"红亚杯"大数据环境搭建与数据采集技能线上专题赛--满分解析系列的第②期, ...
Docker 搭建的大数据环境
Docker 搭建的大数据环境,一键启停代码未动,环境先行我是一个Docker爱好者.我在学习大数据相关技术的时候,想到了一个点子: 用docker搭建一个大数据开发环境! 这么做有什么好处呢 ? ...
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
大数据学习系列之八----- Hadoop.Spark.HBase.Hive搭建环境遇到的错误以及解决方法参考文章: (1)大数据学习系列之八----- Hadoop.Spark.HBase.Hiv ...

最新文章

热门文章