Hadoop环境搭建(单机)
一、环境准备
操作系统:CentOS-6.5-x86_64-minimal.iso
安装包:
百度云:
系统安装,和静态ip配置,和实现SSH免密登录示例,看前面的文章:
https://blog.csdn.net/xingkongtianma01/article/category/7680374
https://blog.csdn.net/xingkongtianma01/article/category/7680389
关闭防火墙:
先执行 命令: service iptables stop (临时生效)
再执行 命令:chkconfig iptables off (永久生效)
(如果不关闭防火墙,就需要 多次开放专用的端口,配置文件:/etc/sysconfig/iptables )
为了方便管理,更改下主机名HOSTNAME,可以不改(主机名称更改之后,要重启(reboot)才会生效)
改完主机名之后,要添加IP和主机名的映射关系(如果在配置文件中使用主机名,映射必须有)
二、服务器配置
1.在/usr目录下创建安装包存放目录
2.将jdk和hadoop 的安装包 导入进来
3.安装JDK:
输入命令:java -version,查看是否安装了JDK,如果安装了,但版本不适合的话,需要先卸载,再执行命令(rpm -ivh jdk-8u51-linux-x64.rpm),安装我们的JDK
4.配置环境变量:
执行如下命令:
在最后位置添加 JAVA_HOME JRE_HOME CLASSPATH PATH 的配置
export JAVA_HOME=/usr/java/jdk1.8.0_51/
export JRE_HOME=/usr/java/jdk1.8.0_51//jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export PATH
编辑完之后,执行命令 source /etc/profile 使配置生效
输入命令:java -version 查看刚刚的JDK配置是否生效
5.1 安装HADOOP:
解压hadoop的安装包
创建一个hadoop文件夹
将刚刚解压的hadoop安装文件夹移动到hadoop文件夹中并重命名
再执行如下命令:
在最后位置添加 HADOOP 的相关配置
export HADOOP_HOME=/usr/soft2019/hadoop/hadoop3.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"PATH=$PATH:$HADOOP_HOME/bin
export PATH
编辑完之后,执行命令 source /etc/profile 使配置生效
5.2 在root目录下建立一些文件夹
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
6.1 切换到 /usr/soft2019/hadoop/hadoop3.1/etc/hadoop/
6.2 修改 core-site.xml
执行命令 vi core-site.xml,在<configuration>
添加
<property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.default.name</name><value>hdfs://nodeHa:9000</value></property>
nodeHa就是我们前面配置的HOSTNAME
6.3 修改 hadoop-env.sh
执行命令 vi hadoop-env.sh,将${JAVA_HOME}
修改为自己的JDK路径
6.4 修改 hdfs-site.xml
执行命令 vi hdfs-site.xml,在<configuration>
添加
<property><name>dfs.name.dir</name><value>/root/hadoop/dfs/name</value><description>Path on the local filesystem where theNameNode stores the namesp
ace and transactions logs persistently.</description>
</property>
<property><name>dfs.data.dir</name><value>/root/hadoop/dfs/data</value><description>Comma separated list of paths on the localfilesystem of a DataNo
de where it should store its blocks.</description>
</property>
<property><name>dfs.replication</name><value>2</value>
</property>
<property><name>dfs.permissions</name><value>false</value><description>need not permissions</description>
</property>
6.5 修改 mapred-site.xml
执行命令 vi mapred-site.xml,在<configuration>
添加
<property><name>mapred.job.tracker</name><value>nodeHa:9001</value>
</property>
<property><name>mapred.local.dir</name><value>/root/hadoop/var</value>
</property>
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
到此 Hadoop 的单机模式的配置就完成了。
7.1 切换到 /usr/soft2019/hadoop/hadoop3.1/bin/
执行命令 ./hadoop namenode -format ,初始化hadoop
7.2 执行命令 jps 查看目前启动的进程
未启动hadoop,所以没有hadoop相关的进程
8.1 切换到 /usr/soft2019/hadoop/hadoop3.1/sbin/
8.2 修改 start-dfs.sh
执行命令 vi start-dfs.sh,在前面 添加如下代码
、
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
执行命令 ./start-dfs.sh 启动HDFS
8.3 修改 start-yarn.sh
执行命令 vi start-yarn.sh,在前面 添加如下代码
执行命令 ./start-yarn.sh 启动YARN
(或者不执行 ./start-dfs.sh 和 ./start-yarn.sh 命令,而是直接执行命令 ./start-all.sh 一次性启动多个hadoop相关的进程)
8.4 执行命令 jps 查看目前启动的进程
8.5 在浏览器中输入 http://192.168.1.77:8088/cluster
8.6 在浏览器中输入 http://192.168.1.77:9870
到此。hadoop单机环境搭建就完成了。看似简单,但实际配置起来还是要认真仔细。勤能补拙是良训,我们一起加油!
Hadoop环境搭建(单机)相关推荐
- Hadoop环境搭建-单机、伪分布式、完全分布式
目录 一.单机安装 二.伪分布式环境搭建 配置SSH免密登录 三.完全分布式环境搭建 设置免密 修改配置文件 本文的所有配置文件,除注释部分都可直接复制粘贴.因为本文的配置文件的语言语法采用的是HTM ...
- 大数据实训笔记1:hadoop环境搭建及单机模式
必备环境 VMware Centos 7 SwitchHosts!(可以不用) SecureCRT hadoop-3.1.3.tar jdk-8u212-linux-x64.tar hadoop环境搭 ...
- Hadoop环境搭建教学(一)运行环境,集群规划介绍;
文章目录 前言 一.Hadoop的三种运行环境 二.集群规划 三.需要的基本软件安装 下期见 前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
- hbase_学习_01_HBase环境搭建(单机)
一.前言 本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机) ,主要是搭建HBase的单机环境 二.环境准备 1.说明 hbase 的下载来源有: 官方版本:http://arc ...
- Hadoop环境搭建及常见问题解决(保姆级教程)
Hadoop环境搭建及常见问题解决 零.资源准备 一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...
- 从 Linux 安装到 Hadoop 环境搭建全过程
Hadoop 环境搭建 从 Linux 的最小化安装到 Hadoop 环境的搭建,尽可能详尽介绍每个步骤. 文章目录 Hadoop 环境搭建 环境准备 安装 CentOS 7 配置 yum 源 安装 ...
- Hadoop环境搭建教学(二)完全分布式集群搭建;
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录 安装三台 CentOS 7系统 一.X-Shell的准备工作 二.基本工具安装 三.关闭防火墙 四.修改Host文件 五.3.4.4 ...
- Hadoop环境搭建(二)CentOS7的下载与安装
Hadoop环境搭建(一) VMware Workstation安装 与 网络配置 1. CentOS7的下载 https://wiki.centos.org/Download 2. CentOS7安 ...
- GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
- 【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建(含安装包和教程)
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
最新文章
- 首例利用智能路由网关犯罪嫌疑人被捕:罪名流量劫持
- 用Python爬一爬那些年你硬盘存过的老师们,太方便啦!
- 计算机主板的1117标识,电脑出现:错误1117.......截图如下,
- 虚拟机网卡引起的一个问题
- C语言实例第3期:在控制台打印出著名的杨辉三角
- java 轻量级map,java Map 遍历速度最优解
- PHP检测远端文件是否存在
- java 字符数组与字符串_用于字符串和数组的5种简单有效的Java技术
- linux .desktop权限,如何在Ubuntu Xenial Xerus 16.04 Linux Desktop上以root用户身份登录
- Java-Concurrent 线程池ThreadPoolExecutor使用
- SAP License:SAP系统界面相关调整和设置
- IT 人士工作中的十不要!
- AD打板过程简介(搭配某份教程实现)
- windows netstat命令小节
- php居民小区物业管理系统
- find7刷Android,OPPO Find 7刷Color OS 2.0教程
- 对索引存储与散列存储的一些形而上的思考
- 调用企查查第三方Api:企业工商模糊搜索
- VC:CString.Format()函数详解
- 华为鸿蒙删除视频报错rm: local.mp4: Owner died
热门文章
- [GBA ROM列表]不断补完中……
- NOD 32 企业版远程管理服务器病毒库更新失败_七夕小子_新浪博客
- EasyUi之书籍功能(CRUD)
- Windows安装光盘启动优盘制作
- 暗战洗礼 黑客这样炼成--《暗战强人. 黑客攻防入门全程图解》
- Windows 10原创知识题(第四版)
- 1.59TB《全球 12.5 米高程DEM for WeServer》发布
- HTML5+CSS3从入门到精通
- 华为HCIA-DATACOM题库(带答案及解析) 全网首发
- 算法竞赛入门经典(第二版) 答案汇总(持续更新)