大数据技术之Hadoop3.1.2版本完全分布式部署搭建
2024-05-20 09:08:58
java学习讨论群：725562382 欢迎加入学习
先从别人那里复制了个思维导图给大家参考
一.主机环境准备
1>.操作系统环境
[root@backup01 hadoop-3.1.2]# cat /etc/redhat-releaseCentOS Linux release 7.5.1804 (Core) [root@backup01 hadoop-3.1.2]# uname -r3.10.0-862.el7.x86_64[root@backup01 hadoop-3.1.2]# uname -mx86_64[root@backup01 hadoop-3.1.2]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root 10G 8.3G 1.8G 83% /devtmpfs 471M 0 471M 0% /devtmpfs 488M 0 488M 0% /dev/shmtmpfs 488M 15M 473M 4% /runtmpfs 488M 0 488M 0% /sys/fs/cgroup/dev/sda1 197M 135M 62M 69% /boottmpfs 98M 4.0K 98M 1% /run/user/42tmpfs 98M 44K 98M 1% /run/user/1000/dev/sr0 4.2G 4.2G 0 100% /run/media/admin/CentOS 7 x86_64tmpfs 98M 0 98M 0% /run/user/0[root@backup01 hadoop-3.1.2]# df -h *Filesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% //dev/mapper/centos-root 10G 8.3G 1.8G 83% /[root@backup01 hadoop-3.1.2]# free -htotal used free shared buff/cache availableMem: 974M 600M 105M 4.3M 268M 155MSwap: 2.0G 261M 1.7G我这边有 1 个 master 主机（主节点），2 个 slave 主机(从节点)，
3 台主机的 hosts 配置文件如下
master的hostname
slave1的hostname
slave2的hostname
2> ssh免密登录
[root@backup01software]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:r7urq4AdFvcCOq7dBafbRbNe61FA8Yvu+/SEHJZ9uFM root@backup01
The key's randomart image is:
+---[RSA 2048]----+
| o. |
| . . |
| o . . . |
| . + . o + . |
|o o o o S . * o E|
|.= . = . = + o + |
|..o . . o = + + |
|.. o + o + + o . |
|. . +.+o*==o. . |
+----[SHA256]-----+
[root@backup01 software]# cd /root/
[root@backup01 ~]# ll
total 8
-rw-------. 1 root root 2044 May 4 18:14 anaconda-ks.cfg
-rw-r--r--. 1 root root 2075 May 4 18:23 initial-setup-ks.cfg
[root@backup01 ~]# ls -a
. anaconda-ks.cfg .bash_logout .bashrc .config .dbus .ssh .Xauthority
.. .bash_history .bash_profile .cache .cshrc initial-setup-ks.cfg .tcshrc
[root@backup01 ~]# cd .ssh/
[root@backup01 .ssh]# ll
total 12
-rw-------. 1 root root 1679 May 19 19:29 id_rsa
-rw-r--r--. 1 root root 398 May 19 19:29 id_rsa.pub
-rw-r--r--. 1 root root 175 May 19 17:01 known_hosts
[root@backup01 .ssh]# scp ./id_rsa.pub root@192.168.0.121:/root/.ssh/authorized_keys
root@192.168.0.121's password:
id_rsa.pub 100% 398 309.1KB/s 00:00
[root@backup01 .ssh]# ll
total 16
-rw-r--r--. 1 root root 398 May 19 19:40 authorized_keys
-rw-------. 1 root root 1679 May 19 19:29 id_rsa
-rw-r--r--. 1 root root 398 May 19 19:29 id_rsa.pub
-rw-r--r--. 1 root root 175 May 19 17:01 known_hosts
[root@backup01 .ssh]# ssh 192.168.0.121
Last login: Sun May 19 17:21:07 2019
[root@backup01 ~]# [root@backup02 software]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:W1wq1Uf9Z725ZHpWm4G/3CUjOCRxFjZsGCl3xzR+/EI root@backup02
The key's randomart image is:
+---[RSA 2048]----+
| .=+oo .. |
| . +.+=o+ .|
| o.o+.+ E o|
| * o + .=|
| S = o.=|
| * . . B.|
| . o . B B|
| . o.Xo|
| ooo|
+----[SHA256]-----+
[root@backup02 software]# cd /root/
[root@backup02 ~]# ls
anaconda-ks.cfg initial-setup-ks.cfg
[root@backup02 ~]# ls -a
. anaconda-ks.cfg .bash_profile .cache .cshrc initial-setup-ks.cfg .tcshrc
.. .bash_logout .bashrc .config .dbus .ssh .Xauthority
[root@backup02 ~]# cd .ssh/
[root@backup02 .ssh]# ll
total 12
-rw-------. 1 root root 1675 May 19 19:33 id_rsa
-rw-r--r--. 1 root root 398 May 19 19:33 id_rsa.pub
-rw-r--r--. 1 root root 175 May 19 19:16 known_hosts
[root@backup02 .ssh]# ll
total 16
-rw-r--r--. 1 root root 398 May 19 19:37 authorized_keys
-rw-------. 1 root root 1675 May 19 19:33 id_rsa
-rw-r--r--. 1 root root 398 May 19 19:33 id_rsa.pub
-rw-r--r--. 1 root root 175 May 19 19:16 known_hosts
[root@backup02 .ssh]# scp ./id_rsa.pub root@192.168.0.120:/root/.ssh/authorized_keys
root@192.168.0.120's password:
id_rsa.pub 100% 398 431.7KB/s 00:00
[root@backup02 .ssh]# ssh 192.168.0.120
Last login: Sun May 19 19:16:54 2019 from 192.168.0.121
[root@backup02 ~]# 3>.配置安装jdk（三台主机都要配置）
3.1 首先确认删除 centos 系统自带的 jdk
$ rpm -qa | grep java
python-javapackages-3.4.1-11.el7.noarch
tzdata-java-2018e-3.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
- rpm 是一种用于打包及安装工具
- -q 代表 query，a 代表 all
- grep: 用于文本搜索
名称里有 openjdk 的要删除
$ rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
$ rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
3.2 安装 jdk
这里安装的是 jdk1.8
1）创建 jdk 环境的路径
$ mkdir /usr/local/java
2）将下载好的jdk压缩包解压到指定路径
设置坏境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_172
export PATH=$PATH:$JAVA_HOME/bin
使配置生效
source /etc/profile
查看jdk是否配置成功
4>.关闭防火墙
$ su firewall-cmd --state 查看防火墙状态
$ su systemctl stop firewalld.service 关闭防火墙
$ su systemctl disable firewalld.service 禁止开机时防火墙自启 [root@backup01 hadoop-3.1.2]# systemctl stop firewalld[root@backup01 hadoop-3.1.2]# systemctl status firewalld ● firewalld.service - firewalld - dynamic firewall daemonLoaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)Active: inactive (dead)Docs: man:firewalld(1)[root@backup01 hadoop-3.1.2]# 5. 下载、解压 Hadoop（三台主机都要安装）
到 这里 下载 Hadoop 3.1.2 版本
5.1 创建 hadoop 目录
$ mkdir /usr/local/hadoop
5.2 解压 hadoop 压缩包到指定目录
6. 修改配置文件（三台主机都要配置）
配置文件的路径在 /usr/local/hadoop/hadoop-3.1.2/etc/hadoop
1）hadoop-env.sh
2）core-site.xml
3）hdfs-site.xml
4）mapred-site.xml
5）yarn-site.xml
6）workers
7）start-dfs.sh 和 stop-dfs.sh
8）start-yarn.sh 和 stop-yarn.sh
9）配置 hadoop 环境变量
注意具体配置参考：https://blog.csdn.net/ywl470812087/article/details/100065160
7. 启动 hadoop（在主节点上操作）
7.1 启动 hadoop 之前在 master 上 format 名称节点
cd /usr/local/hadoop/hadoop-3.1.2/bin
hdfs namenode -format出现以下信息则说明 namenode 格式化成功
INFO common.Storage: Storage directory /usr/local/hadoop/hadoop-3.1.2/namenode has been successfully formatted.7.2 在 master 节点上启动 hadoop 服务
cd /usr/local/hadoop/hadoop-3.1.2
7.3 查看 hadoop 服务是否启动成功
查看 master 节点
查看 slave1 节点
查看 slave2 节点
当 3 台节点分别出现这些 java 进程，则 hadoop 启动成功
java学习讨论群：725562382 欢迎加入学习
既然我们都已经hadoop启动成功：我们访问下
hadoop默认端口：9870
yarn默认端口： 8088
访问hadoop地址：http://192.168.0.120:9870/
yarn访问地址：http://192.168.0.120:8088/
大数据技术之Hadoop3.1.2版本完全分布式部署搭建相关推荐
- 第二课 大数据技术之Hadoop3.x的HDFS
第二课 大数据技术之Hadoop3.x的HDFS 文章目录 第二课 大数据技术之Hadoop3.x的HDFS 第一节 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HD ...
- 大数据技术之Hadoop3.x
大数据技术之Hadoop3.x教程系列文章目录 提示:以下是本篇文章正文内容,下面案例可供参考 目录 一.Hadoop_入门_模板虚拟机安装(使用CentOS 7系统) 二.2.Hadoop_入门_模 ...
- 大数据技术助推数字化智慧城市管理平台的搭建
近来几年,你必定听惯了这样子的形容,说大数据技术,云计算技术,人工智能,5G等数字基础设施,是信息内容文明的"水电煤",我们终究离不了这些. 但你是不是会好奇,在我国,哪座城市将这 ...
- #大数据技术#基于python的hadoop（单机）环境搭建及使用
基于python的hadoop(单机)环境搭建及使用 0.写在前面 1.虚拟机安装centos6.5 1.1安装流程 1.1.1系统安装 1.1.2修改静态ip(超级用户) 1.1.3更换可用源(超级 ...
- 关于大数据技术原理与应用的学习（4）
学习目标: 大数据技术原理与应用 学习内容: 分布式数据库HBase 4.1HBase简介 4.2HBase数据模型 4.3HBase实现原理 4.4HBase运行机制 4.5HBase应用方案 4. ...
- 大数据技术的特点有哪些
大数据,也可以被称为巨量资料.它是指所研究的数据设计范围广,且数量很大,且一般的数据处理软件无法完成对其的统计与分析工作,因此被称为巨量资料.由于大数据仍然被要求在合理的时间内,实现对数据的分析.处理 ...
- 大数据技术有什么特点
大数据可以实时地为企业撷取.管理.处理.整理数据,生成企业所需要的数据资料,因此大数据也蕴含着很高的商业价值,被称为"数字生产力".所以越来越多的企业开始重视大数据建设.那么大数据 ...
- 大数据技术之Hadoop
目录 第一章 大数据概述 1.大数据概念 1.2.大数据特点 1.Volume(大量) 2.Velocity(高速) 3.Variety(多样) 4.Value(低价值密度) 1.3 大数 ...
- 关于大数据技术原理与应用的学习（3）
学习目标: 大数据技术原理与应用 学习内容: 分布式文件系统HDFS 3.1HDFS简介 3.2HDFS相关概念 3.3HTFS体系结构 3.4HTFS存储元原理 3.5HDFS数据读写 3.6HDF ...
最新文章
- MW150UH驱动程序Linux,水星MW150UH无线网卡驱动
- JSON之三：获取JSON文本并解释（以google的天气API为例）
- PHP array_flip() array_merge() array+array的使用总结
- compile error
- 微信硬件平台发布八大行业解决方案 成功细分着陆传统行业
- jango web开发指南_Web前端“月薪过万”必读的一些入门书籍和网站！
- ios开发快速入门教程
- HiJson修改版，修改为按json字符串默认字段顺序格式化
- 把win10系统迁移至ssd后，开机时电脑默认不会启动ssd里面系统的问题解决方法
- Intellij IDEA误删文件恢复
- Python实现FP树
- 去TB！登上了上海最高峰！
- html调用 另存为,：将html另存为文本
- 使用按键精灵自动截图并保存重命名
- android12.0(S) 如何区分U盘和TF卡
- 互联网汽车信息娱乐系统基础框架
- 自然语言处理复习笔记
- 【秋招】秋招最全指南，如何准备，如何投递，以及面试攻略大全分享！
- CLI 钱包操作（十）：订阅设置
- 「自控元件及线路」1.1 直流电动机概述
热门文章
- 【youcans 的 OpenCV 例程200篇】150. 边缘检测梯度算子
- 【OpenCV 例程200篇】65. 图像锐化——Scharr 算子
- Python中利用LSTM模型进行时间序列预测分析
- java 保存文件在服务器_java文件保存至服务器
- python之网络编程1-socket-tcp与udp
- PL/SQL Developer的错误提示弹框的文本显示乱码问题
- 软件工程网络15个人阅读作业2（201521123024丁树乐）
- navicat premium 连接出现的问题
- grep 和 sed：linux经常使用工具 amp; 基本正則表達式
- HTTP - PUT 上传文件/Shell