Hadoop运行环境搭建
一、准备虚拟机(最小化安装)
分区:
/boot引导用区-->1G;;
swap交换区-->2G;标准分区;
/根目录-->剩下的全部;标准分区;ext4
*******************************************************************************
IP和主机名称配置
*******************************************************************************
1.固定ip地址、修改主机名
vi /etc/hostname
hadoop101
vi /etc/syscomfig/network-scripts/ifcfg-ens33
#动态获取地址--->静态获取
BOOTPROTO="static"
#系统启动的时候网络接口是否有效
ONBOOT="yes"
#ip地址
IPADDR=192.168.2.101
#网关
GATEWAY=192.168.2.2
#域名解析器
DNS1=192.168.2.2
重启网络服务,查看网络是否改成功
systemctl restart network//重新启动
ip addr//查看ip
配置VM的ip地址
配置Windows的ip地址
2.用xshell工具连接模板机 远程登录xshell
一些设置,选中复制,右键粘贴
Windows下更改ip地址名称,为了xshell操作连接Linux的时候,可以直接主机名进行连接;在Linux里配置是为了以后多台Linux互相访问也可以直接访问主机名来连接。
C:\Windows\System32\drivers\etc\hosts
#添加如下
192.168.2.101 hadoop101
192.168.2.102 hadoop102
...
3.通过yum安装方式安装一些必要软件
yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
4.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
5.修改hosts文件
vim /etc/hosts
#添加如下
192.168.2.100 hadoop100
192.168.2.101 hadoop101
192.168.2.102 hadoop102
192.168.2.103 hadoop103
192.168.2.104 hadoop104
192.168.2.105 hadoop105
192.168.2.106 hadoop106
192.168.2.107 hadoop107
192.168.2.108 hadoop108
6.创建普通用户(gyy)并提升他能拥有root权限
提升root权限可以看这个博主的文章,写的好详细(给自己留档,嘻)
Linux系统通过文件/etc/sudoers设置用户使用sudo的权限/用户使用sudo的授权配置_liaowenxiong的博客-CSDN博客_sudoers 用户权限配置
gyy
gyy202203
vim /etc/sudoers
#ROOT下添加
gyy ALL=(ALL) NOPASSWD: ALL
7.在Linux的/opt目录下创建software和module,并把两个目录的所有者和所属组修改为gyy
cd /opt
[root@hadoop101 opt]# mkdir software
[root@hadoop101 opt]# mkdir moudle[root@hadoop101 opt]# chown gyy:gyy moudle/ software/
#把两个目录的所有者和所属组修改为gyy
三、克隆虚拟机
下一页--->下一页-->创建完整克隆-->改机器名和存储地址
克隆完毕后,启动克隆机,更改克隆机名和ip地址
vim /etc/syscomfig/network-scripts/ifcfg-ens33
vim /etc/hostname
重启
reboot
四、在Hadoop102中安装 jdk
-- 将jdk的安装包上传到 /opt/software 下
使用xftp工具
选中、右键传输
传输完成后,在xshell中查看
cd /opt/software
-- 将jdk安装到 /opt/module 下
直接将jkd的压缩文件解压到/opt/module路径下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/
-- 配置jdk的环境变量
vim /etc/profile
#系统环境变量的描述
-- 在/etc/profile.d 目录下创建自定的配置文件 my_env.sh
[gyy@hadoop102 profile.d]$ sudo touch my_env.sh
#普通用户,带sudo可以拥有管理员权限进行操作(一、6.)
-- 在my_env.sh写入以下内容
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#将JAVA_HOME变量追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin
#提升JAVA_HOME变量为系统变量
export JAVA_HOME PATH
在任意位置检查一下
source /etc/profile #重新加载一下profile文件
java -version
五、在Hadoop102中安装Hadoop
-- 将hadoop的安装包上传到 /opt/software 下
-- 将hadoop安装到 /opt/module 下
[gyy@hadoop102 software]$ cd /opt/software
[gyy@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C ../module/^C
[gyy@hadoop102 software]$ cd ../module
[gyy@hadoop102 module]$ ll
总用量 8
drwxr-xr-x. 9 gyy gyy 4096 9月 12 2019 hadoop-3.1.3
drwxr-xr-x. 7 gyy gyy 4096 4月 2 2019 jdk1.8.0_212
[gyy@hadoop102 module]$
-- 配置hadoop的环境变量
-- 在my_env.sh写入以下内容
#配置JDK的环境变量
#声明JAVA_HOME变量
JAVA_HOME=/opt/module/jdk1.8.0_212
#配置HADOOP的环境变量
#声明HADOOP_HOME变量
HADOOP_HOME=/opt/module/hadoop-3.1.3
#将JAVA_HOME变量追加到PATH变量上
#将HADOOP_HOME/bin 、HADOOP_HOME/sbin 追加到PATH变量上
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#提升JAVA_HOME、PATH、HADOOP_HOME 变量为系统变量,
export JAVA_HOME PATH HADOOP_HOME
#重新加载一下profile文件
[gyy@hadoop102 hadoop-3.1.3]$ source /etc/profile#sync重启命令也行
[gyy@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[gyy@hadoop102 hadoop-3.1.3]$
在Hadoop/bin目录下常用的文件
在hadoop/etc/hadoop下常用的文件
capacity-scheduler.xml:容量调度器(yarn用)
Hadoop运行环境搭建相关推荐
- Hadoop入门(上):大数据特点、大数据前景、大数据组织结构、Hadoop组成、Hadoop版本介绍、Hadoop运行环境搭建、CentOS6安装JDK、安装Hadoop、Hadoop目录结构
资料来源于尚硅谷 本篇文章目录 第1章·大数据概论 1.1.大数据概念. 1.2.大数据特点(4V) 1.3.大数据应用场景 1.4.大数据发展前景 1.5·大数据部门业务流程分析. 1.6·大数据部 ...
- Hadoop运行环境搭建(二)
文章目录 一.本地运行模式 二.完全分布式运行模式 1.编写集群分发脚本 2.SSH免密登录配置 3.集群配置 4.集群启动 5.集群基本测试 6.集群启动/停止方式总结 总结 Hadoop运行模式包 ...
- Linux系统下Hadoop运行环境搭建
1.安装ssh免密登录 命令:ssh-keygen overwrite(覆盖写入)输入y 一路回车 将生成的密钥发送到本机地址 ssh-copy-id localhost (若报错命令无法找到则需要安 ...
- 大数据技术之Hadoop(入门)概述、运行环境搭建、运行模式
文章目录 1 Hadoop 概述 1.1 Hadoop 是什么 1.2 Hadoop 优势 1.3 Hadoop 组成(面试重点) 1.3.1 HDFS 架构概述 1.3.2 YARN 架构概述 1. ...
- 大数据之Hadoop3.x 运行环境搭建(手把手搭建集群)
文章目录 写在开头 安装包准备 一.Hadoop运行环境搭建(开发重点) 1.1 模板虚拟机环境准备 1.2 克隆虚拟机 1.3 在hadoop102安装JDK 1.4 在hadoop102安装Had ...
- Hadoop集成环境搭建
Hadoop集成环境搭建 一.准备工作 首先,我们需要准备好Java和Hadoop的安装包,我这里使用的包名为:jdk-8u144-linux-x64.tar.gz 和 hadoop-2.8.0.ta ...
- Hadoop学习环境搭建
Hadoop学习环境搭建 Apache Hadoop3.1.1虚拟机环境搭建 工具准备 安装虚拟机 Hadoop安装和配置 配置Hadoop001.Hadoop002.Hadoop003互相访问 配置 ...
- Hadoop基础环境搭建完整版
Hadoop基础环境搭建(转载尚硅谷) 说明 个人学习记录 基于虚拟机搭建,需要提前准备虚拟机环境 搭建版本:hadoop-3.1.3 搭建HDFS和yarn 提前准备Hadoop安装包:hadoop ...
- Hadoop入门·环境搭建
Hadoop入门·环境搭建 1 步骤 硬件环境准备 资源下载 环境部署 2 分布式集群环境部署 2.1 硬件环境准备 本案例中使用三台服务器(仅作为学习案例),分别为Hadoop102,Hadoop1 ...
- 2012 iis php mysql_Win2012 R2 IIS8.5+PHP(FastCGI)+MySQL运行环境搭建wordpress博客教程
Win2012 R2 IIS8.5+PHP(FastCGI)+MySQL运行环境搭建教程 一.环境说明: 操作系统:Windows Server2012 R2 PHP版本:php 5.5.8 MySQ ...
最新文章
- 使用JackJSON 流式API 创建JSON串【学习记录】
- pdf文档出现乱码如何修改
- 元数据驱动设计 —— 为动态移动应用创建Web API
- python官网下载步骤图解-下载及安装Python详细步骤
- ngrok服务器搭建
- Flowable工作流总结_工作规范流程设计思路
- 『飞秋』Html.Label的缺陷及补救办法
- html中radio单选按钮控件标签用法解析及如何设置默认选中
- 简单的JSP分页显示
- Microsoft Project学习系列(一)
- docker部署服务实现文件上传到本地问题解决
- 每日算法系列【LeetCode 309】最佳买卖股票时机含冷冻期
- 人脸识别之一图像采集及人脸库的建立
- rj45管脚定义_RJ45接口定义
- android车载导航测试,嘟嘟车心安卓车载导航开箱体验
- Python爬虫实战之爬取链家广州房价_04链家的模拟登录(记录)
- 国家2000坐标系的理解
- 超级警探大战悍匪2java_Java笔记一
- origin和matlab的异同,origin和matlab
- S7-200与配备CU240BE-2的G120变频器进行USS通信的具体方法和步骤
热门文章
- 计算机准考证要打印多大的纸,2020税务师准考证打印要求 应该用多大的纸打印?...
- 测试计划内容应该有哪些?如何编写测试计划?
- Echarts图表没数据的时候,用图片代替暂无数据(图片自适应)
- 手把手从零开始学习树莓派教程
- BI系统的分布式部署原理和技术实现
- 详解BI系统中的任务调度
- 程序员的SQL金典-杨中科
- win10 更新计算机时间,win10下如何更改系统更新时间和更新方式?win10设置系统更新时间和更新方式的技巧...
- 动视暴雪消费产品集团首次亮相2018年中国授权展
- ofd文件电子签章实现方法