01-hadoop学习环境准备
一、准备虚拟机
第一台hadoop01的虚拟机ip地址改为：192.168.65.101
第二台hadoop02的虚拟机ip地址改为：192.168.65.102
第三台hadoop03的虚拟机ip地址改为：192.168.65.103
hadoop01、hadoop02、hadoop03均为NAT模式，其中hadoop01内存设置为1G（16G内存以上建议设置为2G），hadoop02和hadoop03为512M，CPU核数都设置2核
cd /etc/sysconfig/network-scripts #进入网络配置目录
dir ifcfg* #找到网卡配置文件
ifcfg-ens33 #找到版本最新的文件并修改
vim ifcfg-ens33
或者
vim /etc/sysconfig/network-scripts/ifcfg-ens33
二、 配置文件内容
TYPE=Ethernet
BOOTPROTO=static #改成static，针对NAT
NAME=eno16777736
UUID=4cc9c89b-cf9e-4847-b9ea-ac713baf4cc8
DEVICE=eno16777736
DNS1=114.114.114.114 #和网关相同
ONBOOT=yes #开机启动此网卡
IPADDR=192.168.65.101 #固定IP地址
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.65.2 #网关和NAT自动配置的相同，不同则无法登录
三、 重启网络
## 重载配置文件
sudo nmcli c reload
## 重启网络服务
nmcli c up ens33
ens33 是网卡名称，虚拟机默认应该是这个，但物理机可能是常见的 eth0
四、关闭防火墙
systemctl stop firewalld.service #关闭防火墙服务
systemctl disable firewalld.service #禁止防火墙开启启动systemctl restart firewalld.service #重启防火墙使配置生效
systemctl enable firewalld.service #设置防火墙开机启动firewall-cmd --state #查看防护墙状态
五、修改主机名
vi /etc/hostname
依次修改三台主机名分别为hadoop01，hadoop02,hadoop03
六、修改hosts文件
vi /etc/hosts
在三台主机配置文件中依次增加ip地址映射
192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03
七、三台机器重启
reboot
在192.168.65.101机器上执行 ping hadoop02
八、设置免密登录
1 三台机器生成公钥与私钥
三台机器都生成公钥与私钥，都执行 ssh-keygen
执行该命令之后，按下三个回车即可
2 拷贝公钥到同一台机器
三台机器执行命令： ssh-copy-id hadoop01 将三台机器的公钥拷贝到hadoop01 这个节点上
3 复制第一台机器的认证到其他机器
将第一台机器的公钥拷贝到其他机器上
在第一台机器上面执行以下命令
scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh
4 远程登录测试
ssh hadoop02
不需要输入密码直接进入说明成功，exit退出
九、三台机器时钟同步
通过网络进行时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
阿里云时钟同步服务器 ntpdate ntp4.aliyun.com
如果报错
-bash: ntpdate: 未找到命令
依次执行
#添加wlnmp的yum源
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
#安装时间同步软件
yum install wntp
依次三台机器配置定时任务命令，直接与阿里云服务器进行时钟同步
crontab -e# *号依次表示每分钟同步一次、小时、天、周几、月份
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
十、三台机器安装jdk
查看自带的openjdk rpm -qa | grep java
如果有，请卸载系统自带的openjdk
三台机器创建目录
所有软件的安装路径 mkdir -p /opt/servers
所有软件压缩包的存放路径 mkdir -p /opt/softwares
上传jdk到/opt/softwares路径下去，并解压 tar -xvzf jdk-8u65-linux-x64.tar.gz -C ../servers/ # -C 指定文件路径
jdk下载地址：
链接：https://pan.baidu.com/s/1b0l0HsVVEnCvfXHPcjgmYg
提取码：1bre
配置环境变量 vim /etc/profile
按”“O”,跳到文件末尾，在文件末尾添加下面两行
export JAVA_HOME=/opt/servers/jdk1.8.0_65
export PATH=$JAVA_HOME/bin:$PATH
配置文件生效，执行 source /etc/profile
测试 java -version
发送文件到hadoop02和hadoop03
# -r 指递归
scp -r /opt/servers/jdk1.8.0_65/ hadoop02:/opt/servers/
scp -r /opt/servers/jdk1.8.0_65/ hadoop03:/opt/servers/scp /etc/profile hadoop02:/etc/
scp /etc/profile hadoop03:/etc/
发生完在每个节点上执行source /etc/profile 使配置文件生效
测试 java -version
十一、修改windows中的hosts文件
在windows中的hosts文件里添加如下映射
192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03
更改完dos窗口执行命令 ping hadoop01 测试
01-hadoop学习环境准备相关推荐
- Hadoop学习环境搭建
Hadoop学习环境搭建 Apache Hadoop3.1.1虚拟机环境搭建 工具准备 安装虚拟机 Hadoop安装和配置 配置Hadoop001.Hadoop002.Hadoop003互相访问 配置 ...
- hadoop ubantu环境搭建_ubuntu hadoop学习 环境搭建
单机模式 下载hadoop-2.7.3.tar.gz 并解压缩 安装java环境 sudo apt install openjdk-8-jdk 设置环境变量 vim /etc/profile expo ...
- Hadoop学习笔记——入门教程（虚拟机安装LinuxHadoop环境搭建配置）
文章目录 一.Hadoop安装配置文档及注意事项 二.Hadoop概述 2.1.Hadoop是什么 2.2.Hadoop的发展历史 2.3.Hadoop三大发行版本 2.3.1 Apache Hado ...
- Hadoop学习之整体介绍及环境搭建
Hadoop学习之整体介绍及环境搭建 1 大数据概述 1.1 什么是大数据 数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加 工的的原始素材. 大数据:传统处理方 ...
- 01 动手学习深度学习-配置环境pytorch
01 动手学习深度学习-配置环境pytorch 一.需要的配置以及准备 二.安装anaconda 二.安装CUDA: 三.安装CUDNN 四.安装pytorch 五.安装jupyter noteboo ...
- Hadoop学习笔记—1.基本介绍与环境配置
一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司-全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的G ...
- java 工程新建ivy文件_Hadoop学习之路（八）在eclispe上搭建Hadoop开发环境
一.添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二.在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的 ...
- Hadoop学习（source方式安装篇）
Hadoop学习(source方式安装篇) 1.为什么要进行源码编译 网上说Hadoop官网没有提供32位的编译好的Hadoop,这其实是假的,自从2.5版本以后,官方已经提供了64位的编译好的Had ...
- Hadoop学习笔记—2.不怕故障的海量存储：HDFS基础入门
一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护->因此,迫切需要一种系统来管理多 ...
- Hadoop 学习路线图
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项 ...
最新文章
- Spring Boot 启动可以有多快？
- 每日一博 - 延时任务的多种实现方式解读
- 【待完善】make: command not found，以及libtool.m4 and ltmain.sh have a version mismatch问题的解决方案...
- (9)How to take a picture of a black hole
- 未来计划让儿子和他爷爷出国游一次
- ionic3 html调用摄像头,Ionic3项目实战
- what is the core technology for WEBGIS and MobileGIS
- 记C++坑：3.结构体和类对齐补齐
- 你为什么推荐java核心技术_读《java核心技术卷一》有感
- 拼多多商品详情页 API接口、拼多多商品SKU数据接口 API接口、拼多多关键词搜索接口 API接口 API接口、拼多多关键词采集 API接口、拼多多采集接口 API接口、拼多多详情 API接口
- Git学习-Git时光机之版本回退(二)
- Web端H.265播放器研发解密 1
- 吉哥系列故事——恨7不成妻(多返回值的数位DP)
- 浅谈JAVA适配器模式
- ISP-黑电平校正(BLC)
- 变形金刚Transformer详解
- MPU9250 使用 DMP 输出姿态角：DMP 库到 STM32 平台移植笔记
- 95后宠爱的百变音乐神器，唱鸭玩转云原生AI
- 优雅编程之这样格式代码，你就正常了！
- 蓝魔 音悦汇T8+ MP4 无法开机 黑屏 修复记