安装hadoop集群模拟大数据集群踩到的坑(一)
1.安装虚拟机
使用VMWARE安装虚拟机CentOS7时候踩到的第一个坑,当安装完毕CentOS7的时候,使用vmware workstation pro 14进行启动虚拟机,win10系统有概率蓝屏重启报错,这时候就需要更新到更高版本的VMware workstation pro 16进行安装,因为这是兼容性问题,升级到16之后就没有蓝屏问题。
2.布置虚拟环境
参考本人最早的一篇centos7最小化安装开始,几年前写的文档帮我填了坑
最小化安装centos7开始
紧接着测试是否能连通DNS
#ping www.baidu.com
发现没办法ping通,然后ping 公网服务器IP,发现可以ping通,就知道是DNS的问题,在/etc/sysconfig/network-scripts/ifcfg-ens33(这是网卡的驱动脚本,根据自己实际情况进行修改)文件中修改获取IP方式和DNS地址
#vi /etc/sysconfig/network-scripts/ifcfg-ens33
然后我改成了这样
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static #修改为静态IP
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b8f3e8d2-5fdc-4261-a740-111272b77e0f
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.153.129#修改为静态IP指定地址
NETMASK=255.255.255.0#子网掩码
GATEWAY=192.168.153.2#网关
DNS1=8.8.8.8#DNS服务器
紧接着重启network
#service network restart
再ping一下百度,成功。
3.安装wget 和更改国内镜像源mirror163
#yum install wget
下载repo文件
#wget http://mirrors.163.com/.help/CentOS7-Base-163.repo
备份并替换系统的repo文件
#cp CentOS7-Base-163.repo /etc/yum.repos.d/
#cd /etc/yum.repos.d/
#mv CentOS-Base.repo CentOS-Base.repo.bak
#mv CentOS7-Base-163.repo CentOS-Base.repo
执行yum源更新命令
#yum clean all
#yum makecache
#yum update
这个时候已经更改为国内的镜像YUM源,可以放心食用。
紧接着我们安装JDK
4.jdk与hadoop
首先我们查找对应的hadoop版本,我这里安装的是hadoop 2.10.1
官网指路:hadoop官网
然后下载hadoop二进制文件到虚拟机当中,推荐http浏览器下载或者迅雷下载之后通过xftp之类的传输文件到虚拟机当中,然后进行解压缩
#tar -zxvf hadoop-2.10.1.tar.gz
因为hadoop依赖于java jdk,所以我们需要安装jdk,2.10.1的hadoop需要1.17以上的jdk
#yum search jdk
得到如下结果
果断选择1.18版本jdk
#yum install java-1.8.0-openjdk.x86_64
安装完毕之后验证java版本
#java -version
如果正确显示版本就安装成功
紧接着我们安装hadoop,我这里不赘述了
参考文档:CentOS安装hadoop
这里有坑,需要修改三个地方,第一个地方是hadoop文件夹下的脚本
#vi hadoop-env.sh
这里需要把java_home写清楚
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64
怎么写清楚呢?
which java
/usr/bin/java
$ ls -l /usr/bin/java
lrwxrwxrwx. 1 root root 22 7月 16 11:38 /usr/bin/java -> /etc/alternatives/java
$ ls -l /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 7月 16 11:38 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre/bin/java
最后那一长串才是jdk的目录
然后我们还要修改
#sudo vi /etc/profile
添加如下内容
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存,初始化hadoop,这时候才成功
如果上述情况无法完成JDK环境配置的话,可以前往Oracle官网进行LINUX的JDK下载,然后解压缩后配置到java_home里面
JDK_原版下载
下载完之后放在download文件夹中,进行解压缩
#tar -zxvf jdk-16.0.1.tar.gz
#mv jdk-16.0.1 /usr/lib/jvm/
移动到这个位置,将JAVA_HOME设置为这个路径也能JAVA运行成功,最后初始化的界面如图所示
好了,到这里集群已经安装成功了!
安装hadoop集群模拟大数据集群踩到的坑(一)相关推荐
- python自动化部署hadoop集群_大数据集群的自动化运维实现思路
原标题:大数据集群的自动化运维实现思路 | 作者简介 王晓伟 知数堂<大数据实战就业>课程讲师 六年大数据相关工作经验 清华大学软件工程硕士 曾就职于网易.搜狗等互联网企业 从事大数据及数 ...
- Apache Hadoop大数据集群及相关生态组件安装
大数据集群安装 写在前头 集群安装部署 Hadoop HA与ZOOKEEPER HBASE HIVE FLUME KAFKA SPARK Kylin Kafka-eagel 问题排查 写在前头 本文就 ...
- 1、大数据集群搭建之----jdk安装和zookeeper集群安装
这里废话不多说,上来就干.(如果配置不成功或遇到问题,可以留言,共同解决问题) 我的百度网盘里面有所有的用到的软件,永久有效无加密. https://pan.baidu.com/s/1pqW6bHxh ...
- 大数据集群启停shell脚本:hadoop(hdfs、yarn)、hbase集群启停
#Hadoop集群启动/停止脚本#!/bin/bash if [ $3 lt 1 ] thenecho "No Args Input!"exit; fi case $1 in &q ...
- 大数据集群软件安装手册1
大数据集群软件安装 1 安装Centos系统 1.1安装VMware12虚拟机 1.2安装Centos7.6操作系统 2.配置Centos操作系统 2.1关闭防火墙和Selinux 2.2配置主机名和 ...
- centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
2019独角兽企业重金招聘Python工程师标准>>> 转载请务必注明原创地址为:http://dongkelun.com/2018/04/25/ambariConf/ 前言 本文是 ...
- 小知识点:ARM 架构 Linux 大数据集群基础环境搭建(Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node)
换了 M2 芯片的 Mac,以前 x86 版本的 Linux 大数据集群基础环境搭建在 ARM 架构的虚拟机集群上有些用不了了,现在重新写一份基于 ARM 架构的,少数不兼容之外其他都差不多,相当 ...
- 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)
大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到 第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第二部分
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
最新文章
- linux命令:nslookup 、tar、route , tracert, traceroute, netstat、write、mesg、touch
- 裂痕第一至五季/以法之名Damages迅雷下载
- 力扣(LeetCode)258. 各位相加
- 把配置的jenkins主路径删掉_Jenkins详细教程
- face 3000 C++ 代码理解
- Atitit 朋友圈 微博 之道 朋友圈的dos and donts
- FPGA杂记5——格雷码转换设计
- echart——时间点和时间段综合显示
- tx关于机器人的律师函_酷q、晨风等第三方机器人被封杀停运,余者纷纷跑路!...
- Redis的持久化方式
- PyTorch读取目标检测数据集
- codeforces 158B
- 华为认证网络工程师培训教程集
- Mathematica绘制动态椭圆摆线(一)
- 如何用Python生成二维码
- 完整的大数据知识体系,大数据学习路线图
- ISO/IEC 14443协议浅谈:TYPE A与TYPE B
- 视频伪原创批量处理工具 抖音短视频解去水印
- 量化投资学习——PE、PB、PS、ROE、EPS含义及计算公式
- U盘文件后缀变成.exe怎么办?
热门文章
- Coderwars使用
- IDEA 调试技巧,比 Eclipse 强太多了!
- Android超简单时间轴的实现
- 微软sql服务器可以关闭吗,停止Microsoft SQL server的几种方式
- python3 下载特定网页上的文件
- 问题解决“Windows Installer 程序包有问题,此安装需要的程序不能运行。请与您的支持人员或程序包开发商联系”
- 微信小程序 使用 uCharts 图表
- 【大厂算法系列】学数据结构与算法有用吗?时间与空间复杂度的定义与计算
- word中如何设置奇偶页不同的页眉和页脚,怎么从指定页开始加页码
- web application与web site