文章说明

本文主要是记录我在安装单虚拟机伪分布式hadoop集群与HBase中遇到的一些问题与处理方式。
主要的安装步骤基于林子雨老师的大数据软件安装和基础编程。

虚拟机

我采用的虚拟机工具是VMware WorkStations，没有选用VirtualBox（这里与林子雨老师的教程不同）
下面是我的虚拟机配置：

需要说明的是网络配置没有用桥接（在多个虚拟机构建伪分布式或者真分布式的时候是需要桥接的，同时还需要设置VMware的网关和本地电脑的网关。）
映像文件用的林子雨老师的(ubuntukylin-16.04-desktop-amd64.iso),林子雨老师的教程里面可以下载使用，感觉这个版本的Ubuntu比较稳定，没出现奇奇怪怪的问题。

Ubuntu设置

自我感觉虚拟机配置是比较灵活的，只要是Ubuntu系统（Centos7.6我也装过，自己加了一个图形化界面，三台虚拟机，最后在HBase处崩了，至今没有解决那个问题），然后能上网就行了。
Ubuntu的设置还是需要好好弄弄的。

首先就是VMwareTools最好装一下，能复制命令进来，提升安装集群的速度。
“虚拟机”那项就有安装的选项。

把那个光盘文件打开，压缩包提取到任意文件夹，在终端用命令解压，运行就行（根据虚拟机的提示来就行了）

运行下面的文件，除了第一个输入yes，其余都Enter就行，最后装好的标志就是虚拟机能填满屏幕。

然后系统语言那块需要注意一下，这里不多说了。

用户问题

这个问题很关键，我就在这里踩坑了……

一般来说，我们在安装Ubuntu的时候用户名没有用hadoop，因此需要先创建一个，然后最重要的是：

要把原用户注销掉，要不然后面的java-api代码根本跑不起来，老是权限错误，即使改权限也会有各种各样的问题，作为一个新手，我确实有点hold不住。所以我直接把其他用户注销了。

最后需要做的就是把root替换hadoop输一遍，密码自定。这里是为了后续文件传输做铺垫。

文件传输

自己电脑里面的文件要传进来，安装Tools应该大部分都行，但是还是有的文件进不来（比如进不去/etc），我认为是权限的问题.我采用的finalshell进行传输的。Xshell也行,但是那个自动捆绑安装软件是真的恶心！
然后需要注意两件事：

这里要用root用户（第一次连接的时候用hadoop用户也是能传输文件的，但是后面就不行了，不过root用户就没这个问题），上面那个root替换hadoop就是为了这一步。
但是直接连接是连不上的，因为Ubuntu里面的文件禁止了用root权限的ssh登录，然后连接时会一直让你输密码，然后连不上……
解决方法如下：
找到/etc/ssh/sshd_config文件（用sudo vim 编辑最好）

注意红框的修改。

然后就能正常使用root用户连接并传输文件了。

Eclipse的安装与使用

这个直接下载压缩包，用finalshell传进来，解压就行了。

需要注意的是：
如果打不开，可以修改右边的eclipse.ini文件：（用sudo vim 编辑）

在openfile和-vmargs之间加入两项：
后面那个是jdk的/jre/bin的路径
之后就按照这个教材来就行了：http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

HBase

在上述hadoop集群正确安装后，hbase基本没啥问题了，照着林子雨老师的教程来就行了。

我的问题（目前尚未解决）

我最开始采用三台centos7.6虚拟机部署集群，然后每台虚拟机都只有一个用户：node01、node02、node03。
网络连接用的桥接网络，每台虚拟机都能上网，并且能互相ping通。hadoop集群安装没问题，jps能输出正确信息，eclipse也能正常运行。
问题出在HBase上。
开启HBase后（5s内）还是挺正常的

**5s后：HMaster消失了，即自我关闭了。**查看日志文件：

我尝试了网上不少方案，结果没解决这个问题，暂时性的搁置了，如果有哪位大佬解决了这个问题，还望不吝赐教！！

最后就是我重新按照林子雨老师的教程重新安装了hadoop集群和hbase，按照教程为了解决上述问题，一共就用了一个半小时左右，但是我弄那个HMaster自动关闭的问题花了接近两天的时间还没有解决……真的吐了。
其实主要是我刚刚进入这个领域，什么都不怎么会，不知道内部原理，然后就是试各种方法，希望大三结束后能够多懂一些内核。

最后说明：本文是我在学习大数据系统的时候，根据林子雨老师的大数据软件安装与基础编程安装hadoop集群和hbase时遇到的一些问题时的解决方案的记录，侵删。

关于伪分布式hadoop集群及HBase安装的一些记录（基于林子雨老师的大数据软件安装和基础编程）相关推荐

配置伪分布式hadoop集群（附常见配置问题）
配置伪分布式hadoop并运行wordcount程序 ps:本教程在虚拟机和阿里云服务器上都配置成功,建议使用虚拟机(容易成功).本实验最后将运行hadoop自带的wordcount程序用以检验配置是 ...
Hadoop集群启动Hbase的步骤流程
Hadoop集群启动Hbase的步骤流程系统版本:centOS7.7 HBASE版本:apache-hbase-1.2.1 HADOOP版本:apache-hadoop-2.7.6 JDK版本:jd ...
集群节点基于Hadoop集群的HBase集群的配置【2】
首先声明,我是一个菜鸟.一下文章中现出技术误导情况盖不负责基于Hadoop集群的HBase集群的配置 1.准备工作 a.经已实现安装的Hadoop集群环境 b.所须要的软件包 zookeeper-3 ...
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...
Hadoop集群搭建Hbase集群
Habse介绍 HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像B ...
完全分布式Hadoop集群搭建
环境说明操作系统:CentOS 8 x86_64 Hadoop版本:2.10.1 节点数:3 服务器规划: node1 node2 node3 199.188.166.111 199.188.166 ...
Hadoop集群中运行MapReduce程序错误记录
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for ...
大数据项目开发hadoop集群搭建 python爬取前程无忧招聘网信息以及进行数据分析和数据可视化
大数据项目开发实训报告一.Hadoop环境搭建 1: jdk的安装 1):在linux系统下的opt目录下创建software 和 module 两个目录 2):利用filezilla工具将 jdk ...
windows平台使用Docker搭建分布式Spark 与 hadoop集群
若不关心具体搭建过程,只想运行分布式集群,请直接前往3.2开始 (本人已上传镜像至服务器) 续前节 windows平台使用Docker搭建分布式hadoop集群安装分布式Spark篇 1. 运行wi ...
华为云和阿里云跨服务器搭建Hadoop集群
目录华为云和阿里云跨服务器搭建Hadoop集群说明期间遇到的问题 CentOS6 7 8更换阿里yum源修改服务器名称安装JDK 安装Hadoop 编写集群分发脚本 xsync scp ...

关于伪分布式hadoop集群及HBase安装的一些记录（基于林子雨老师的大数据软件安装和基础编程）