从零开始的Hadoop大数据集群（伪）搭建，全免费VirtualBox虚拟机Ubuntu版，学习向，超详细---（一）
在公司工作了一段时间了，大数据平台都是公司的运维人员搭建维护的，自己也想亲自搭建一套，纯粹为了学习和提高自己，也为了以后自己研究用。公司的环境不太适合乱来，自己的就可以随意玩了。
写这个也是为了记录自己学习的过程，同时给大家提供一个参考，想要学习大数据的也可以尝试。
本文所有内容均为原创，都是自己亲自尝试成功才敢发出来的，真实有效。
先说说环境吧：
1、系统：Windows10 64位。CPU i7，16G内存。
2、虚拟机：VirtualBox。看到网上很多人都是Vmware，其实我想说，与其费尽心思去弄破解版的Vmware，还要面对各种植入病毒，破解BUG，破解后各种运行问题和缺陷，真的不如直接使用VirtualBox更好，其实对大部分人来说，功能没差多少，而且Oracle出品，最关键是免费！免费！免费！你不用花多余的心思浪费在找破解软件上，还不会搞坏你的系统。而且特别轻量，没有多余的乱七八糟的影响系统性能的东东。（说多了，我不是Oracle的员工）
3、Linux：Ubuntu 18.04 * 5个。同理，中国大部分公司生产环境都是RedHet系的，无非RedHet和CentOS。我就非要用Ubuntu。
4、免费版Xshell 6和Xftp 6 。对，又是免费的。
5、hadoop 2.8.5 。写这篇文章的时候3应该已经出了好久了。但是2还是好用的。
下面开始基本的环境准备吧。本篇内容先是如何搭建出一个5台Ubuntu虚拟机的服务器集群。
当然了，如果你的内存是8G，那么建议搭建3台虚拟机就够了。
一、安装Oracle VM VirtualBox
这个自己去百度一下官网，下载完成之后自己安装就好。简单提一下，要使用虚拟机，必须首先打开Intel虚拟化技术（现在基本CPU都支持，AMD不清楚），要进入BIOS根据自己的主板自行修改，很多主板默认是不打开的。
然后安装好之后，运行VirtualBox，界面看起来是这样的。
二、下载Ubuntu 18.04 。注意一定要下载Server版。不要下载Desktop版和Cloud版。（因为我不会）
下载完成之后看起来是这样的。
三 、安装Ubuntu
1、在VirtualBox上点击新建。然后如图
2、点击下一步，然后分配内存。这里给2048M就好。后期自己可以调整。
3、 然后选择创建虚拟硬盘。
4、选择VDI。（推荐）下一步
5、 选择动态分配。下一步
6 、输入20GB就OK。如果你硬盘很大，那就可以更大点。
7、然后可以在左边，看到多了一个虚拟机。
8、直接双击运行， 然后选择你刚才下好的乌班图镜像。如图。
9、 点击启动，等待加载完毕。然后进入这个界面。
10、一直下一步就好！（按回车）基本没什么需要你去改的。直到进入这一步：（废话一句，VirtualBox切回鼠标的按键是右边的Crtl）
11 然后Continue。 进入这个界面，输入以下：
12 等待安装完毕。选择reboot now，等待重启。（还要按一下回车，注意提示）
13 重启完成之后，登陆你刚才的账号密码。我使用的是test，登陆之后如图：
四 、系统初步适应
由于我们使用Ubuntu系统，和RedHet系还是有很多区别的。首先乌班图默认不适用ROOT账号，这对于我们来说有很多不方便（学习的时候使用ROOT账号可以省去很多麻烦，在公司的生产环境请勿这样使用。）所以先修改一些东西，让系统适应我们。
加一个注意：本文的所有操作都是为了快速搭建学习环境而简化，正式环境请勿这样。
1、设置root密码
执行命令：sudo passwd root
分别输入test密码，root密码，root密码确认。
然后：su root
切换到root账号。
2、设置root权限ssh登陆
执行命令：vim /etc/ssh/sshd_config
找到PermitRootLogin这一行，修改为yes。并且去掉#号，看起来是这样的：
改为：
然后wq保存。接着关机。执行 shutdown -h now
或者直接右上角关闭。
选择正常关闭。OK
五、使用SSH登陆虚拟机
一般来说，我们都是通过SSH登陆服务器进行相关操作。而要连接到虚拟机，也有很多方式。
1 设置
首先在刚才建好的虚拟机上点右键，然后设置。如图。
2、网络
选择网络， 然后可以看到如下图：
3 、选择
熟悉Vmware的应该都很清楚这几种。我这里主要说一下这2个：
（1）桥接网卡，使用这种方式，你的虚拟机会出现在你的局域网里。比如你有一个路由器，连接了2个设备，并且启用了DHCP自动分配IP地址。你的路由器地址是192.168.1.1，那么按照DHCP地址池设定，你的电脑连接了路由器，IP可能就是192.168.1.100这样（根据路由器品牌会有很大差异），你的手机连接了路由器，IP可能就是192.168.1.101。而你的虚拟机启动了，就会是192.168.1.102。
这种方式好处就是，你的虚拟机也能轻松连接外网（互联网）！你局域网里的其他设备可以很方便的访问你的虚拟机！
（2）仅主机host-only网络（本文的方式）
然而我们选择下面的方式。如图：
点击OK，然后再次启动虚拟机！
4、查看ip
使用root登陆，然后输入命令：
ifconfig
可以看到你的IP地址。如图所示：
如果 你看不到IP，那么很可能你的host-only网络的dhcp没打开。解决方法如下：
打开 菜单栏的管理，主机网络管理器。
看看 DHCP服务器勾上没有，如果没有，那就勾上，然后重启你的虚拟机。
5、使用xshell登陆虚拟机。
打开xshell（如果没有，去官网下载一个教育版，免费的。）
输入ssh 192.168.56.3（你刚才查询到的IP地址。每个人不一样。）
然后使用root账号登陆。
到此，我们第一台hadoop服务器搭建完毕。
从零开始的Hadoop大数据集群（伪）搭建，全免费VirtualBox虚拟机Ubuntu版，学习向，超详细---（一）相关推荐
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---终结篇
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第二部分
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
- 全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分
##心路历程:这是大学时期做的项目,这个项目对我印象特别的深,当时没有记录在博客上,今后会积极分享自己做项目的历程与经验,希望能帮到需要的朋友,有什么问题或者建议欢迎在评论区留言,废话不多说,咱们就开 ...
- Apache Hadoop大数据集群及相关生态组件安装
大数据集群安装 写在前头 集群安装部署 Hadoop HA与ZOOKEEPER HBASE HIVE FLUME KAFKA SPARK Kylin Kafka-eagel 问题排查 写在前头 本文就 ...
- HA机制的大数据集群的搭建过程
文章目录 集群规划 1. 准备Linux环境 1.1.修改Linux主机名 1.3.修改主机名和IP的映射关系 1.4.关闭防火墙 1.5.ssh免登陆(主节点和从节点之间) 2. 安装JDK 2.1 ...
- Spark项目之电商用户行为分析大数据平台之（三）大数据集群的搭建
Zookeeper集群搭建 http://www.cnblogs.com/qingyunzong/p/8619184.html Hadoop集群搭建 http://www.cnblogs.com/qi ...
- hadoop大数据集群完全分布式部署实操篇：HDFS2.9.2、HBASE2.2.6、YARN2.9.2、SPARK2.4.7，ZOOKEEPER3.6.2
推荐以rpm方式安装jdk,有些软件比如cm只认/usr/java/default目录 配置/etc/hosts文件 配置ssh免密登录 配置时间同步 HDFS安装 单机伪分布式安装 ssh远程登录找 ...
- 全网最详细的大数据集群环境下如何正确安装并配置多个不同版本的Cloudera Hue（图文详解）...
不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 全网最详细的大数据集群 ...
- 小知识点：ARM 架构 Linux 大数据集群基础环境搭建（Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node）
换了 M2 芯片的 Mac,以前 x86 版本的 Linux 大数据集群基础环境搭建在 ARM 架构的虚拟机集群上有些用不了了,现在重新写一份基于 ARM 架构的,少数不兼容之外其他都差不多,相当 ...
最新文章
- wordpress acf字段 不同样式_WordPress强大搜索功能如何实现？安装Ivory Search插件
- 【推荐】iOS汉字转拼音第三方库
- 关于GCD多任务处理
- intellij idea14.1 卡顿问题解决
- tomcat与apache区别
- 第三次学JAVA再学不好就吃翔(part77)--迭代器遍历
- 【论文阅读】SIR模型下网络中多信息源检测 2014-IEEE
- 炼丹手册——数据增广
- 简化异常处理的Throwables类
- 计算机专业 美国,美国计算机专业的五大名校概况
- 2022年最新全国各省五级行政区划代码（省/市/区县/乡镇/村）
- javashop B2C开源电商系统源代码
- IDEA安装阿里代码规范插件
- vscode python第三方库自动补全_vscode python 第三方库的智能提示
- vs vsvim viemu vax 备忘
- 易语言禁止服务器,禁止指定程序联网易语言源码
- Windows如何设置夜间模式（护眼模式）超简单
- vue3 vite ant deign vue 黑暗模式实现
- TCP粘包的分析和处理
- android对输入手机号码震动,手机卫士输入框抖动和手机震动效果的实现