前言

写这个微博的目的主要是有两点，一是这是我自己在用的测试环境，虽然也有自己总结文档，但是还是在网上保留一份，以防那天文档丢失，其次另一个原因也是想和大家分享一下我自己的测试环境搭建方式，如果大家有什么好的建议可以私信我，相互学习。为了大家方便看我分了多篇进行上传，每篇涉及的安装软件都回在前面罗列版本 /手动微笑hhhh
建议在配置的时候自己搞一张自己的配置图，以后维护的时候方便知道集群分布状态

本篇软件版本

虚拟机15.5.0
Linux系统—Centos6 严重不推荐使用6，因为官方的yum已经关闭，相当于6这个版本已经没有使用价值了，虽然我在后面提供了一个阿里的yum，但不保证后期使用没有问题
Linux系统—Centos7
上面两个系统大家选择一个即可

虚拟机安装

虚拟机的安装我觉得大家应该都没问题，所以我就不发了哈，（内心其实因为没有准备慌得一批）
这里给大家提供一个15的虚拟机秘钥以表歉意：UY758-0RXEQ-M81WP-8ZM7Z-Y3HDA

Linux6安装

1、点击新建虚拟机之后，不要典型，选择自定义

2、兼容性最好在10.0+

3、先跳过映射文件的指定，如果指定则会跳转到典型安装

4、根据准备的linux版本选择

5、自定义名字和存放路径

6、处理器按照电脑的cpu核数决定，可以默认

7、根据自己电脑的内存来决定，因为在配置大数据集群，且现在配置的做集群中较为繁重的任务，因此分配3到4G

8、指定网络类型

网络类型：
桥接——虚拟机可以上网，而且外网也能找到这台虚拟机；
NAT——虚拟机可以上网，但对外网是不可见的
其他两个看字面意思都知道不怎么可能用

9、如下选项如图选择

10、不一定要50，按照自己的实际情况而定，最好选择存储为单个文件

11、之后可以默认，也可以按需求自定义

12、指定映射文件、并开启虚拟机

13、开始安装并配置

启动虚拟机，进入如下界面后，选择第一项，回车确定。

在如下界面用键盘的方向键选择skip，回车确定，跳过安装检查。

上面的spik选项选择后，有的时候可能跳出一个没有本地安装媒体之类的警告，不要管，顶一会就会跳转到如下界面

原则上你要用英文，但是6的图形安装有点繁琐所以先用中文了，大家安装的时候用英文版对照就行

这一步除下图的界面中配置你的主机名，同时也可以配置网络，不过本博文在最后修改网络
设置密码自定义

之后分配磁盘空间，分配分区创建的时候要先选中空闲空间，而且注意创建的都是标准分区，下面提供几个图片供参考，分配的成品如下：

boot 200M
swap 2g
/ 剩余所有空间

注意：下面的三个分区，大家按照之前设计的空闲空间大小来决定你分配多少，一般是先配置swap和boot因为这两个是可控的，一般也都是固定值，剩下的根路径最后配置占剩下的所有空间

上面这张图点击下一步之后就要开始安装系统之前的配置了

首先不要自带的java平台，因为自带的可能版本不合适，之后其他的也要有一些勾选

这里创建的用户是一个除了root之外的常用普通用户

时间要自己指定不要同步，否则你会黑屏半大天，换不定起得来

推荐不要使用Kdump，当然这个也看个人

之后就可以登录的，账户和密码是之前设置的根账户和密码

右键单击小电脑，编辑ip地址，常用的是ipv4
这里注意的是网关见win系统中cmd运行ifconfig命令产看VM….8的网关，一般情况下宿主机就是我们的物理机的网关地址最后一位是1，而我们在linux中一般用的是2，这种配置网络的方式是ANT网络适配器的，如果你想用的是桥接那就是另一种配置方法了

也可以修改/etc/sysconfig/network-scripts/eth0文件，在该文件中一开始应该只有五、六条左右的数据，我们需要按照，没有就手动添加，有就修改的原则只修改如下的配置，之后重启电脑

使用自带浏览器查看是否可以访问百度，或者使用ping www.baidu.com命令查看网络是否通畅

最后的最后，一定要删掉原系统自带的/etc/yum.repos.d下的所有文件，并从新创建CentOS-Base.repo文件，编写如下内容

[base]
name=CentOS-6.6 - Base
baseurl=http://mirrors.aliyun.com/centos-vault/6.6/os/x86_64/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6[updates]
name=CentOS-6.6 - Updates
baseurl=http://mirrors.aliyun.com/centos-vault/6.6/updates/x86_64/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6[extras]
name=CentOS-6.6 - Extras
baseurl=http://mirrors.aliyun.com/centos-vault/6.6/extras/x86_64/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6[centosplus]
name=CentOS-6.6 - Plus
baseurl=http://mirrors.aliyun.com/centos-vault/6.6/centosplus/x86_64/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6[contrib]
name=CentOS-6.6 - Contrib
baseurl=http://mirrors.aliyun.com/centos-vault/6.6/contrib/x86_64/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6

最后运行如下命令

yum clean all && yum makecache

Linux7安装

linux7的安装和linux6在虚拟机的准备上没有太大的差别，大家看上面的6就可，注意的是选择的系统版本不同，之后不同的就是初次启动系统，这里直接展示初次启动系统的安装界面

1、在linux7启动之后不是6那样的LOGO加下一步，而是一个黑窗口，上下选择白色为当前选项，我们选择Install CentOS 7，选中后回车确定

2、回车之后系统会自动加载，我们需要等待一会，直到出现下面的界面，语言默认英文即可，点击右下角的下一步

3、出现如下界面我们需要对安装做一些基本的配置，大家根据自己的需要进行配置，看不懂因为的，下面有中文版图片

中文对照：

值得注意的是7的硬盘分区在配置的时候需要选择立即配置太可以，如下点击磁盘分区之后我们需要点击最下面的I will选项才可以进入配置分区界面

当前其他配置，也给大家展示中文对照

之后就进入下面的页面进行配置，我们根据6的配置就行

中文对照：

配置好之后，点击右下角开始安装，进入安装的最后一个页面，设置root账户密码，以及一个普通账户

安装结束后，右下角会出现，reboot重启按钮，重启后我们就可正常使用了

到此系统的安装完成，我们接下来要做的就是在虚拟机列表中右键单击我们刚刚安装好系统的虚拟机对它进行克隆操作，我们安装的是大数据集群仅此最少要准备三台虚拟机，克隆的操作就很简单了，克隆的时候需要注意一是存放位置，二是虚拟机名字，三是克隆方式，尤其是克隆方式个人建议全部克隆，不要用引用克隆就是所谓的克隆一个快照的引用，引用克隆后期使用巨麻烦，尤其是移植的时候，总之不到那种实在是物理存储空间不够的情况下，我个人不建议大家用这种方式，其他的选项看个人需要，啥都不会的网上搜，很简单的事情，这里就不再给步骤了

当然有一个辅助功能叫做VMTools，可以实现虚拟机和win直接相互拖拽文件，但我们做开发的一般很少用，我们都使用连接工具，要是实在想安装也可以网上找教程，我这里没有这东西的安装文档

最后注意一点后面的安装，最好要使用root用户进行

第二篇https://blog.csdn.net/dudadudadd/article/details/109659923

第三篇https://blog.csdn.net/dudadudadd/article/details/109679296

第四篇https://blog.csdn.net/dudadudadd/article/details/109719624

第五篇https://blog.csdn.net/dudadudadd/article/details/109726023

第六篇https://blog.csdn.net/dudadudadd/article/details/109744195

大数据原生集群本地测试环境搭建一相关推荐

大数据原生集群本地测试环境搭建六
本篇软件版本 Kylin2.5.1!!!!强烈建议不要和我一样原因下面解释 Datax MongDB_linux-x86_64-4.0.10 clickhouse20.8.3.18-1 集群最后完善 ...
大数据原生集群本地测试环境搭建三
本篇安装软件 Hive1.2 hue-3.9.0-cdh5.14.0 Zookeeper3.4 Kafka2.11-0.10 redis3.0.0 elasticsearch-6.6.2 elasti ...
大数据离线集群数据迁移实战项目
有赞大数据离线集群迁移实战一.背景有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营的 SaaS 系统和一体化新零售解决方案.随着近年来社交电商的火爆,有赞大数据集群一直处于快速增 ...
迁移到其他机器_有赞大数据离线集群迁移实战
‍‍ 点击关注"有赞coder" 获取更多技术干货哦- 作者:郭理想 & 任海潮部门:数据中台一.背景有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营 ...
大数据Hadoop集群搭建
大数据Hadoop集群搭建一.环境服务器配置: CPU型号:Intel® Xeon® CPU E5-2620 v4 @ 2.10GHz CPU核数:16 内存:64GB 操作系统版本:CentO ...
大数据Hadoop集群中常用的任务调度框架
在大数据的集群环境中,经常用到的任务调度框架有如下几个,根据公司的业务的需要选择适合自己的业务调度的框架, 调度框架anzkaban,crontab(Linux自带).zeus(Alibaba).Oo ...
四川大数据产业集群明年将基本成型
记者从9月23日在四川绵阳举行的第四届科博会"大数据·人工智能"论坛上了解到,预计2017年,四川大数据产业集群将基本成型. 目前,四川省正在朝着向全国乃至全球大数据研究和开发基地 ...
河北将建千亿元级大数据产业集群 14朵行业云覆盖京津冀
2016年启动建设的阿里张北云联数据中心和数据港项目一期工程已经完工,1.3万台服务器投入运营,支撑完成了2016年"双11"每秒17.5万单交易订单创建及每秒12万笔支付订单生产 ...
贵阳高新区大数据产业集群步入发展快车道
随着数据中心.呼叫中心.大数据广场等项目的建成,科技部批复我省依托贵阳高新区等开展贵阳大数据产业技术创新试验区建设试点,贵阳高新区大数据产业集群步入发展"快车道",截至去年底,高新 ...

大数据原生集群本地测试环境搭建一

前言