个人PC搭建自己的Linux分布式集群
一、背景
跑spark mllib中的算法模型可能个人电脑虚拟机带不动（其实还是赋闲在家没事找事做：）），家里正好有两台闲置PC，然后自己又组了台主机，利用家里的路由器，把三台pc刷好Linux后，组建个集群
注：此时还不能算是个集群，搭建hadoop集群应该在下一篇博客
二、准备
1.三台主机
2.制作centos7的U盘启动盘
3.家用路由器和三根网线
三、安装
由于安装阶段无法截图，这里只能记录一下遇到的坑。
1.三台主机：
笔者准备的配置是：两台主机 8G内存+500G机械硬盘，一台笔记本 4G+500G机械硬盘
由于不打算再使用win，并且在安装阶段磁盘出现了问题，就使用diskgenius软件将三台PC的磁盘全部“清除分区”并“清除扇区数据”了。如果怕麻烦的朋友可以像笔者这样直接清空磁盘，如果有钻研精神的朋友可以再研究一下安装双系统。
2.制作centos的U盘启动盘
可以参照另一篇博客：https://mp.csdn.net/mp_blog/creation/editor/118480688
这是笔者自己安装centos成功后写的制作启动盘方法
3.安装centos
重启pc后进入bios选择u盘安装
按⬆️健选择install centos，因为默认是第二个
a.选择安装语言
安装centos一开始可以选择“中文”，不影响后续使用，只是安装阶段时是中文说明。
b.设置时区和时间
改成“亚洲”、“上海”时间根据自己当前时间修改。注：后续搭建集群可能要重新修改时间，因为如果两台机器时间相差太大，可能会通信失败
c.选择“最小安装”
因为后续打算远程连接，没有选择安装图形桌面
d.设置机器各目录大小
选择“标准”
视个人磁盘大小决定，笔者设置如下：
e.设置网络和hostname
由于一开始没买到网线：），暂时没设置网络；
底下有个框是设置hostname：根据习惯三台依次填入了：master、slave1，slave2
f.设置root密码
注意之前如果没设置网络和hostname 设置分区的时候可能是大写，所以密码中的英文可能是大写。
到此单台linux安装全部设置完成，可以点击安装，等待片刻即可安装成功
g.设置网络
重启进入centos7后，插上网线，此时centos ifconfig命令是用不起来的，并且网不能用，因为一开始没设置网络默认是关着的。
cd /etc/sysconfig/network-scripts
看一下网卡，一般是：
一般是ifcfg-enp开头。
修改这个文件：
保存退出后：service network restart
显示ok后，使用 ip addr 命令能看到自己网络信息
接着使用yum install net-tools，安装完成后能使用ifconfig命令（个人习惯这个命令）
h.设置静态IP
还是修改那个文件，新增几行信息：
设置静态ip时需先ping测试下当前设置的IP，是否无人占用
修改完成后，使用service network restart 重启
用其他机器ping 一下刚刚设置的ip能否ping通
此时设置基本完成
单台机器就可以远程连接了，后续两台也是这样搭建。
搭建hadoop集群的条件基本具备。
（pc在客厅，可以在房间躺在床上自由的玩耍啦
个人PC搭建自己的Linux分布式集群相关推荐
- 利用ZooKeeper框架在Vmware虚拟机中搭建3台Linux分布式集群
利用ZooKeeper框架在Vmware虚拟机中搭建3台Linux分布式集群 概述 配置 具体步骤 node1虚拟机制作 安装及固定IP 关闭防火墙 JDK安装 关闭SELinux 虚拟机克隆 固定I ...
- 手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...
- Zookeeper之Linux分布式集群搭建及客户端shell命令操作
一.准备至少三台Linux服务器及对应的jdk环境 1.服务器及jdk环境准备 服务器:至少三台Linux服务器 JDK环境:三台Linux服务器上都需要安装好jdk环境(jdk环境安装参考我的博客: ...
- 亿级Web系统搭建：单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层 ...
- Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录 安装三台 CentOS 7系统 一.X-Shell的准备工作 二.基本工具安装 三.关闭防火墙 四.修改Host文件 五.3.4.4 ...
- 学习搭建Hadoop+HBase+ZooKeeper分布式集群环境
一.环境配置 由于集群至少需要三台服务器,我就拿上次做的MongoDB Master, Slave, Arbiter环境来做Hadoop集群.服务器还是ibmcloud 免费提供的.其中Arbiter ...
- 新平台架构的解决方案，使用kratos快速搭建系统服务，做好分布式集群，找大一个哥们写的一系列文章，非常不错赶紧学习下。
目录 前言 1,关于kratos 2,相关文档 前言 本文的原文连接是: https://blog.csdn.net/freewebsys/article/details/109504012 未经博主 ...
- 一、史上最强hadoop分布式集群的搭建
史上最强hadoop分布式集群的搭建 @Author:by Runsen @data:2020-02-23 原创文章,禁止转载 人生最重要的不是所站的位置,而是内心所朝的方向.只要我在每篇博文中写得自 ...
- 第二节HDFS完全分布式集群搭建与配置及常见问题总结
提示:此文章内容超级全面和详细 文章目录 前言 一.HDFS完全分布式集群是什么? 二.HDFS完全分布式集群搭建与配置 1.HDFS完全分布式集群搭建库 2.HDFS完全分布式集群搭建配置 HDFS ...
最新文章
- 将图片的每个像素进行分类
- Java集合TreeSet
- Python基础-XML模块
- C Looooops POJ - 2115
- 移动端类似IOS的滚动年月控件（需要jQuery和iScroll）
- 如何查看bmp文件头_效率神器：史上最强最小文件搜索软件Everything!
- 【转】移动互联网应用测试成长技能树V1.0
- 谷歌浏览器 Chrome 最新版离线安装包下载地址
- 自动执行bash被拒绝 提示/bin/sh: /test.sh: Permission denied
- 亲属卡额度是什么意思_疯狂申请“平安大润发卡”，你会白干一场
- 关于power apps
- 一个人、一场梦、一座空城、一生心疼
- Google Chrome浏览器字体模糊不清
- 企业微信直播服务器,企业微信直播平台的利用
- Tensor是神马？为什么还会Flow?
- 工业自动控制过程中最好用SCADA软件推荐
- 李嘉诚励志语录创业经典100条
- 什么是含源一端口网络_什么是电子配线架？为什么要使用电子配线架？
- 开关功率器件（MOSFET IGBT）损耗仿真方法
- win10 uwp 参考