Hadoop全分布集群搭建

前言：这篇文章很长，是一个完整的Hadoop全分布集群搭建实验。代码高亮部分有完整的过程。照着就可以做出来。
经验：注意文件不要写错，注意用户目录

创建虚拟机

操作系统:CentOS 7.4

创建新的虚拟机(+)

典型(推荐)(T)

安装程序光盘映像文件:选择.iso文件下载镜像文件

虚拟机名称(这里我设为Master),位置在输入名称后会生成一个文件夹可自定

磁盘容量用默认20G-将虚拟磁盘拆分成多个文件(M)

自定义硬件-此虚拟机的内存2G(2048MB)

(计算:Master主机1台1-2G;Slave从机2台1-2G;Windows系统2G;总共8G)

然后就可以完成,开始创建虚拟机了~等待它开机按照文字指引选择需要的选项回车即可

安装CnetOS 7.

WELCOME TO CENTOS 7.

这里先安个中文,往下拉或搜索框输入chi,选择【中文-简体中文(中国)】即可

有!的地方(安装位置)点进去左上角[完成(D)]

软件选择(S):这次我用【最小安装】,如果需要桌面可以用GNOME左面或者其他.使用方法差不多.只是最小安装就是用命令控制

安装过程中可以顺便设置一下root密码和创建用户.我创建了一个叫hadoop的用户

安装过程大概几分钟,完成后重启

登录用户

进入后会提示localhost login和Password,分别输入对应的用户名和密码即可

这里我用的是用户hadoop;密码123456

创建用户操作

如果前面没有创建用户,先登录root用户

使用useradd命令创建用户

shutdown -h now#关机
shutdown -r now#重启
useradd 用户名#创建用户
password 用户名#设置用户密码
userdel -r#删除用户

配置IP-连接网络

VMware操作

编辑(E)-虚拟网络编辑器(N)-更改设置(C)

查看VMnet8,设置为NAT模式

子网IP(I):192,168.66.0 子网掩码(M):255.255.255.0
[NAT设置(S)…]

网关IP(G):192.168.66.2

物理机设置:
控制面板\网络和 Internet\网络连接在此路径下,VMnet8需是已启用状态
可通过网络和共享中心-更改适配器设置进入并修改

CentOS配置

这个最小化安装,刚开始把用图形化界面和打好包的虚拟机的我搞傻了,那些个gedit,vim一个都没,它没联网,又不能安装…笑着做下去

Hadoop全分布平台搭建-单词统计[完整]CentOS[详细]相关推荐

Hadoop 全分布模式平台搭建
现将博客搬家至CSDN,博主改去CSDN玩玩~ 传送门:http://blog.csdn.net/sinat_28177969/article/details/54138163 Ps:主要答疑区在本帖 ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
基于Hadoop的数据分析平台搭建
企业发展到一定规模都会搭建单独的BI平台来做数据分析,即OLAP(联机分析处理),一般都是基于数据库技术来构建,基本都是单机产品.除了业务数据的相关分析外,互联网企业还会对用户行为进行分析,进一步挖掘 ...
hadoop基础教程(二) MapReduce 单词统计
1.这是hadoop基础系列教程,适合入门者学习. 2.MapReduce是一种分布式计算模型,解决海量数据问题,由两个阶段组成,map()和reduce().本文不讲解原理,下面实际操作利用MapR ...
运行Hadoop自带的wordcount单词统计程序
1.使用示例程序实现单词统计 (1)wordcount程序 wordcount程序在hadoop的share目录下,如下: 1 2 3 4 5 6 7 8 9 [root@leaf mapreduce ...
直播平台搭建｜实现完整直播流程，考验直播平台性能
直播平台搭建的意义是为了实现完整的直播流程: 前处理: 最重要的部分是实时GPU渲染美感,前处理中还要去除水印.时间戳等,这也是在直播平台必要的防范措施.实时美颜本身就相当考验APP厂商的技术经济实力 ...
Hadoop大数据平台搭建课程笔记
课程介绍大数据基本介绍 4V特征体量大:体量庞大高速:数据产生速度快.存储速度快.处理速度快多样化:数据的种类和来源多样化.结构化.非结构化.半结构化数据价值:密度低.体量庞大,有价值的数据 ...
Windows下Hadoop eclipse开发平台搭建
搞了一个下午,在Linux和Windows下都成功了,步骤相差不大.一些小问题,google一下就能解决.但还是推荐在linux下搭建,很容易切稳定. 1.必要条件 Cygwin :我的版本是目前最新 ...
Hadoop大数据平台搭建(一)
虚拟机准备(本节针对于初学者) vmawre.xshell.centos7镜像及搭建包自提地址已放在评论区. 目录虚拟机准备(本节针对于初学者) 1.节点规划 2.虚拟机安装 3.启动虚拟机配置网关 ...

Hadoop全分布平台搭建-单词统计[完整]CentOS[详细]