大数据||Hadoop分布式部署虚拟机
分布式部署
- 伪分布式。一台机器运行所有的守护进程，从节点datanode、nodemanager
- 完成分布式。
有多个从节点。
datanodes、nodeManager。多节点其实就是多了几个datanode和nodemanager。
如何配置多个节点？
在配置文件$Hadoop/etc/hadoop/slaves中添加节点。
0、停掉 hdfs和yarn的服务
1、设置固定ip并重连
机器规划
克隆虚拟机方式1
克隆虚拟机方式2
复制hadoop-senior2重新命名为hadoop-senior3
在VMware Workstation中打开hadoop-senior3
修改mac地址
命令
在虚拟机中自动生成mac地址
修改自动生成的eth1 删除eth0
修改mac地址并reboot
命令
image.png
修改第二台虚拟机的mac及ip
mac
修改自动生成的eth1 删除eth0
修改ip
修改mac文件并重启服务
修改主机名
命令：vi /etc/sysconfig/network
配置ip与主机域名映射
说明：在集群环境中ip会发生变化，所以使用域名来代替ip地址，这样程序不需要改变。因为程序里面配置的是域名。
命令：vi /etc/hosts
测试
命令： ping hadoop-senior02.beifeng.com
创建集群文件夹
mkdir /opt/app
大数据||Hadoop分布式部署虚拟机相关推荐
- 大数据hadoop环境部署
大数据hadoop在linux环境下的部署安装,包括单节点模式.伪分布模式以及完全分布式模式
- BIG DATA 神奇的大数据 - Hadoop（Linux）环境搭建与部署
自说 Hadoop的运行环境有两种,分别是windows和linux系统,Linux更适合作为服务器操作系统,也更加方便使用. 学习路径 BIG DATA 神奇的大数据 - hadoop简章 准备工作 ...
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程...
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
- 涵盖从java入门到深入架构，Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有
[涵盖从java入门到深入架构,Linux.云计算.分布式.大数据Hadoop.ios.Android.互联网技术应有尽有] 1.javascript视频教程 链接: http://pan.baidu ...
- 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程：解决典型Hadoop分布式集群环境搭建问题
王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题 参考文章: (1)王家林的&quo ...
- 大数据场景中语言虚拟机的应用和挑战
点击上方蓝字关注我们 大数据场景中语言虚拟机的应用和挑战 吴明瑜1,2, 陈海波1,2, 臧斌宇1,2 1 领域操作系统教育部工程研究中心,上海 200240 2 上海交通大学软件学院并行与分布式系统 ...
- 【大数据Hadoop实战篇】
大数据Hadoop实战篇 第1章 Hadoop概述 1.1 Hadoop是什么 1.2 Hadoop发展历史(了解) 1.3 Hadoop三大发行版本(了解) 1.4 Hadoop优势(4高) 1.5 ...
- 03 大数据hadoop发展简史及环境安装
文章目录 大数据hadoop发展简史及环境安装 1.hadoop的介绍以及发展历史 2.hadoop的历史版本介绍 3.hadoop三大公司发型版本介绍 3.1免费开源版本apache: 3.2免费开 ...
- Python +大数据-Hadoop生态-Linux(二)-集群搭建和安装
Python +大数据-Hadoop生态-Linux(二)-集群搭建和安装 今日课程学习目标 1.掌握Linux用户.权限管理 2.掌握Linux常用系统命令 3.掌握服务器集群环境搭建 4.了解sh ...
最新文章
- input限制文字个数但是输入中文时会被切断_Python文字转换语音，让你的文字会「说话」抠脚大汉秒变撒娇萌妹...
- 【组队学习】【32期】Linux实践
- java怎么清空表释放空间_Linux 删除文件未释放空间问题处理，下清空或删除大文件...
- HTML5 蔡徐坤打篮球游戏 NMSL❤️❤️❤️
- html-loader无效,html-loader加载失败
- 【云周刊】 第211期：“阿里巴巴小程序繁星计划”：20亿扶持200万小程序开发者和100万商家...
- Ps雅点设计合成大师
- BLDC无刷直流电机驱动电路-硬石电子
- joy数据向量化处理
- 英语语音篇 - 元音自然拼读
- 自动化（四）appium真机远程控制和远程群控
- CDHtmlDialog屏蔽网页右键菜单
- canvas实现走势图实现
- androidQ(10.0) 读取蓝牙设备当前电量并显示
- 语义分割网络系列1——FCN
- 【阿旭机器学习实战】【15】人脸自动补全(多目标回归)，并比较5种不同模型的预测效果
- python统计字母出现次数代码用while_py_while循环及基本运算符
- spark sql的行转列
- 尚硅谷_SpringMVC笔记
- linux用分割的csv文件读取,在Linux中将制表符分隔的文件转换为CSV的最快方法