之前的文章中我们已经将master节点的网络IP、hostname文件、hosts文件配置完成,接下来还有hadoop相关配置文件需要修改。今天我们来讲master节点hadoop的配置。

1、hdfs-site.xml

在hadoop的配置文件中与HDFS(hadoop分布式文件系统)相关的是hdfs-core.xml文件。在伪分布集群中只有一个节点,因此此节点即要有NameNode功能也要有DataNode功能。在工作环境中这两个是不会在一个节点上的,在我们的多节点分布式集群中master只运行NameNode因此需在hdfs-site.xml文件中删除DataNode相关配置。

打开虚拟机在终端中输入cd hadoop/etc/hadoop 命令进入hadoop配置文件目录。

终端输入命令vim hdfs-site.xml进入vim编辑界面,按下图步骤删除原来伪分布集群配置的DataNode相关配置,并将数据冗余数量设置为2。

输入i进入编辑模式,编辑后的文件内容如下所示。

最后退出编辑模式,保存并退出。

2、core-site.xml

在core-site.xml中指定一个节点运行hdfs服务。在之前伪分布集群中只有一个节点,因此我们使用的是localhost,如今在集群中有三个节点,我们约定使用master。

在终端中输入vim core-site.xml按下图操作修改配置文件。

修改后内容如下所示

记得退出并保存。

3、yarn-site.xml

在yarn-site.xml里可以修改与资源管理模块YARN相关的一些配置。

终端中输入 vim yarn-site.xml进行以下更改,将资源调度管理任务放置于master节点上

最终修改后的文件内容如下图所示。

4、mapred-site.xml

进行以下更改,主要添加mapreduce运行历史记录监控端口和网页端口。

同样,在终端输入vim mapred-site.xml开始编辑配置文件,配置内容如下所示

最后保存并退出。

5、slaves

slaves文件指明哪些节点运行DateNode进程,这里我们的集群中运行DataNode进程的节点有slave1、slave2。因此需将这两节点保存到slaves文件中。

在终端中输入 vim slaves命令编辑文件,编辑后的文件内容如下图所示。

最后保存slaves文件并退出编辑。到这里master节点上的hadoop相关配置已经完成了。

接下来我们要通过克隆master及slave1虚拟机来扩展集群。

6、生成slave1节点

通过克隆master 生成slave1节点的过程与之前克隆伪分布节点的操作是一致的这里不再赘述,唯一区别是在执行到下图步骤时注意将虚拟机名称设置为slave1并选择正确的存储位置方便管理。还有一点,被克隆的虚拟机一定要关机状态才可以被克隆。

slave1节点与master节点在hostname、IP地址、Hadoop配置这几个方面是有些差异的,在复制好slave1节点之后需进行配置。

6.1 配置IP地址

在前面文章中提到过slave1节点IP地址应设置为固定的值:192.168.79.12。详细的配置方法步骤已经在配置master节点时介绍过,配置slave1节点时可以参考一下。修改完成后的配置结果如下图所示,点击save保存即可。

6.2、修改hostname

保存并退出

6.3、修改Hadoop配置项

hdfs-site.xml

保存并退出之后重启slave1节点查看配置是否生效。

7、生成slave2节点

Slave2与slave1在Hadoop相关配置内容上是一致的,因此通过克隆slave1节点来生成slave2可以减少一些操作步骤。

克隆slave1节点时的操作步骤同样参考之前文章内容,区别是执行到下图步骤时记得更改虚拟机名称为slave2并更改存储目录(存储目录自己定义)。

7.1、配置IP地址

克隆完成后打开slave2虚拟机并配置其IP地址。配置过程与之前配置master节点IP过程一致,只是IP地址需改为192.168.79.13结果如下图所示,点击save保存即可。

更改Hostname,在终端中输入sudo vim /etc/hostname并回车执行,根据提示输入密码

输入i编辑hostname文件,文件内容如下所示为slave2,然后保存退出。

重启虚拟机测试配置是否生效,重启命令为sudo reboot

slave2重新启动后打开终端,输入命令ifconfig查看IP设置及虚拟机名,如下图所示配置已经生效。

到这里我们的hadoop集群安装配置完成。接下来的文章我会给大家介绍一下hadoop集群如如何启动。

hadoop slaves文件_hadoop:分布式集群参数master节点的配置!相关推荐

  1. Hadoop学习笔记—13.分布式集群中节点的动态添加与下架

    Hadoop学习笔记-13.分布式集群中节点的动态添加与下架 开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如 ...

  2. hadoop配置文件_Hadoop分布式集群

    Hadoop分布式集群的详细介绍,首先Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式.这篇文件介绍如何搭建完全分布式的hadoop集群,一个 ...

  3. CentOS 7上搭建Spark 3.0.1 + Hadoop 3.2.1分布式集群

    CentOS 7上搭建Spark3.0.1+ Hadoop3.2.1分布式集群 VMWare 安装CentOS 7 使用Xshell连接虚拟机 集群设置 安装JDK 1.8 SSH 免密登陆 安装ha ...

  4. Hadoop 2.7.2 分布式集群搭建-操作指南(不断更新)

    文章目录 1.Hadoop运行环境的搭建 1.1 虚拟机环境准备 1.1.1 克隆虚拟机 1.1.2 克隆完成后的配置 1.1.2.1 修改克隆后虚拟机的ip 1.1.2.2 修改IP地址 1.1.2 ...

  5. Hadoop安装教程_分布式集群

    安装前的准备 伪分布式的设置 集群的规划 集群的初始设置 网络配置 SSH无密码登陆 java及apache环境设置 安装流程 主机的安装 集群的安装 效果与验证 安装注意 模式切换 参考资料 安装前 ...

  6. hadoop单机及完全分布式集群的安装

    1. hadoop 我Hadoop的安装目录为/usr/local/workspace/hadoop 2.hdfs 2.1 单机模式 单机模式即不使用分布式模式,无需启动namenode和datano ...

  7. 不仅性能秒杀Hadoop,现在连分布式集群功能也开源了

    就在昨天(2020年8月3日),涛思数据团队正式宣布,物联网大数据平台TDengine集群版开源.此次开源,我们在GitHub上传了23.9万行源代码,1198个源文件,包含我自己疫情期间写的一万余行 ...

  8. hadoop分布式集群搭建,包含网络配置-hadoop3环境

    先准备三台或者五台虚拟机(我这里写三台,实际我用的五台) 在安装centos时可以在选择(最小安装还是图形化界面处)有配置网络的,把网络先配置好,这样就不需要在重新配置了 先配置一台主机,后两台克隆即 ...

  9. Kubernetes(k8s)1.14 离线版集群 - 部署master节点

    声明: 如果您有更好的技术与作者分享,或者商业合作: 请访问作者个人网站 http://www.esqabc.com/view/message.html 留言给作者. 如果该案例触犯您的专利,请在这里 ...

最新文章

  1. 不敢相信?System.currentTimeMillis()存在性能问题
  2. 搭建consul 集群
  3. nginx发布antd-pro项目(别人发的,未测试)
  4. 解决 Ubuntu 无法更新软件问题
  5. 太优秀了!GitHub 标星 40000+ 的大佬和他们的公众号
  6. delphi 调 web api_小程序web同构Kbone
  7. python函数编程实战_别找了,这是 Pandas 最详细教程了
  8. [转载]使用命名管道实现进程间通信
  9. python泰坦尼克号数据预测_机器学习入门之Python机器学习:泰坦尼克号获救预测一...
  10. Unity3D实践1:摄像机跟随
  11. java多线程02-----------------synchronized底层实现及JVM对synchronized的优化
  12. 用计算机函数,信息技术应用 用计算机画函数图象教案设计(一等奖)
  13. 专业PDF转换Word/PPT/Excel工具:AnyBizSoft PDF Converter绿色便携版
  14. wget无法批量下载气象数据的解决方案(Python、迅雷批量下载气象数据方法)
  15. 2020计算机毕设选题推荐可视化方向,前端方向本科应届生有什么毕设选题推荐?...
  16. JVM 性能调整的一些基本概念
  17. 五款实用的项目管理软件
  18. 网络游戏中玩家在线数据的存取
  19. python mysql版本查看_怎么查看mysql版本
  20. 编写一个移动的游戏背景(含素材视频教程)

热门文章

  1. Cocoa 框架 For iOS(二)对象的分配初始化、内省、单例
  2. 由于Coinbase插件,BCH被5000万商家接受
  3. 比特币现金与比特币呈竞争关系 分析表示加密货币之间的竞争不是坏事
  4. react学习笔记(二)编写第一个react组件
  5. 2008 R2 辅域安装和卸载(加域、退域及组策略的测试)
  6. 智能安防市场的痛点是什么?
  7. 从零开始学 Java - Spring 集成 Memcached 缓存配置(二)
  8. [实战] 用数人云,部署弹性 ELK 集群就五步
  9. 使用json-lib实现json to javabean
  10. JDBC读取新插入Oracle数据库Sequence值的5种方法