Hadoop服务器集群崩溃的解决方案

1、正常启动的集群102、103、104

在这里模拟某一个节点挂掉（以杀死进程的方式模拟namenode服务器挂掉）

这个时候去查看之前上传的文件，依然能够查看，但是该节点已经不能够下载文件，能够查看文件是因为该文件在其他的服务器上有文件备份。

点击下载发现下载失败

namenode服务器挂了之后，第一反应是重新格式化hdfs,重启服务器，

重启服务器，需要先停止之前的

102服务

103服务

104服务

所有的服务停止完毕后，再重新开启

发现有些节点并没有起来，而且服务也不能访问。

2、解决方案和原因分析

通用解决方案：
- 停止所有的服务
- 删除所有的 data目录和logs目录
- 重新初始化 hdfs namenode -format
- 重启服务

导致失败的原因：第一次初始化启动集群的时候，每一个服务器都会生成data目录，同时包含一个namenode的版本号，版本号一直，就能够正常启动，如果两次版本不一致，就会导致服务无法启动，所以删除所有的data目录和logs目录，就是为了保证版本号一直，服务正常启动。

第一次初始化生成的版本号

第二次生成的版本号

Hadoop服务器集群崩溃的解决方案相关推荐

Hadoop入门集群崩溃的处理方法
文章目录集群崩溃的处理方法搞崩集群错误示范正确处理方法 1 回到hadoop的家目录 2 杀死进程 3 删除每个集群的data和logs 4 格式化 5 启动集群总结原因分析集群崩溃的处 ...
Hadoop 服务器集群搭建
背景简介: 服务器分类: 体型: 小型机大型机 X86服务器(PC server) 品牌: IBM HP Dell 曙光浪潮等 X86服务 ...
Hadoop服务器集群安装部署及配置
配置Hadoop 配置jdk 配置从节点服务器主机名称:
hadoop集群崩溃恢复记录
一.崩溃原因搭建的是一个hadoop测试集群,所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话,数据就会失去.但不幸的是,刚好就有一台机器由于负载过 ...
Hadoop集群大数据解决方案之MapReduce 程序实战进阶(自定义partitionsortgroup)（六）
准备在上一篇博客举了个简单的word count,重在说明mapreduce的流程,但是针对mapreduce的编程,程序员能控制的,远远不止map和reduce,还有诸如partition, ...
【整理学习Hadoop】Hadoop学习基础之一：服务器集群技术
服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器.集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任 ...
构建服务器集群感知的 Java 应用程序
Mukul Gupta, 高级技术架构师, DGI Paresh Paladiya, 高级技术架构师, CGI 简介: 服务器集群对于高度可扩展的 Java 企业级应用程序开发已司空见惯,但是应用程序 ...
hadoop小型集群_小型Hadoop集群的Ganglia配置和一些故障排除
hadoop小型集群 Ganglia是一个针对大型集群的开源,可扩展且分布式的监视系统. 它收集,汇总并提供数十种与计算机相关的指标(例如CPU,内存,存储,网络使用情况)的时序视图. 您可以在UC ...
Hadoop分布式集群的安装与部署实训总结报告
目录前言一.Hadoop平台框介绍 1.Hadoop的架构 2.HDFS:遵循主从架构,它具有以下元素. 2.1 名称节点 -Namenode 2.2 数据节点 - Datanode 2.3 块 ...

Hadoop服务器集群崩溃的解决方案

1、正常启动的集群102、103、104

2、解决方案和原因分析

Hadoop服务器集群崩溃的解决方案相关推荐

最新文章

热门文章