【数据平台】关于Hadoop集群namenode format安全事故
1、问题：重启namenode后提示连接失败，居然执行了format命令，出现了很严重的安全事故。
2、教训：对于生产集群，一定要建立运维安全体系，对于高危命令要做权限控制。
3、对于备份的理解：
1）由于所操作的集群namenode和secondary namenode是同一台机子，secondary只发挥在namenode当机下充当namenode的作用，而没有独立保存元数据结构和日志，导致无法从secondary恢复数据。
2）对于dfs.namenode.name.dir路径下namenode保存的fsimage_和edits_要预先做备份，最好是设置双路径，以便从fsimage_和edits_中恢复。
hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name><value>/data/hadoop-2.7.2/current/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/data/hadoop-2.7.2/current/data</value></property>core-site.xml
<property><name>hadoop.tmp.dir</name><value>/data/hadoop-2.7.2/current/tmp</value></property>上面三个路径的数据在format前要注意备份。
4、对于format前的工作，要先前上面三个路径备份后再执行。
5、hadoop的集群有不同的情况，生产的集群和研发的集群在安全级别上有不同的管理。
6、checkpoint参考：http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html
【数据平台】关于Hadoop集群namenode format安全事故相关推荐
- 大数据平台，Hadoop集群架构，概述及原理
目录 一,大数据平台架构概述 1,大数据概念 2,大数据的特征 3,大数据的处理流程和相关技术 4,大数据平台架构的特点 5,大数据平台架构原理 二,Hadoop集群概述 1,HDFS 2,MapRe ...
- 大数据平台搭建及集群规划
CDH大数据平台搭建之集群规划_码上_成功的博客-CSDN博客_cdh集群规划 大数据Hadoop分布式集群部署(详细版)_arnoldmp的博客-CSDN博客_分布式集群部署 大数据平台的硬件规划. ...
- 大数据项目开发hadoop集群搭建 python爬取前程无忧招聘网信息以及进行数据分析和数据可视化
大数据项目开发实训报告 一.Hadoop环境搭建 1: jdk的安装 1):在linux系统下的opt目录下创建software 和 module 两个目录 2):利用filezilla工具将 jdk ...
- CDH大数据平台搭建之集群规划
CDH大数据平台搭建之集群规划 前言 一.集群规模 二.集群规划 总结 前言 话说无规矩不成方圆,搭建CDH大数据平台之前需要的工作很多,首先,你需要计算公司每日的数据量,来确定需要多少服务器,确定好 ...
- 【大数据】搭建Hadoop集群，超级详细
目录 搭建完全分布式运行模式(开发重点) 1.1 Hadoop部署 1.2 配置集群 1.3 配置历史服务器 1.4 配置日志的聚集 1.5 分发Hadoop 1.6 群起集群 1.7 Hadoop群 ...
- 大数据1-淘宝Hadoop集群的概况(转)
国内外使用Hadoop的公司比较多,全球最大的Hadoop集群在雅虎,有大约25,000个节点,主要用于支持广告系统与网页搜索.国内用Hadoop的主要有百度.淘宝.网易.华为.中国移动等,其中淘宝的 ...
- 本地日志数据实时接入到hadoop集群的数据接入方案
1. 概述 本手册主要介绍了,一个将传统数据接入到Hadoop集群的数据接入方案和实施方法.供数据接入和集群运维人员参考. 1.1. 整体方案 Flume作为日志收集工具,监控一个文件目录或者一个文 ...
- 配置两个Hadoop集群Kerberos认证跨域互信（两个集群互通）
配置两个Hadoop集群Kerberos认证跨域互信 两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Had ...
- 大数据平台分布式搭建-Hadoop集群配置
Section 1: 文件清单 hadoop-2.8.4.tar.gz jdk-8u181-linux-x64.tar xshell 7家庭版 xftp 7家庭版 Section 2: 下载链接 [J ...
最新文章
- jieba分词流程及部分源码解读（一）
- mgr未同步 mysql_MySQL Group Replication（多主同步复制MGR）
- (转)数据库设计范式深入浅出
- 《乔布斯传》读后感---成功的启示
- python练习集100题_8道关于python的练习题
- linux 日期 通配符,Linux常用基础命令下（grep,history,du,date,通配符,alias,rm,mv,cp）
- execjs执行js出现window对象未定义时的解决_10个常见的JS语言错误总汇
- xshell 打开文件跳转到最后_如何在Xshell中打开Xftp
- SPSS Ver24.0安装包及详细步骤【SPSS 077期】
- 客户端navicat安装教程
- shellcode免杀
- 今天微软开放了WPF的参考源代码（081026更新）
- my.cnf配置详解
- 1.1.1 什么是程序？
- TopOn广告SDK——聚合广告SDK
- 3dmax 焊接顶点死活焊接不上的爬坑日记。
- 25岁阿里120W年薪架构师推荐学习的750页微服务架构深度解析文档
- origin pro 2021去水印
- 计算机动画基本概念,计算机三维动画基本概念简介
- 【蓝桥杯】算法训练，数字三角形