解决HDFS NameNode启动时Loading edits时间超长的问题（NameNode数据同步机制介绍）

背景

有个好久好久没怎么维护的Hadoop集群，一直在提供服务，也做了HA，由于某些原因要对HDFS做重启，重启前检查了遍服务，发现另一个NameNode已经挂了有一段时间了。

重启过程倒是没啥问题，但NameNode的Startup Progress特别久，持续Loading edits，将近3个小时。

分析

到NameNode的数据目录看了下，发现有大量的edits_*文件，加起来得有60G，这些文件也存在很久了，最早的文件貌似和StandBy NameNode挂掉的时间比较接近。edits文件很久没有做合并了，怀疑是跟另一个NameNode挂掉有关。

在网上也查了下NameNode合并的机制，果不其然，StandBy的NameNode平时并不是闲着的，虽然不对外提供服务，但是它会在后台默默的做edits的合并和JournalNode的同步等工作，合并edits文件后，也会同步给Active的NameNode，让它清理无用的edits文件。

SecondaryNamenode（也是StandBy NameNode）最重要作用，是定期合并FsImage和EditLog文件，并替换NameNode上的旧的FsImage文件，生成新的EditLog文件，替换原来的旧的EditLog文件。这样可以保证SecondaryNameNode上的文件为最近的信息。当发生宕机时候，可以快速恢复。

强制刷新edits文件

执行

hdfs dfsadmin -safemode enter

然后再执行

hdfs dfsadmin -saveNamespace

解决HDFS NameNode启动时Loading edits时间超长的问题（NameNode数据同步机制介绍）相关推荐

解决：hadoop2.5.2 HA启动时出现了两个standy的Namenode，没有出现active的Namenode
hadoop启动时报:Unable to trigger a roll of the active NN 错误. HA启动时出现了两个standy的Namenode,没有出现active的Nameno ...
Apache Hadoop 答疑：解决 Apache Hadoop 启动时 DataNode 启动异常的问题
文章目录前言一.启动 HDFS 并显示当前所有 Java 进程二.DataNode 启动异常场景描述三.DataNode 启动异常解决方式四.Web 界面检查 Hadoop 信息总结前言 ...
解决Word 2007启动时弹出“无法访问您试图使用功能所在的网络位置”的问题...
解决Word 2007启动时弹出"无法访问您试图使用功能所在的网络位置"的问题... 参考文章: (1)解决Word 2007启动时弹出"无法访问您试图使用功能所在的网络 ...
Jena Fuseki启动时 Failed to bind to 0.0.0.0/0.0.0.0:3030 解决办法 —— 修改启动时的端口号
问题在启动Jena Fuseki时可能会由于端口号被占用的问题导致引起报错: ERROR Server :: SPARQLServer: Failed to start server: Failed ...
解决：Docker 启动的容器内部时间比服务器时间晚 8 小时，容器内部时间与宿主机时间不一致
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 1.docker 方式启动容器 nexus3 ,运行正常,但查日志时发现容器时间比宿主机时间晚8小时 ...
android 时间应用程序,Android在首次启动时需要更多时间启动应用程序
在我的项目中,我使用了需要multidex支持的库. 根据我的研究,我发现它会导致应用启动时出现延迟. 我在gradle中启用了multidexfunction. defaultConfig {mul ...
解决：Spring启动时注入失败
在Spring启动时会帮我们自动装配一些组件,依赖注入,此时如果项目中自己定义的类名有相同的,或者自己定义的类名与引入的第三方包有相同的,就会引发冲突,原因是Spring在帮我们管理这些Bean时不知 ...
【疑难解决】EasyNVR启动时输出乱码是什么原因导致的，该如何解决？
不管是在Windows还是Linux平台,在EasyNVR的正常启动中,exe程序跑通后,即可直接后台运行,无需过多操作,一般启动失败都会在exe文件中前台显示出现.我们偶尔也会收到EasyNVR启动 ...
启动ubuntu什么时候按shift_解决 Ubuntu 在启动时冻结的问题
本文将向你一步步展示如何通过安装 NVIDIA 专有驱动来处理 Ubuntu 在启动过程中冻结的问题.本教程仅在一个新安装的 Ubuntu 系统上操作验证过,不过在其它情况下也理应可用. 不久前我买了 ...

解决HDFS NameNode启动时Loading edits时间超长的问题（NameNode数据同步机制介绍）

背景

分析

强制刷新edits文件

解决HDFS NameNode启动时Loading edits时间超长的问题（NameNode数据同步机制介绍）相关推荐

最新文章

热门文章