CDH WebUI无响应问题记录

起因：

目前公司的测试环境和生产环境集群都是由本人搭建，技术选型只要基于CDH6.2.0-1.cdh6.2.0.p0.967373进行集群安装，并增加自定义组件以支持业务。

现象：

在无任何改动的情况下，最近出现WebUI状态无显示的问题，通过ClouderaManager无法对集群进行重启、停止等操作，相当于整个集群脱离页面控制。但本身的内部组件并未受到影响，如Hive、Spark、HDFS等组件依然正常使用。启动Service Monitor、Host Monitor 也没反应、无报错。

首页状态如下图（没有任何反应，且无法完成重启等操作）：

排查记录：

1.在排查的过程中，首先是对集群服务进行了重启，一般来说，重启能解决大部分无法解决的问题（笑）。本步记录如下：

# 每个agent节点执行
systemctl stop cloudera-scm-agent
# 在server节点执行
systemctl restart cloudera-scm-server
# 每个agent节点执行
systemctl start cloudera-scm-agent

很遗憾，从结果来看这个问题并不是那么好搞定的。

2.排除了服务本身的问题，第二步检查了防火墙、NTP等配置，依然没有异常。

3.追踪/var/log中的cloudera-scm-agent日志，其中并没有明显异常，但是出现了一个直接搜索本次异常的关联结果，出现了 NFS异常导致HOST MONITOR及AGENT服务错误 的解决方案，但是参考结果后发现没有帮助，所以继续排查...

4.追踪/var/log中的cloudera-scm-agent日志，其中出现了一个NoSuchElementException：此安装正在运行Cloudera Express的异常。遗憾的是，这个也不是需要命中的问题。Cloudera Express 提供了对集群的管理功能，比如自动化部署，中心化管理，监控，诊断功能等。

5.此时需要关注的，还包括集群本身的问题，所以聚焦到cloudera-scm-server很有必要，在/var/log/cloudera-scm-server的日志中，找到了大量的WARN，并且一旦打开首页的status页面，就会疯狂报警告：com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor

至此，定位到了问题。

解决方案：

1. 将CDH安装目录下/opt/cloudera/cm/webapp/WEB-INF/spring/mvc-config.xml中以下内容注释掉。

<bean class="com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor" />

2.然后重启Cloudera-scm-server和Cloudera-scm-agent。

问题解决。

反思：

这个问题是因为spring添加的拦截器导致，CDH使用nginx代理导致一些静态文件无法加载，将正常的通信识别为csrf攻击拦截，所以出现底层功能可用，但上层监控无法获取到信息。关闭即可。感谢万能的互联网先驱者。

CDH WebUI无响应问题记录相关推荐

记录WIN10选择文件右键后资源管理器无响应的解决方法
现象:WIN10选择文件,右键文件后资源管理器无响应解决方法:找到一种亲测可用的解决方法,即清除文件资源管理器历史记录详细操作: 1.打开文件资源管理器 2.点击左上角[文件],点击[选项],找到 ...
【记录】Office 2019关闭时无响应解决方法
Office2019不论是word还是excel关闭时都会无响应一段时间,非常影响使用. 尝试过: 禁用硬件加速,无效! 关闭 print Spooler 服务 ,无效! 双击窗口缩小,再放大,无效! ...
pyqt designer connect无响应_如何用PyQt编写桌面程序，创建并打开播放列表？
由于电脑上的短视频太多了,并且分别存放在各个子目录下,每次更新后想要整理视频比较麻烦,因此想用Python编写程序来辅助管理视频文件.其实写个Python脚本程序即可实现大器的需求,但为了多练习PyQ ...
微信分享无响应的解决
微信分享无响应的解决最近使用友盟的社会化分享,集成到程序中进行分享功能的开发. 可是一开始还是可以正常使用,今天突然发现微信分享(好友分享和朋友圈分享)均是点击没有响应,也就是点击后,没有任何回馈, ...
调试实战 | 通过转储文件分析程序无响应之使用 windbg + IDA 逆向篇
缘起最近,接连在项目中遇到了两个界面无响应的问题.都只发生在客户特定机器上,不方便直接调试,只能抓取 dump 进行事后分析了. 抓取 dump 远程连上可以重现问题的机器,使用 process e ...
mysql事务锁导致tomcat崩溃_数据库连接池连接耗尽，导致tomcat请求无响应，呈现出假死状态...
最困难的事情就是认识自己! 个人网站 ,欢迎访问! 前言:最近,测试部门的同事找到我,说他们测试时,没一会就发现服务接口请求一直无响应,Tomcat跟死掉了一样,也没有返回任何的错误响应,说让我赶紧排 ...
tgp饥荒服务器无响应,饥荒TGP版常见运行问题有哪些_TGP版礼包领取及邀请添加好友方法详解_快吧单机游戏...
<饥荒>TGP版常见运行问题有哪些呢,玩家们是不是很想知道呢?下面小编为玩家们带来了<饥荒>TGP版礼包领取及邀请添加好友方法详解,还不知道的玩家快来看看吧. 1.皮肤礼包如何 ...
python PyQt5程序运行界面无响应
写在前面此文档仅记录本人遇到的问题及解决办法,并非涵盖所有最近写一个股价监控小程序,在改进为界面程序后,每次运行到耗时方法时界面就卡死,无响应,花费了很长事件才把问题解决了,记录一下原因分析程 ...
微信读书总是跳出连接服务器有问题,微信读书经常无响应怎么回事
摘要腾兴网为您分享:剪映,西瓜视频,爱奇艺视频,唱吧app,酷狗等知识经验教程,欢迎大家关注腾兴网. 不少小伙伴们在使用微信读书的时候,发现经常会出现无响应的情况,很多小伙伴们不知道这个该怎么办,想 ...

CDH WebUI无响应问题记录

CDH WebUI无响应问题记录相关推荐

最新文章

热门文章