大数据集群失联问题解决方案

我们之前维护的集群经常性地出现失联的情况，大数据集群上，还有es集群在跑，在凌晨左右集群会有随机的机器间歇性失联，cpu飙高，ssh登录不了。
在尝试了诸多方法后，通过每天定时清理缓存的方式解决了集群失联的问题。生产环境的大数据集群每天会有大量缓存，若不清理，就会导致内存使用率一直居高不下，长此以往，集群机器就容易失联。

手工释放linux内存

To free pagecache, use
echo 1 > /proc/sys/vm/drop_caches;to free dentries and inodes, use
echo 2 > /proc/sys/vm/drop_caches;to free pagecache, dentries and inodes, use
echo 3 >/proc/sys/vm/drop_caches.

选择echo 3 >/proc/sys/vm/drop_caches可以直接清理pagecache, dentries and inodes

在跳板机上，写个脚本，加入定时任务，即可

cd /etc
mkdir mission
cd mission
vim clean_cache.sh

#!/bin/bash
for i in {xxx..xxx}; do ssh 192.168.xx.$i "echo 3 > /proc/sys/vm/drop_caches"; done

crontab -e

0 0 * * *       /etc/mission/clean_cache.sh
0 12 * * *      /etc/mission/clean_cache.sh

每天0点和12点，各跑一次，清理集群缓存，可以有效解决集群失联问题

查看任务运行状况
cat /var/log/cron

大数据集群失联问题解决方案相关推荐

阿里云TSDB在大数据集群监控中的方案与实战
目前大部分的互联网企业基本上都有搭建自己的大数据集群,为了能更好让我们的大数据集群更加高效安全的工作,一个优秀的监控方案是必不可少的:所以今天给大家带来的这篇文章就是讲阿里云TSDB在上海某大型互联网 ...
克服大数据集群的挑战
克服大数据集群的挑战数据存储曾经是大数据的最大挑战.由于云计算基础设施的进步,存储数据不再是关键问题.如今,数据科学家所面临的最大问题是数据收集. 集群化使得大数据分析更容易.然而,集群也给数据工程 ...
小知识点：ARM 架构 Linux 大数据集群基础环境搭建（Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node）
换了 M2 芯片的 Mac,以前 x86 版本的 Linux 大数据集群基础环境搭建在 ARM 架构的虚拟机集群上有些用不了了,现在重新写一份基于 ARM 架构的,少数不兼容之外其他都差不多,相当 ...
大数据集群搭建全部过程（Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn）
大数据集群搭建进度及问题总结所有资料在评论区那里可以得到第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...
Hadoop+Spark 大数据集群日常1 （There are 0 datanode(s) running报错处理）
Hadoop+Spark 大数据集群日常1 由于项目涉及Hadoop+Spark大数据集群,特写此文档,方便将来处理类似问题参照,也为后人提供解决方案. 本人才疏学浅,文档难免有错漏与不妥之处,欢迎与 ...
【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署
[大数据集群搭建-Apache]Apache版本进行大数据集群各组件环境部署 1)大数据环境统一 1.1.设置主机名和域名映射 1.2.关闭服务器防火墙和Selinux 1.3.服务器免密登陆 1.4 ...
那些年，我们迁移过的大数据集群
大数据集群迁移这件事,不知道有多少同学做过.我说的不是把一个集群的数据备份到另一个集群上.我指的是整个数据平台与大数据相关的所有集群及业务的迁移工作,从一个机房到另一个机房. 具体范围可能包括:从离线 ...
数据蒋堂 | 大数据集群该不该透明化？
作者:蒋步星来源:数据蒋堂本文约1500字,建议阅读5分钟. 通过本文为大家解读大数据集群透明化的利弊! 这好像是个多余的问题,大部分大数据平台都把集群透明化作为一个基本目标在努力实现. 所谓集群 ...
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
2019独角兽企业重金招聘Python工程师标准>>> 转载请务必注明原创地址为:http://dongkelun.com/2018/04/25/ambariConf/ 前言本文是 ...

大数据集群失联问题解决方案

大数据集群失联问题解决方案相关推荐

最新文章

热门文章