hyperic hq mysql_实战:用Hyperic HQ 诊断网站无法访问问题
问题描述
一直采用Hyperic HQ CRP监控 两个网站:
www.GoodU.info : “如是我闻”,记录每天不经意间看到的一些好文章,排版简洁,易于阅读,“你永远不知道下一篇是什么类型的文章。”
www.wongjingwingchun.com: “黄祯咏春会”,一个以咏春拳会友的的网站,由黄祯咏春传人免费教习,这里做个广告,欢迎参与。
周末休闲中,突然收到报警邮件,监控的网站无法访问。!!! ? ? ?
环境描述
采用的基本上是主流技术。
Centos6, 64bit,; Apache Httpd 2.2.15, MySQL 5.1.x ; Drupal;
在该服务器上安装了 HQ Agent 5.8;
分析过程
下面的图片是事后,恢复后的截屏,请着重看中间红点时间段部分:
打开监控的工具 http://demo.innovatedigital.com:7080/
CPU使用率和负载,在事发前出现异动,快速增加。
内存交换区,空闲内存和交换区使用大小,快速增加。这里,考虑到linux的内存管理机制,关注的是Free Memory(+buffers/cache), 而不是 Used Memory(变化不大). 很可能是某程序突然占用了大量的内存。
再看httpd , 每分钟的字节吞吐量和请求量,没有明显变化。
Busy Servers 和 Busy Workers 有所增长,但是 Keepalive 没有明显变化。问题的原因可能与Http 关系不大。
还需观察数据库,mysql, 其进程cpu使用率没有变化,内存有所减低,估计是其他进程用了大量内存,对mysql有所挤压,释放了一些内存。slow query数量有所增加。
那么是哪个进程突然占用了过多的内存和CPU? 请看,每个时间点采集的 top 结果,大量的rdp,这是什么?从来没有安装过,是rdesktop 还是 。。。? 在问题发生前几个时间点,有这些现象,再之前,并没有。
登录到该主机,发现在 /root/下 有 一个 .rdp 目录,里面的文件,包含了很多存放常用密码的文件。是被黑了? 哪位大虾有兴趣,可留言索取。
分析secure 日志,摘取几行如下:Aug 30 16:04:05 www sshd[1842]: Failed password for root from 111.74.238.167 port 1237 ssh2
。。。。。。
Aug 30 16:39:46 www sshd[2432]: Failed password for root from 202.109.143.35 port 4421 ssh2
。。。。。。
Aug 30 17:01:44 www sshd[2756]: Failed password for root from 117.21.173.175 port 2182 ssh2
。。。。。。
Aug 30 22:10:29 www sshd[5437]: Failed password for root from 222.186.34.36 port 3580 ssh2
。。。。。。
查一查哪里的IP?
111.74.238.167,202.109.143.35,117.21.173.175 江西省吉安市 电信; 222.186.34.36 江苏省镇江市 电信
难道不是山东的南翔技校?
初步结论
根据上面的情况,很可能是主机密码被猜到,从而象上面几个地址一样被利用。
措施
首先是修改密码,关闭ssh登录,采用vnc。
为了能够更早发现网站无法访问的问题,在HQ 中定义了一个服务,轮询某个特定的网页,根据返回时间和返回的数据判断是否发生了问题。具体如下:
定义一个http service , 名为 goodu.info 连接测试, 具体参数:主机名 www.goodu.info; 端口: 80; 超时时间:10秒;PATH: /gc/; method: GET; pattern: 如是我闻; Follow redirect: yes; 意思是 定期访问http://www.goodu.info/gc 如果返回的页面中有 “如是我闻”四个字,就认为是正常的。
然后,再定义一些报警等。 网站恢复后,请看一些图:
Mysql 运行状态:
主机运行状态:
留言
拜托各位***大虾对小站手下留情;
恳请各位高手指点 rdp 是什么? 希望得出更多结论.
hyperic hq mysql_实战:用Hyperic HQ 诊断网站无法访问问题相关推荐
- hyperic hq mysql_网络管理工具Hyperic HQ监控MySQL配置
MySQL是最流行的开放源代码关系数据库系统.其性能和易用性,使其成为LAMP架构的中心支柱之一. MySQL监控一直是关注MySQL数据库性能和MySQL数据库运维管理技术人员的非常感兴趣话题.如何 ...
- 渗透小实战 BSPHP验证系统存在未授权访问漏洞
额,今天工作 打打系统,一个BSPHP验证系统. 这个系统有一个算是中危的未授权访问漏洞,泄露了用户名和用户ID,KEY,登录时间等信息. POC http://127.0.0.1/admin/ind ...
- python 廖雪峰_实战 - 廖雪峰的官方网站
看完了教程,是不是有这么一种感觉:看的时候觉得很简单,照着教程敲代码也没啥大问题. 于是准备开始独立写代码,就发现不知道从哪开始下手了. 这种情况是完全正常的.好比学写作文,学的时候觉得简单,写的时候 ...
- python实战项目网站_python实战项目,搜索自己网站的关键词,使用代理并且模拟点击...
前面,我们介绍了 python实战项目,获取指定网站关键词百度排名,为seo提供参考资料,那为了满足自己的虚荣心,而且听说点击可以提升网站关键词的排名.不过模拟点击,欺骗搜索引擎肯定知道咱们的 IP ...
- 如何分析诊断网站(转载)
经常给人诊断网站,诊断了差不多有上千了吧.今天呢,就在这里和大家分享一下如何分析诊断网站.应该说学会分析和诊断网站还是很重要的,所谓知己知彼,百战不殆.只有充分的了解清楚自己和竞争对手,才能更好的生存 ...
- hyperic hq mysql_从源码编译构建Hyperic HQ
只是注意一点,在进行生产mysql数据库模式的时候,还需要加入一个环境变量 (.hq/build.properties):server.database=MySQL 附件是sql模式创建语句.可以直接 ...
- mvc5 ef6 mysql_[实战]MVC5+EF6+MySql企业网盘实战(17)——思考2
写在前面 今天吃饭回来,突然有一个更好的想法,这里做一下记录. 系列文章 [实战]MVC5+EF6+MySql企业网盘实战(17)--思考2 思路 平时如果要获取电脑上的文件,大都会采用递归的方式,所 ...
- 安装好panel部署MySQL_实战三种方式部署 MySQL5.7
作者:北京运维 常见的 MySQL 安装方式有如下三种: RPM 包方式:这种方式安装适合对数据库要求不太高的场合,安装速度快: 通用二进制包方式:安装速度相较于源码方式快,可以自定义安装目录. 源码 ...
- goldendb基于mysql_实战 | 追求卓越,砥砺前行 ——中信银行 GoldenDB 分布式数据库转型实践...
4.GoldenDB保证一致性(C) 本节将探讨GoldenDB是如何从技术上保证一致性的. (1)保证事务一致性. 为保证分布式事务一致性,业界主要有两种方案:两阶段提交(2PC)与最终一致性(EC ...
- add partition mysql_实战mysql分区(PARTITION)
前些天拿到一个表,将近有4000w数据,没有任何索引,主键.(建这表的绝对是个人才) 这是一个日志表,记录了游戏中物品的产出与消耗,原先有一个后台对这个表进行统计.....(这要用超级计算机才能统计得 ...
最新文章
- Windows Performance Toolkit
- 内地计算机科技学校,23所内地顶尖高校盘点!计算机学科哪家强?
- [iOS] 引用外部静态库时,(类别)目录方法无法加载问题
- Android studio的Activity详解
- controller接收json数据_SpringMVC实现多种数据类型绑定
- 断言java_Java几种常用的断言风格你怎么选?
- 2017江苏事业单位计算机类,2017年上半年江苏事业单位计算机岗真题
- Python的继承与多继承
- C语言如何作用于unity,在Unity 3D中使用C进行车轮转向#
- IEEEtran 的使用及 bibtex的文献类型
- 30岁选择回乡创业的90后告诉你,加盟汉庭酒店怎么样?
- cpu和内存占用过高,但是任务管理器中的进程占用的内存和cpu看不出来
- 《微观经济学》第八章 博弈论与寡头市场初步笔记
- canvas将彩色图片变为灰度图片理解问题
- 大恒相机-水星(MERCURY)系列 | 软件启动
- 【生产优化】基于matlab遗传算法求解帐篷工序问题【含Matlab源码 2145期】
- 地形建模(一)——TIN地形的生成
- Spring in Action 3 -The four kinds of autowiring
- Jquery取得动态id中的值
- 学人工智能买什么电脑?