最近有个网站首页打不开,偶尔报504错误,如图所示,这是nginx直接返回的。

今天下午16:00多又出现了,看了下阿里云数据库连接,其实在晚上2:00也出现了一次。这个图是后来问题已经解决了获取的,数据库连接的请求数已经降下来了。

现在似乎是数据库压力很大,由于我们的数据库服务器同时有好几个库在线上,并不确定是其他系统把数据库拖垮还是当前这个系统的原因。

使用语句查询数据库的会话数

SQLSERVER 查看当前连接数
Select * from sys.dm_exec_connections --此命令可以看到有多少人在连
Select * from sys.dm_exec_sessions --此命令可以看到有多少会话,一个连接可以有多个会话

从图中大致定位到还是之前报504的网站对数据库的请求数很多。

定位到具体应用就可以上对应的服务器去进一步去查

先看CPU是比较正常的

再查PHP-FPM的进程数

正常情况下php进程只有10个左右,一下子变成这么多肯定说明是外界有很大的请求数。

但是为了确定是不是php出现什么异常导致进程无法结束,所以结束所有进程,重启php-fpm.。

发现没过多久又出现很多的进程数,所以可以得出结论:这说明nginx报504的原因是外界的请求是持续的,导致数据库压力巨大请求不过来,所以nginx报504。

然后查这个时候的nginx日志最近500条数据

#tail -n 500 /usr/local/nginx/logs/access.log >>500_20160218-1712.txt

从日志里看出主要是百度和搜狗的蜘蛛在爬行,百度是一直在爬行的,应该是比较稳定不会导致网站突然流量剧增,而且据说百度会控制访问的频率,保证不把网站爬挂。

看来后面的日志,发现这个时间段搜狗的蜘蛛爬行数量是非常多的,由于蜘蛛是用集群在爬,所以屏蔽IP是没用的,只能在nginx里屏蔽请求头。

server {listen       80;root        /www/;index  index.php;#禁止特定爬虫的抓取if ($http_user_agent ~* "Sogou web spider") {return 403;}

然后重新结束php进程,启动php进程,发现整个进程是非常平稳的维持在10个

说明就是搜狗搞的事情,当务之急只能先这么着了,谁让搜狗没有多少用户群呢,后续的解决方案还是使用缓存,所以从这个事情得出一条非常重要的结论,尽量使用缓存,不要因为网站现在很稳定就不使用缓存,因为网站随时会遇到这种访问量突发的情况。

屏蔽搜狗之前:

屏蔽搜狗之后:

下面是从nginx日志中分析出来的各种蜘蛛对网站的爬行数据排名靠前的几个,其实已经屏蔽了谷歌等很多用处不大的爬虫,但是还是有很多爬虫在爬:

看的出来搜狗一天怕了不少。

特定IP抓取网站数据,其实是和指针类似,但是这类抓取一般会不定时,所以需要监控php进程,及时屏蔽对方IP

监控php-fpm进程数

#!/bin/sh
echo `date '+%Y-%m-%d %H:%M:%S'` "php进程数>>>"`ps -ef | grep php-fpm | wc  -l` >> /usr/wwwyuanboweb/phpfpm.txt

如果要做进程不存在重启之类的事情

#!/bin/sh
ps -ef | grep php-fpm | wc  -l
if [ $? -ne 0 ]
then
echo "start process....."
else
echo "runing....."
fi
#####

需要windows到linux转码

# yum install -y dos2unix
# dos2unix ./t.sh

或者

vi t.sh
:set fileformat=unix
:wq 

还需要给shell脚本权限

#chmod +x ./t.sh

#contab  -e

*/1 * * * * /bin/bash  /usr/wwwyuanboweb/t.sh

查指定时间段的nginx日志

# sed -n '/23\/Feb\/2016:13:45:00/,/23\/Feb\/2016:13:50:59/'p /usr/local/nginx/logs/access.log>>20160223-1345-1350.txt

屏蔽指定的IP

通过iptables屏蔽某些或者某个IP地址达到屏蔽效果
# iptables -I INPUT -s 192.168.38.174 -j DROP //屏蔽单个ip
# iptables -I INPUT -s 192.168.38.0/100 -j DROP //屏蔽某段ip

网站监控数据

PHP网站首页打不开的原因讲起相关推荐

  1. 9号服务器奔溃第二天网站首页被k,网站首页被k多长时间可以恢复?网站首页被k有哪些原因呢?...

    对于站长来说,最怕的就是网站内容没有收录,辛苦做起来的排名下降.任何一个网站想要有个不错的点击量,就需要不断进行优化改造,我们常见的就是SEO优化,主要有关键词优化.黑帽白帽.外链等措施.网站排名在搜 ...

  2. 刚换服务器网站就被k了,网站首页被K的原因有哪些?网站首页被K多久可以恢复?...

    在SEO工作中,我们经常讨论一件事,那就是网站首页是K,虽然这个问题很常见,但是因为首页是K有很多原因,曾经让SEO人员很头疼. 我们知道首页对于整个站点来说,有着非常重要的意义,当首页是K标志时,我 ...

  3. 登录网站空间无法连接服务器,网站空间打不开的处理办法

    作为一个网站空间服务商,在日常运营过程中,我们听到最多的就是网站打不开了.那么这时候,我们应该要冷静处理.打不开的原因是非常多的,而且随着技术更新,还有新的发展,下面仅总结一下我在平时管理中发现的几个 ...

  4. 网站首页被K的原因及其恢复方法

    最近在推一把上面回答朋友问题发现最近提问询问"首页被K"的人比较多,笔者的站也有几个首页被干掉了.具体是什么原因及其怎么恢复首页收录呢请往下看. 首页被K症状: 1.首页从百度消失 ...

  5. 使用代理服务器打不开网页_导致网站打不开的原因有哪些

    我们在网上查询资料时经常会遇到网站打不开,浏览器打不开的情况,这是上网时候广大网友经常碰见的问题,那么今天,天企网络将针对网页打不开这一问题问题做一做综合的分析,让您对网站打不开的原因有哪些有一个全面 ...

  6. 服务器上iis网站打不开,IIS网站打不开的原因和解决办法

    IIS网站打不开的原因和解决办法 一. 为什么IIS中的其中一个"应用程序池"中的所有网站为什么打不开? 有用户问:"为什么其中一个网站所属的"应用程序池&qu ...

  7. 网站打不开的原因有那些呢?

    网络21世纪不可缺少的东西.相信大家都碰到过网站打不开的事,那么打不开的原因有那些呢,有该怎么去解决呢? 1.服务器软件软件多少.稳定和软件的正确配置,都会影响到服务器环境,以致影响到网络速度.服务器 ...

  8. 网站首页百度快照迟迟不更新的几种可能原因;

    经常有朋友问,为什么我的网站首页快照迟迟不更新呢? 首页百度快照不更新的几种原因,作为参考,希望能对亲们有帮助: 对于首页百度快照为什么不更新这个问题,是很苦恼的问题.通过认真的分析,总结出了几个导致 ...

  9. 把百度网站设为首页_大仙SEO:如何解决网站首页百度收录后被删除?【SEO案例】...

    前天(5/20)看数据的时候,发现5118数据直线下降,跌的有些厉害,猜测网站应该出问题了.这个时候不要慌(内心实则慌的一批),在等等看,会不会是百度自身的一些调整.算了分析分析网站吧!site看网站 ...

最新文章

  1. DL645规约学习笔记-一帧数据解释
  2. __CLASS__ get_class() get_called_class()区别
  3. npm: 权限阻止修复
  4. [ARM异常]-ARMV8-aarch64 异常(中断)是如何跳转到向量表的
  5. 谈谈 JavaScript 中的空值合并操作符 Nullish coalescing operator
  6. 服务器漏洞文件被删除漏洞,【华中科技大学 - 漏洞预警】Wordpress = 4.9.6 任意文件删除漏洞...
  7. Java笔记-JNI中Java与C语言解决中文乱码问题
  8. 编程语言安全性排行榜:Ruby最佳,C语言漏洞最多?
  9. iphone android传照片大小,iPhone竟然可以传文件到安卓机?99%的人都不知道
  10. C++11 实现线程池
  11. 毕业设计-仓库管理信息系统设计与实现(论文+源码+ppt答辩+开题报告+任务书)
  12. MessAPI V1.1.1 QQ音乐、网易云音乐、酷狗音乐、咪咕音乐、酷我音乐、百度音乐API接口
  13. 网上商城-java基础练习项目-仿照雷蛇商城
  14. 计算机安全中采用的用户身份验证技术主要有,探究用户身份认证技术在信息安全中运用的意义...
  15. 锅圈食汇:火锅食材超市先行者 正离“火锅“越来越远
  16. OLED屏幕还未普及,移动VR没有想象中爆发那么快
  17. CAD制图神器-CAD专用键盘
  18. 吃鸡神器!12G+128G 平板电脑吃鸡贼爽,送!
  19. python小游戏井字棋(人机对战)
  20. 编辑python用什么输入法_微信Python输入法, 两个地球首发!

热门文章

  1. 如何使用postman测试流文件_干货|如何用Postman做集成测试
  2. 信息服务器已停止工作,游戏服务器已停止工作
  3. 电脑怎么连蓝牙耳机_蓝牙耳机怎么关机
  4. 独立服务器和虚拟服务器的区别,BlueHost虚拟主机与独立服务器的主要区别
  5. linux的翻译系统开发,Linux系统下的翻译神器——Goldendict
  6. oracle oud什么意思,oracle 在linux上,如何使用oud工具恢復truncate 表中的记录? 超急!请帮帮忙...
  7. 优达学城《DeepLearning》项目1:预测每日自行车租赁客流量
  8. ffmpeg + opencv 把摄像头画面保存为mp4文件
  9. Linux那些事儿 之 戏说USB(20)设备的生命线(三)
  10. Linux那些事儿之我是Sysfs(9)sysfs文件系统模型