山东省枣庄市台儿庄区云平台运维故障处理一例
故障现象：
外网访问页面显示不正常，Template Error!
接到反馈后，远程到服务器，执行service nginx restart ，提示磁盘满，无法继续。
查看磁盘占用情况，磁盘/目录占用100%,磁盘空间满。
执行
find / -size +100M -exec ls -lh {} \;查找100M以上的文件，发现主要大的是NGINX的日志：
一天的NGINX日志大到30多个G，太离谱了！！！
切割文件的最后Ｎ行到新的文件中
tail -n 1000 access.log >> 111.log
这样做，主要是太大的文件我用VI无法打开。
查看最新的日志：
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
对比正常的其它服务器：
http://10.10.14.199/dsideal_yy/golbal/getValueByKey?key=common.rongyun.suffix
{"common.rongyun.suffix":"_199"}
继续查看此服务器：
http://10.24.0.7:7777/dsideal_yy/golbal/getValueByKey?key=common.rongyun.suffix
{"common.rongyun.suffix":"_zztez"}
也不是404啊！！！！
访问一下http://10.24.0.7,居然可以访问的到！！！！！！还显示welcome to Nginx!!!!我们是7777的端口啊！！！
查看一下80端口是什么东东在使用：
yum install lsof
lsof -i tcp:80
[root@bogon conf]# lsof -i tcp:80
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
nginx 243175 root 10u IPv4 2358009951 0t0 TCP *:http (LISTEN)
nginx 243176 root 10u IPv4 2358009951 0t0 TCP *:http (LISTEN)
nginx 243178 root 10u IPv4 2358009951 0t0 TCP *:http (LISTEN)
nginx 243179 root 10u IPv4 2358009951 0t0 TCP *:http (LISTEN)
nginx 243180 root 10u IPv4 2358009951 0t0 TCP *:http (LISTEN)
根据pid查文件位置：
ps 243175
[root@bogon conf]# ps 243175
PID TTY STAT TIME COMMAND
243175 ? Ss 0:00 nginx: master process /usr/local/openresty/nginx/sbin/nginx -c /usr/local/openresty/nginx/conf/nginx.conf
到这里很显示了，还是这个配置文件有问题，里面配置了两个端口：7777和80
server {listen 80;server_name office.edusoa.com;location ^~ /yjj/ {proxy_pass http://221.194.113.150/;
}location ^~ /pingli/ {proxy_pass http://61.134.47.35:9999/;
}}这个东东明显就是垃圾，注释掉，并手工删除超大的日志文件，世界清静了~
回头想想，这是两个问题：
1、即然配置了7777，为什么还保留了80，这是明确的错误。
2、就算是同时配置了80和7777，那个大量的404错误从哪里来？？
{"ip":"10.24.0.6","request_method":"GET","request_uri":"/dsideal_yy/golbal/getValueByKey","args_get":"key=common.rongyun.suf
fix","args_post":"-","browser":"Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0","cookie":"-","request_time"
:"12/Jan/2018:07:52:15 +0800","http_status":"404"}
很明显，是10.24.0.6这台机器上来的，这是一台windows主机，是处理程序发过来的请求，它在干什么？为什么不去访问7777的端口？？
补充：
1、在访问时，发现访问不了，直接while true了，这里应该是停止或者休息一会。
2、处理程序在访问全局变量时居然没有加上端口！！！！！造成继续访问80，这就是几个错误集中在一起，导致了问题出现，血的教训！！！
转载于:https://www.cnblogs.com/littlehb/p/8274073.html
山东省枣庄市台儿庄区云平台运维故障处理一例相关推荐
- 云平台运维的一些心得
现在云计算时代,越来越多企业将业务搬到云上了,很多做运维的同胞们,或多或少都会接触过云平台. 相比传统运维,很多一些日常操作只需要点点按钮就搞定了,一下子运维工作就变得简单了很多. 所以问题来了,云平 ...
- 腾讯云私有云平台运维面试
文章目录 概述 JD 岗位描述 一面 二面 三面 HR面 概述 根据会议将面试问题进行总结,很多问题感觉当时没回答好,这是为啥呢?应该还是不熟练吧,或者不善于表达.将次经历分享出来,大家多练练. JD ...
- 什么是容器服务_携程万台规模容器云平台运维管理实践
*本文来自于周昕毅在GOPS全球运维大会上的分享,由高效运维公众号整理,略有修改* 前言 本文将分享携程在私有云平台管理实践过程中踩过的坑和遇到的问题,包含: 第一部分,携程容器云概览 第二部分,容器 ...
- IaaS基础架构平台运维③
任务一.IaaS云平台搭建(15分) 修改云平台IaaS各节点的系统配置,按云平台搭建步骤逐步安装,并完成相应的答题. 1.操作系统环境配置(1分) 按以下要求设置主机名.防火墙及SELinux: ( ...
- 华为云确定性运维，为政务云平台稳定可靠运行保驾护航
摘要:在"一切皆服务"的战略下,华为云基于积累的综合治理经验,提出并实践了"确定性运维"方案. 本文分享自华为云社区<华为云确定性运维,为政务云平台稳定可 ...
- 1+X云计算平台运维与开发认证（中级）样卷A-实操过程
相关内容: 1+X云计算平台运维与开发认证(中级)样卷A-过程与答案 1+X云计算平台运维与开发认证(中级)样卷B-过程与答案 1+X云计算平台运维与开发认证(中级)样卷C-过程与答案 1+X云计算平 ...
- 1+X云计算平台运维与开发认证（中级）样卷D-过程与答案
相关内容: 1+X云计算平台运维与开发认证(中级)样卷A-过程与答案 1+X云计算平台运维与开发认证(中级)样卷B-过程与答案 1+X云计算平台运维与开发认证(中级)样卷C-过程与答案 1+X云计算平 ...
- 腾讯云TCA运维认证题库内容、考试攻略及例题示范
互联网行业作为这几年大热大火的行业,除了收入非常可观外还有非常广阔的前景,也有许多人对于这个行业有很多憧憬和向往.随着越来越多的人开始进入互联网行业工作.行业的需求面扩大,也就有越来越多的职业出现.腾 ...
- 阿里云智能运维的自动化三剑客
整理 | 王银 出品 | AI科技大本营(ID:rgznai100) 近日,2019 AI开发者大会在北京举行.会上,近百位中美顶尖AI专家.知名企业代表以及千余名AI开发者进行技术解读和产业论证.而 ...
最新文章
- 《Arduino实战》——第1章 你好Arduino
- 几种P2P流媒体开源项目介绍
- JSON 是个什么？？！！！
- js中字符串转为对象或者json
- node-GetPOST
- 牛客网_PAT乙级_1016程序运行时间(15)
- 【最新合集】IDEA 快捷键整理
- html中的容器和语义标签
- 有一次面一非常想去的 飞鸽传书绿色版 公司
- 判断Javascript变量类型的函数
- layui totalRow 多层嵌套json_自定义 Behavior，实现嵌套滑动、平滑切换周月视图的日历...
- Swift 提示 error running playground...
- 渣男，你为什么有这么多小姐姐的照片？因为我Python爬虫学的好啊❤️！
- 概率论与数理统计——贝塞尔校正（Bessel‘s Correction）
- 计算机技术与课堂教学整合,浅谈信息技术与课堂教学深度融合
- 单片机c语言中的精确延时程序,单片机精确毫秒延时函数
- 百度识图api连接与解析详细数据
- int和long long有符号整形 负数比正数多一个
- vim 的 markdown 预览
- python pyecharts生成图表