阿里云主机

16.12.14日11：37分宕机，第一时间收到短信，ssh远程远法登录，阿里云控制台，无法登录。查看CPU和内存，没有鸟用，只能重启。

11：40分，正常登录主机，查看messages

Dec 14 11:30:50 iZ258fuhh93Z systemd: Started Session 178481 of user root.
Dec 14 11:30:50 iZ258fuhh93Z systemd: Starting Session 178481 of user root.
Dec 14 11:30:51 iZ258fuhh93Z systemd: Started Session 178479 of user deploy.
Dec 14 11:30:51 iZ258fuhh93Z systemd: Starting Session 178479 of user deploy.
Dec 14 11:30:52 iZ258fuhh93Z systemd: Started Session 178480 of user deploy.
Dec 14 11:30:57 iZ258fuhh93Z systemd: Starting Session 178480 of user deploy.
Dec 14 11:33:41 iZ258fuhh93Z systemd-logind: Failed to start session scope session-178482.scope: Connection timed out (null)
Dec 14 11:34:20 iZ258fuhh93Z systemd-logind: Failed to abandon session scope: Connection timed out
Dec 14 11:35:37 iZ258fuhh93Z crond: sendmail: fatal: parameter inet_interfaces: no local interface found for ::1
Dec 14 11:35:37 iZ258fuhh93Z systemd: Started Session 178485 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Starting Session 178485 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Failed to start Session 178482 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Failed to start Session 178483 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Started Session 178484 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Starting Session 178484 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Started Session 178486 of user deploy.
Dec 14 11:35:37 iZ258fuhh93Z systemd: Starting Session 178486 of user deploy.
Dec 14 11:36:35 iZ258fuhh93Z systemd-logind: Failed to abandon session scope: Connection timed out
Dec 14 11:36:59 iZ258fuhh93Z systemd: Started Session 178487 of user deploy.
Dec 14 11:36:59 iZ258fuhh93Z systemd: Starting Session 178487 of user deploy.
Dec 14 11:36:59 iZ258fuhh93Z crond: sendmail: fatal: parameter inet_interfaces: no local interface found for ::1
Dec 14 11:37:06 iZ258fuhh93Z crond: sendmail: fatal: parameter inet_interfaces: no local interface found for ::1
Dec 14 11:37:07 iZ258fuhh93Z systemd: Started Session 178488 of user deploy.
Dec 14 11:37:07 iZ258fuhh93Z systemd: Starting Session 178488 of user deploy.
Dec 14 11:37:13 iZ258fuhh93Z crond: sendmail: fatal: parameter inet_interfaces: no local interface found for ::1
Dec 14 11:37:13 iZ258fuhh93Z crond: sendmail: fatal: parameter inet_interfaces: no local interface found for ::1
Dec 14 11:39:34 iZ258fuhh93Z kernel: atkbd serio0: Unknown key released (translated set 2, code 0x0 on isa0060/serio0).
Dec 14 11:39:34 iZ258fuhh93Z kernel: atkbd serio0: Use 'setkeycodes 00 <keycode>' to make it known.
Dec 14 11:39:34 iZ258fuhh93Z kernel: atkbd serio0: Unknown key released (translated set 2, code 0x0 on isa0060/serio0).
Dec 14 11:39:34 iZ258fuhh93Z kernel: atkbd serio0: Use 'setkeycodes 00 <keycode>' to make it known.
Dec 14 11:39:34 iZ258fuhh93Z systemd: getty@tty1.service has no holdoff time, scheduling restart.
Dec 14 11:39:35 iZ258fuhh93Z systemd: Failed to fork: Cannot allocate memory
Dec 14 11:39:35 iZ258fuhh93Z systemd: getty@tty2.service: Supervising process 48 which is not our child. We'll most likely not notice when it exits.

Dec 14 11:39:39 iZ258fuhh93Z systemd: Started Session 178490 of user deploy.
Dec 14 11:39:40 iZ258fuhh93Z systemd: Starting Session 178490 of user deploy.
Dec 14 11:39:40 iZ258fuhh93Z systemd: Started Session 178489 of user deploy.
Dec 14 11:39:40 iZ258fuhh93Z systemd: Starting Session 178489 of user deploy.
Dec 14 11:40:53 iZ258fuhh93Z rsyslogd: [origin software="rsyslogd" swVersion="7.4.7" x-pid="471" x-info="http://www.rsyslog.com"] star

Dec 14 19:40:46 iZ258fuhh93Z journal: Runtime journal is using 8.0M (max allowed 189.5M, trying to leave 284.3M free of 1.8G available → current limit 189.5M).
Dec 14 19:40:46 iZ258fuhh93Z kernel: Initializing cgroup subsys cpuset
Dec 14 19:40:46 iZ258fuhh93Z kernel: Initializing cgroup subsys cpu
Dec 14 19:40:46 iZ258fuhh93Z kernel: Initializing cgroup subsys cpuacct

>>>>>>> 重启

Dec 14 19:40:46 iZ258fuhh93Z kernel: Linux version 3.10.0-327.10.1.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.3 20140911 (Red Hat 4.8.3-9) (GCC) ) #1 SMP
Tue Feb 16 17:03:50 UTC 2016
Dec 14 19:40:46 iZ258fuhh93Z kernel: Command line: BOOT_IMAGE=/boot/vmlinuz-3.10.0-327.10.1.el7.x86_64 root=UUID=6634633e-001d-43ba-8fab-202f1df93339 ro crashkernel=auto vco
nsole.font=latarcyrheb-sun16 vconsole.keymap=us biosdevname=0 rhgb quiet LANG=en_US.UTF-8 net.ifnames=0
Dec 14 19:40:46 iZ258fuhh93Z kernel: e820: BIOS-provided physical RAM map:
Dec 14 19:40:46 iZ258fuhh93Z kernel: BIOS-e820: [mem 0x0000000000000000-0x000000000009fbff] usable
Dec 14 19:40:46 iZ258fuhh93Z kernel: BIOS-e820: [mem 0x000000000009fc00-0x000000000009ffff] reserved
Dec 14 19:40:46 iZ258fuhh93Z kernel: BIOS-e820: [mem 0x00000000000f0000-0x00000000000fffff] reserved

分析日志发现主要问题是内存耗尽，无法创建ssh链接进程，可想，可能是什么服务耗尽了内存，导致服务器宕机

该问题很有可能和昨天晚上上的新任务有关系，要具体业务进行分析。

其次发现每次的cron任务里有发送邮件失败的问题，上网找到解决方案，解决它：

sendmail: fatal: parameter inet_interfaces: no local interface found for ::1

原因跟IPv6有关，解决办法就是让postfix只用IPv4。

打开文件：/etc/postfix/main.cf

把

inet_protocols = all

改成

inet_protocols = ipv4

完了之后执行

service postfix restart

服务器宕机记录16.12.14相关推荐

  1. 华为顶尖应届生最高年薪超 200 万；抖音服务器宕机；GitLab 12.1 发布 | 极客头条...

    快来收听极客头条音频版吧,智能播报由标贝科技提供技术支持. 「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有 ...

  2. 谷歌公布 12 月 14 日服务器宕机的主要技术原因

    谷歌技术团队于 18 日发布了谷歌 12.14 服务器宕机事件的完整报告. 问题摘要 2020 年 12 月 14 日星期一,需要谷歌 OAuth 访问且面向客户的谷歌服务出现死机,并持续了 47 分 ...

  3. 一次服务器宕机的排查记录

    服务器宕机的排查记录 生产环境凌晨突然宕机,日志报错数据库链接超时 cpu.内存 磁盘 飙升 系统采用了springcloud 架构,通过阿里云的监控对比,发现仅仅一台服务器的宕机 分析日志发现,宕机 ...

  4. 记一次服务器宕机处理过程

    今天整理之前的运维资料,发现了自己整理的一次刀片服务器(运行的vmware虚拟化)事故处理流程,所以记录下,备忘. 一.事件处理过程 14:10 接到机房运维工程师通知,Opmanager监控系统上出 ...

  5. linux服务器宕机分析/性能瓶颈分析

    linux服务器宕机分析/性能瓶颈分析 服务器宕机原因很多,资源不足.应用.硬件.系统内核bug等,以下一个小例子 服务器宕机了,首先得知道服务器宕机的时间点,然后分析日志查找原因 1.last re ...

  6. 从春运分析服务器宕机原因

    春运,这一号称人类历史上规模最大的周期性人类大迁徙,2011年如期而至,在从1月19日开始为期40天左右的时间内,铁道部预计客流量将达28.5亿人次,快要把我国大众运个来回了.如此浩大的客流,造就了一 ...

  7. 服务器宕机自动dns,有哪些同时支持智能解析和宕机自动切换的DNS服务？

    RT 可以支持按区域.运营商线路智能解析,服务器宕机自动切换解析. 免费或者价格不太高的.  目前了解到华为云完全免费,唯独没有宕机监控. DNSPOD如果想实现上述功能,套餐价格不菲-- 求大佬们推 ...

  8. 网站服务器宕机怎么办,服务器宕机了该怎么办？

    原标题:服务器宕机了该怎么办? 导读 如果Web服务器已经虚拟化,试着ping物理服务器自己的真实IP.这样可以帮助你进一步隔离问题.如果完全无法ping同服务器,而且也已经确定完全检查了网络连接,那 ...

  9. web网站服务器宕机应急,web服务器的宕机诊断方法

    宕机诊断方法编辑步骤1:发生了什么事 系统管理员必须肩负起分析和判断Web服务器宕机原因的责任.需要解决如下的问题: 是否是断电,发电机测试以及其他类似问题影响了整体物理环境? 和Web服务器的通信是 ...

最新文章

  1. html可以导入MySQL吗_将数据从HTML文件(带有嵌入式JavaScript)导入MySQL数据库
  2. CDN边缘JavaScript敏捷交付实践
  3. dubbo admin默认端口_Dubbo学习(四) Dubbo 从下载到编译成功
  4. Spring框架 IOC
  5. iOS关键代码遭泄露；Google正式抛弃HTTP；微博网页版出故障 | 一周业界事
  6. Sublime Text实现代码自动生成，快速编写HTML/CSS代码
  7. ssm大型分布式商城项目实战视频教程下载java分布式开发教程
  8. 计算机图像图形处理相关概念
  9. Wireshark网络抓包
  10. 搭建资金运营体系提高企业的运营能力
  11. 大学四年，我把私藏「B站」 20 个学习 UP 主贡献出来！
  12. 信息搜集：网络空间搜索引擎（Shodan)语法及API应用案例
  13. Android仿淘宝、京东Banner滑动查看图文详情
  14. python读取json文件转成excel_Python实现读取json文件到excel表
  15. Mac制作win to go后的驱动文件
  16. ibm服务器报错代码大全_IBM x系列服务器报错代码
  17. CMake是什么？有什么用？
  18. 缺氧游戏 不给计算机加水,缺氧中的物理学攻略 温度/装饰/水压/热导图文详解...
  19. Java实现 LeetCode 373 查找和最小的K对数字
  20. 有没有可以测试充电宝电流电压的软件,USB充电电流/电压检测仪USB电流和电压测试仪移动电源测试...

热门文章

  1. 保险行业“智慧化”，数字化运营方案
  2. c语言中的“宏”是指什么？
  3. 任务管理器一次性结束多个进程/任务
  4. Java设计模式面试题及答案（持续更新。。。）
  5. 政务使用区块链技术，网络安全风险不容小觑
  6. 重要！Google Play评分规则更新，提升近期评论权重
  7. 企业不懂如何选择低代码平台？看看这20家优秀的厂商
  8. linux login as,PuTTY登录后SSH提示login as怎么回事？
  9. Kotlin协程 - - - 协程的简单使用
  10. DevExpress 控件使用之BarManager