# ECS从入门到精通（错误排查）

# Linux启动与登录问题

Linux 启动与登录问题是 ECS 的高频问题，而往往处理不及时会直接影响到 用户业务的正常可持续运行，因此也变成了我们处理问题优先级的重中之重。在云环境上影响 ECS 启动与登录的因素非常多，镜像、管控、虚拟化、底层 硬件、系统与文件异常等等，本文仅从系统与文件本身角度，在大量处理经验 的基础上，归纳总结了一些可能会引起系统启动与登录问题的排查点，并给出 几个比较常见的典型案例来具体展示和说明。

## 系统启动异常

### 1.部分 CentOS 系统启动黑屏，无异常报错的场景，可以 fsck 一下系统盘。

### 2.根分区空间满，以及 inode 数量耗尽。

### 3.升级内核或者从老的共享实例迁移到独享规格导致的启动异常。

#### 3.1 手动注入驱动 (mkinitrd virtio 相关驱动 )。

#### 3.2 修改 grub 的启动顺序，优先尝试使用老内核启动。

#### 3.3 /boot 目录下面内核的关联文件是否全（下面仅为 demo，不同系统内核版

本文件不一致，部分内核版本 boot 下的 i386 目录也是有用的）。

#### 3.4　/boot/grub/device.map 里面的 hda 改成 vda。

### 4.fstab/grub 中的 uuid 不对，可以直接修改为 /dev/vda1 这种形式尝试。

​ 数据盘分区异常加载起不来的场景，可以去注释 fstab 所有的行，添加类似下面

的启动项尝试，也适用于系统盘快照创建云盘挂载后，uuid 一致导致的启动异

常，改成非 UUID 的挂载即可。

### 5.根目录权限 777（部分目录 777）也会导致启动异常，或者 ssh 登陆异常。

可尝试使用以下链接修复：

Linux误操作777之后的恢复方法-阿里云开发者社区

### 6.常见的关键目录缺失，有的是软链，也可以看看对应目录下面的文件数量（文件 数量要跟同内核版本或者相差不大的版本对比），简单判断。

如果参数设置不当，是会导致启动异常的，如 /etc/sysctl.conf 以及检查 rc.local

的配置，profile 的检查。

### 8. CentOS 的 selinux 需要关闭。

## root 登录异常

1. /etc/passwd /etc/shadow ( 用户名 root polikt dbus 等关键用户存在与否，文件为空，格式（dos2unix)。

2. /etc/pam.d 目录下是否有为空的文件及参数设置是否正常，如常见的 sys-tem-auth passwd。

3. /etc/pam.d 下面所有文件里面涉及的 so 文件，看看文件是否存在，是否为空 /usr/lib64/security。

4. 查 /etc /lib64 /bin /sbin /usr/bin /usr/sbin 等目录有没有 size 为 0 的文件。

5. /etc/profile /etc/profile.d( 打 印 列 表 ) /etc/bashrc /root/.bash_profile /root/. bashrc 等涉及登陆环境设的文件是否异常。

6. 注意内核版本，是否存在新老内核，多更换几个内核试下。

7. 系统日志也是一个比较重要的检查项（后面会介绍无法登陆怎么检查）。

8. Ubuntu 12.04 登陆异常 在 /etc/login.defs 里面配置了错误的 ERASECHAR 导致，恢复默认 0177 即可。

9. 输入 root 后直接 login 失败三连，日志如下。

找个同内核版本的机器对比发现没有 /etc/pam.d/login。

​ rpm 包校验一下，确认 login 文件没了，手动创建一个，内容拷贝过来，好了。

10. /etc/ssh/sshd_config 相关参数如 LoginGraceTime/Allowusers/Permit-RootLogin。

11. 问题不好确认的时候，可以将 shadow 密码字段清空，看看登陆是否正常，可以判断是否到密码验证阶了。

​ 之前有过一篇关于 ssh 问题排查的文档，可参考：

​ 一个有意思的SSH登陆案例-阿里云开发者社区

### 系统登陆不进去了，不挂盘的情况下怎么操作？

上面的检查点很多是需要切换到另外的系统环境下去做检查，比如挂载 LiveCD 或者 chroot 切换；但对于使用 ECS 的用户来说，阿里云暂还未提供实例挂载 ISO 镜像的功能，那么如何进行上面的操作呢？可以借助阿里云新推出的卸载系统盘功能，可以 把系统盘卸载掉，作为数据盘挂载到一个新的机器，这样就可以执行上面的检查了。

详见：卸载或挂载系统盘_云盘_块存储_云服务器 ECS-阿里云

###场景覆盖：

Linux 系统常见问题诊断覆盖以下场景：

Linux 系统常见启动问题修复覆盖以下场景：

## grub.conf 文件内容被清空了怎么办

简介：/boot/grub/grub.conf 被清空，系统启动就进入 grub 状态（CentOS 6.8）。

1.find /boot/grub/stage1。

​ 显示为（hd0,0）。

2. 确认一下内核的具体版本

ls -l /boot 去看。

3. 手动设置 grub，具体步骤。

如果没有报错的话，即可成功启动，进入到系统内部后需要继续支持。

4. mount -e remount,rw / 重新挂载分区为读写。

5. service network restart。

如果提示 eth0 eth1 失败，ifconfig 看不到网卡的话

6. lsmod |grep net。

看下 virtio_net 这个驱动有没有，如果没有的话（网卡报错基本都不会有）。

7. insmod /lib/modules/2.6.32-696.3.2.el6.x86_64/kernel/drivers/net/virtio_net.ko。

8. 重启网络服务，嗨 ~ 网通了。

9. 登陆 ssh，找个同版本系统的 grub.conf拷贝一份过来，不然重启之后又进grub 了。

参考 系统诊断小技巧（8）：如何修复grub损坏-阿里云开发者社区

## 巧妙利用 strace 查找丢失的文件

问题描述：客户反馈系统无法远程登陆，实际系统启动本身就有问题。

根据报错信息来看，是系统内读取 user 有问题，需要挂盘查看。

1.挂盘后 chroot 如下 ihave no name，这里本身就是有问题了，说明系统内缺少了什么文件导致异常。

2.strace 跟踪一下 chroot 的过程，看下丢失的文件。

3.查看对应文件的关系（测试机补图）。

4.确认系统上丢了最终的 libnss_files-2.12.so，尝试拷贝一个。

5.此时已经可以上网了，去拷贝一个同版本的文件试试吧。

## 小心 PAM 不让你登录

问题描述：

ssh 可以登陆，管理终端无法登陆 root，提示 login in...

先通过 ssh 方式登录系统，查看登录日志是否有异常。

似乎是 login 验证模块的问题进一步查看对应的配置文件 /etc/pam.d/login。

其中一行的作用为禁止本地登录，可以将其注释掉即可。

```

auth required pam_succeed_if.so user != root quiet