11、Linux系统基础原理、进程管理工具、任务计划

Linux进程及作业管理

内核的功用：进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能

Process: 运行中的程序的一个副本；
存在生命周期

Linux内核存储进程信息的固定格式：task struct
多个任务的的 task struct 组件的链表：task list

进程创建：
init 进程：Linux内核启动之后，会创建第一个用户级进程init
父子关系
进程：都由其父进程创建
fork() 当一个父进程要创建一个子进程时，会向内核发起 fork() 调用
clone() 当父进程创建子进程后，该子进程和父进程使用同一个内存空间。当子进程需要修改数据时，将父进程的数据复制一份到单独的内存中，此时，子进程在新的内存中进行数据的修改。即写时复制机制（Cow）。

进程优先级：
0-139：
1-99：实时优先级；
100-139：静态优先级；
数字越小，优先级越高；

Nice值：
-20,19

Big O
O(1), O(logn), O(n), O(n^2), O(2^n)

进程内存：
Page Frame: 页框，用存储页面数据
存储Page

MMU： Memory Management Unit

IPC: Inter Process Communication
同一主机上：
signal
shm: shared memory
semerphor

不同主机上：
rpc: remote procecure call
socket:

Linux内核：抢占式多任务
进程类型：
守护进程: 在系统引导过程中启动的进程，跟终端无关的进程；
前台进程：跟终端相关，通过终端启动的进程
注意：也可把在前台启动的进程送往后台，以守护模式运行；

进程状态：
运行态：running
就绪态：ready
睡眠态：
可中断：interruptable
不可中断：uninterruptable
停止态：暂停于内存中，但不会被调度，除非手动启动之；stopped
僵死态：zombie

进程的分类：
CPU-Bound
IO-Bound

Linux进程查看及管理的工具
pstree, ps, pidof, pgrep, top, htop, glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup

pstree命令：
pstree - display a tree of processes
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cXsYihlM-1633852780887)(C:\Users\wh\AppData\Roaming\Typora\typora-user-images\image-20210924161054348.png)]

ps（查看当前系统中有哪些进程在运行，以及这些进程的相关信息）

[root@localhost ~]# psPID TTY          TIME CMD2442 pts/1    00:00:00 bash2768 pts/1    00:00:00 ps

Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中；

ps [OPTION]…
选项：支持两种风格

常用组合：aux
u: 以用户为中心组织进程状态信息显示
a: 与终端相关的进程；
x: 与终端无关的进程；

[root@localhost ~]# ps -aux | head -5
USER        PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root          1  0.7  0.3 128388  7024 ?        Ss   16:05   0:03 /usr/lib/systemd/systemd --switched-root --system --deserialize 22
root          2  0.0  0.0      0     0 ?        S    16:05   0:00 [kthreadd]
root          4  0.0  0.0      0     0 ?        S<   16:05   0:00 [kworker/0:0H]
root          5  0.0  0.0      0     0 ?        S    16:05   0:00 [kworker/u256:0]VSZ: Virtual memory SiZe，虚拟内存集RSS: ReSident Size, 常驻内存集STAT：进程状态R：runningS: interruptable sleepingD: uninterruptable sleepingT: stoppedZ: zombie+: 前台进程l: 多线程进程N：低优先级进程<: 高优先级进程s: session leader

常用组合：-ef
-e: 显示所有进程
-f: 显示完整格式程序信息

[root@localhost ~]# ps -ef | head
UID         PID   PPID  C STIME TTY          TIME CMD
root          1      0  0 16:05 ?        00:00:03 /usr/lib/systemd/systemd --switched-root --system --deserialize 22
root          2      0  0 16:05 ?        00:00:00 [kthreadd]
root          4      2  0 16:05 ?        00:00:00 [kworker/0:0H]
root          5      2  0 16:05 ?        00:00:00 [kworker/u256:0]
root          6      2  0 16:05 ?        00:00:00 [ksoftirqd/0]

常用组合：-eFH
-F: 显示完整格式的进程信息
-H: 以进程层级格式显示进程相关信息

[root@localhost ~]# ps -eFH | head
UID         PID   PPID  C    SZ   RSS PSR STIME TTY          TIME CMD
root          2      0  0     0     0   0 16:05 ?        00:00:00 [kthreadd]
root          4      2  0     0     0   0 16:05 ?        00:00:00   [kworker/0:0H]
root          5      2  0     0     0   0 16:05 ?        00:00:00   [kworker/u256:0]
root          6      2  0     0     0   0 16:05 ?        00:00:00   [ksoftirqd/0]
root          7      2  0     0     0   0 16:05 ?        00:00:00   [migration/0]

常用组合：-eo, axo
-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

ni: nice值
pri: priority，优先级
psr: processor, CPU
rtprio: 实时优先级

pgrep, pkill：
pgrep [options] pattern
pkill [options] pattern

-u uid: effective user
-U uid: real user
-t terminal: 与指定终端相关的进程
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示其父进程为此处指定的进程的进程列表

pidof：
根据进程名获取其PID；

top：
有许多内置命令：
排序：
P：以占据的CPU百分比；
M：占据内存百分比；
T：累积占据CPU时长；

首部信息显示：
uptime信息：l命令
tasks及cpu信息：t命令
cpu分别显示：1 (数字)
memory信息：m命令

退出命令：q
修改刷新时间间隔：s
终止指定进程：k

选项：
-d #: 指定刷新时间间隔，默认为3秒；
-b: 以批次方式；
-n #: 显示多少批次；

[root@localhost ~]# top  // 每行不同信息之间是以逗号分开的
top - 16:31:58 up 26 min,  2 users,  load average: 0.00, 0.03, 0.11第一个逗号之前的信息说明top命令在16:31:58启动，持续了26min；2 users表示系统中共有2个用户在登录；最后是系统负载均衡的平均值，分别是1分钟、5分钟和15分钟的系统平均负载值。
Tasks: 174 total,   1 running, 173 sleeping,   0 stopped,   0 zombie结果显示系统中共有174个进程，目前只有1个进程正在运行，有173个进程处于睡眠状态，没有进程被终止也没有僵死。
%Cpu(s):  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 sttop显示运行在用户模式和内核模式的进程（ni）所占的CPU百分比，以及在系统空闲（id）时所占的CPU空闲时间百分比；wa（iowait）表示没有进程在CPU上运行时处理器等待I/O完成的时间百分比；hi和si表示硬件与软件中断所花费的CPU时间的百分比。
KiB Mem :  1863004 total,   977560 free,   510724 used,   374720 buff/cache其依次表示系统的总内存、空闲的内存、已使用的内存和缓冲区使用的内存。
KiB Swap:  2097148 total,  2097148 free,        0 used.  1185692 avail Mem 依次表示交换分区的总量、空闲、使用量和用于内核缓存的内存量PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND               2838 root      20   0       0      0      0 S  0.3  0.0   0:00.12 kworker/0:1                     2839 root      20   0  162100   2300   1580 R  0.3  0.1   0:00.16 top                             1 root      20   0  128388   7024   4184 S  0.0  0.4   0:03.95 systemd                         2 root      20   0       0      0      0 S  0.0  0.0   0:00.00 kthreadd
PID                 进程号
USER            用户
PR                  优先级
NI              NICE值
VIRT            虚拟内存集
RES             常驻内存集
SHR                 共享内存大小
S                   状态
%CPU                CPU的占据百分比
%MEM                内存的占用百分比
TIME+              累计运行时长
COMMAND         启动此进程的命令

htop命令
选项：
-d #: 指定延迟时间；
-u UserName: 仅显示指定用户的进程；
-s COLOMN: 以指定字段进行排序；
命令：
s: 跟踪选定进程的系统调用；
l: 显示选定进程打开的文件列表；
a：将选定的进程绑定至某指定CPU核心；
t: 显示进程树

注意：Fedora-EPEL源

Linux进程查看及管理(2)

vmstat命令
vmstat [options] [delay [count]]
procs:
r：等待运行的进程的个数；
b：处于不可中断睡眠态的进程个数；(被阻塞的队列的长度)；
memory：
swpd: 交换内存的使用总量；
free：空闲物理内存总量；
buffer：用于buffer的内存总量；
cache：用于cache的内存总量；
swap:
si：数据进入swap中的数据速率(kb/s)
so：数据离开swap中的数据速率(kb/s)
io：
bi：从块设备读入数据到系统的速率；(kb/s)
bo: 保存数据至块设备的速率；
system：
in: interrupts, 中断速率；
cs: context switch, 进程切换速率；
cpu：
us
sy
id
wa
st

选项：
-s: 显示内存的统计数据 cat /proc/meminfo

pmap命令
pmap - report memory map of a process 报告进程的内存映射关系

pmap [options] pid […]
-x: 显示详细格式的信息；

另外一种实现：

cat /proc/PID/maps

glances命令

glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [–password] [-t refresh] [-f file] [-o output]

内建命令：

a Sort processes automatically l Show/hide logs
c Sort processes by CPU% b Bytes or bits for network I/O
m Sort processes by MEM% w Delete warning logs
p Sort processes by name x Delete warning and critical logs
i Sort processes by I/O rate 1 Global CPU or per-CPU stats
d Show/hide disk I/O stats h Show/hide this help screen
f Show/hide file system stats t View network I/O as combination
n Show/hide network stats u View cumulative network I/O
s Show/hide sensors stats q Quit (Esc and Ctrl-C also work)
y Show/hide hddtemp stats

常用选项：
-b: 以Byte为单位显示网卡数据速率；
-d: 关闭磁盘I/O模块；
-f /path/to/somefile: 设定输入文件位置；
-o {HTML|CSV}：输出格式；
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1：每个CPU的相关数据单独显示；

C/S模式下运行glances命令：
服务模式：
glances -s -B IPADDR

IPADDR: 指明监听于本机哪个地址

客户端模式：
glances -c IPADDR

IPADDR：要连入的服务器端地址

dstat命令
dstat [-afv] [options…] [delay [count]]

-c: 显示cpu相关信息；
-C #,#,…,total
-d: 显示disk相关信息；
-D total,sda,sdb,…
-g：显示page相关统计数据；
-m: 显示memory相关统计数据；
-n: 显示network相关统计数据；
-p: 显示process相关统计数据；
-r: 显示io请求相关的统计数据；
-s: 显示swapped相关的统计数据；

[root@localhost ~]# dstat -D total,sda -C 0,total
You did not select any stats, using -cdngy by default.
-------cpu0-usage-----------total-cpu-usage---- -dsk/total----dsk/sda-- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq:usr sys idl wai hiq siq| read  writ: read  writ| recv  send|  in   out | int   csw 0   1  99   0   0   0:  0   1  99   0   0   0|  69k 2111B:  69k 2111B|   0     0 |   0     0 |  62   126 0   0 100   0   0   0:  0   0 100   0   0   0|   0  4096B:   0  4096B|  60B 1186B|   0     0 |  41    87 0   1  99   0   0   0:  0   1  99   0   0   0|   0     0 :   0     0 |  60B  458B|   0     0 |  49    82 0   0 100   0   0   0:  0   0 100   0   0   0|   0     0 :   0     0 |  60B  442B|   0     0 |  55    90 0   0 100   0   0   0:  0   0 100   0   0   0|   0     0 :   0     0 | 120B  502B|   0     0 |  51    80

--tcp
--udp
--unix
--raw
--socket

--ipc

--top-cpu：显示最占用CPU的进程；
--top-io: 显示最占用io的进程；
--top-mem: 显示最占用内存的进程；
--top-lantency: 显示延迟最大的进程；

kill命令
向进程发送控制信号，以实现对进程管理
显示当前系统可用信号
kill -l

man 7 signal

常用信号：
1) SIGHUP: 无须关闭进程而让其重读配置文件；
2) SIGINT: 中止正在运行的进程；相当于Ctrl+c；
9) SIGKILL: 杀死正在运行的进程；
15) SIGTERM：终止正在运行的进程；
18) SIGCONT：
19) SIGSTOP：

 指定信号的方法：(1) 信号的数字标识；1, 2, 9(2) 信号完整名称；SIGHUP(3) 信号的简写名称；HUP向进程发信号：kill [-SIGNAL] PID...终止“名称”之下的所有进程：killall [-SIGNAL] Program

Linux的作业控制

前台作业：通过终端启动，且启动后一直占据终端；
后台作业：可以通过终端启动，但启动后即转入后台运行（释放终端）；

如何让作业运行于后台？
(1) 运行中的作业
Ctrl+z
(2) 尚未启动的作业启动之后立即转入后台
COMMAND &

此类作业虽然被送往后台运行，但其依然与终端相关；如果希望送往后台后，剥离与终端的关系：
# nohup COMMAND &

查看所有作业：jobs

作业控制：

fg [[%]JOB_NUM]：把指定的后台作业调回前台；默认

bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行；

kill [%JOB_NUM]：终止指定的作业；

进程优先级调整：
可通过nice值调整的静态优先级范围：100-139，
分别对应于：-20~19

进程默认启动时的nice值为0，优先级为120;

nice命令：以指定的 nice 值启动并运行命令，仅管理员可以调低 nice 值
nice [OPTION] [COMMAND [ARG]…]
-n NICE 指定 nice 值

renice命令：对正在运行的程序可以调整优先级
renice [-n] priority pid…

查看：
ps axo pid,comm,ni

未涉及到的命令：sar, tsar, iostat, iftop

Linux任务计划

未来的某时间点执行一次任务：at, batch；周期性运行某任务: cron

电子邮件服务
smtp: simple mail transmission protocol, 用于传送邮件；
pop3: Post Office Protocol
imap4：Internet Mail Access Protocol

mailx - send and receive Internet mail

MUA：Mail User Agent

mailx [-s ‘SUBJECT’] username[@hostname]
邮件正文的生成：
(1) 直接给出，Ctrl+d;
(2) 输入重定向；
(3) 通过管道；
echo -e “How are you?\nHow old are you?” | mail

[root@localhost ~]# mailx -s "Meeting" root // -s 指明主题，root 为发给的用户
test file.
EOT
[root@localhost ~]# mailx   // 查看邮件信息，输入数字即可查看对应的邮件，q 退出
Heirloom Mail version 12.5 7/5/10.  Type ? for help.
"/var/spool/mail/root": 4 messages 1 new1 root                  Mon Sep 27 15:17 334/5435  "Output from your job        1"2 root                  Mon Sep 27 15:24  19/612   "hi"3 root                  Mon Sep 27 19:02  17/613   "Output from your job        3"
>N  4 root                  Mon Sep 27 19:08  18/612   "Meeting"
&
[root@localhost tmp]# mail -s "Mail" wh@localhost < mail.txt  // 发送一封邮件给wh用户，正文用输入重定向的方式指定内容
[root@localhost tmp]# su - wh  // 切换到wh用户，查看邮件信息
[wh@localhost ~]$ mailx
Heirloom Mail version 12.5 7/5/10.  Type ? for help.
"/var/spool/mail/wh": 1 message 1 new
>N  1 root                  Mon Sep 27 19:16  18/626   "Mail"
&

at命令

at [option] TIME

TIME:
HH:MM [YYYY-mm-dd]
noon, midnight, teatime
tomorrow
now+#{minutes,hours,days, OR weeks}

常用选项：
-q QUEUE:
-l: 列出指定队列中等待运行的作业；相当于atq
-d: 删除指定的作业；相当于atrm
-c: 查看具体作业任务；
-f /path/from/somefile：从指定的文件中读取任务；

注意：作业的执行结果以邮件通知给相关用户

[root@localhost ~]# at 19:02
at> cat /etc/passwd | head -3
at> <EOT>
job 3 at Mon Sep 27 19:02:00 2021
[root@localhost tmp]# at now+3minutes
at> echo ""^[[D
at> echo $?
at> <EOT>
job 4 at Mon Sep 27 19:26:00 2021
[root@localhost tmp]# at -l        // 列出等待运行的作业，相当于atq
4   Mon Sep 27 19:26:00 2021 a root     // a 表示在a队列
[root@localhost tmp]# at -c 4     // 查看该作业的具体任务
[root@localhost tmp]# at -d 4    // 删除指定的作业；相当于atrm[root@localhost tmp]# vim at.task  // -f 从指定的文件中读取任务
echo "This is a test example."
[root@localhost tmp]# at -f at.task now+3minutes
job 8 at Mon Sep 27 19:36:00 2021

batch命令
让系统自行选择空闲时间去执行此处指定的任务；

周期性任务计划：cron
相关的程序包：
cronie: 主程序包，提供了crond守护进程及相关辅助工具；
cronie-anacron：cronie的补充程序；用于监控cronie任务执行状况；如cronie中的任务在过去该运行的时间点未能正常运行，则anacron会随后启动一次此任务；
crontabs：包含CentOS提供系统维护任务；

确保crond守护处于运行状态：
CentOS 7:
systemctl status crond
…running…
CentOS 6:
service crond status

计划要周期性执行的任务提交给crond，由其来实现到点运行。
系统cron任务：系统维护作业
/etc/crontab
用户cron任务：
crontab命令

[root@localhost tmp]# cat /etc/crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root# For details see man 4 crontabs# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

例如：晚上9点10分运行echo命令；
10 21 * * * gentoo /bin/echo “Howdy!”

时间表示法：
(1) 特定值；
给定时间点有效取值范围内的值；
(2) *
给定时间点上有效取值范围内的所有值；
表示“每…”；
(3) 离散取值：,
#,#,#
(4) 连续取值：-
#-#
(5) 在指定时间范围上，定义步长：
/#: #即为步长

例如：每3小时echo命令；
0 */3 * * * gentoo /bin/echo “howdy!”

用户cron：
crontab命令定义，每个用户都有专用的cron任务文件：/var/spool/cron/USERNAME

crontab命令：
crontab [-u user] [-l | -r | -e] [-i]
-l: 列出所有任务；
-e: 编辑任务；
-r: 移除所有任务；
-i：同-r一同使用，以交互式模式让用户有选择地移除指定任务；
-u user: 仅root可运行，代为为指定用户管理cron任务；

[root@localhost tmp]# crontab -e      // 每三分钟会执行该任务，未指明用户即为当前用户
*/3 * * * *  /bin/echo "Hello."
[root@localhost tmp]# crontab -l     // 列出当前用户创建的任务
*/3 * * * *  /bin/echo "Hello."
[root@localhost tmp]# crontab -r

注意：运行结果以邮件通知给相关用户；
(1) COMMAND > /dev/null
(2) COMMAND &> /dev/null

对于cron任务来讲，%有特殊用途；如果在命令中要使用%，则需要转义；不过，如果把%放置于单引号中，也可以不用转义；

思考：
(1) 如何在秒级别运行任务？

* * * * * for min in 0 1 2; do echo “hi”; sleep 20; done
(2) 如何实现每7分钟运行一次任务? （7不能被60整除，所以会出现为题，就像没5小时一样，一天24小时，也不能被24整除）

sleep命令
sleep NUMBER[SUFFIX]…

SUFFIX:
s: 秒, 默认
m: 分
h: 小时
d: 天

练习：
1、每4小时备份一次/etc目录至/backup目录中，保存的文件名称格式为“etc-yyyy-mm-dd-HH.tar.xz”；

2、每周2, 4, 7备份/var/log/messages文件至/logs目录中，文件名形如“messages-yyyymmdd”；

3、每两小时取出当前系统/proc/meminfo文件中以S或M开头的信息追加至/tmp/meminfo.txt文件中；

4、工作日时间内，每小执行一次“ip addr show”命令；

其它：
crond 任务有两类，一种为系统crond，每一行有7个字段组成，另一种为用户 crond，每一行有 6 个字段组成，因为系统 crond 还需要指明哪个用户去执行。
crond 任务和 at 任务在执行时用户未必在线，它们是启动了一个子 shell 进程来运行的，因此它们用到的环境变量并不是当前用户的环境变量，而是 crond 自己内置的环境变量。
所以在命令行中正确执行的命令即便是不带全路径，但在 crond 中未必能够完整执行，所以在定义 crond 任务时一定要找一个时间点来探测，判断是否有用。