Linux重定向与管道符

1.标准输入与输出

1）什么是重定向

将原本要输出到屏幕的数据信息，重新定向到某个指定的文件中。比如：每天凌晨定时备份数据，希望将备份数据的结果保存到某个文件中。这样第二天通过查看文件的内容就知道昨天备份的数据是成功还是失败。

2）为什么使用重定向

1.当屏幕输出的信息很重要，而且希望保存重要的信息时 2.后台执行中的程序，不希望他们干扰屏幕的正常输出结果时 3.系统的例行命令，例如定时任务的执行结果，希望可以存下来时 4.一些执行命令，我们已经知道他可能出现错误信息，想将她直接丢弃时 5.错误日志与正确日志需要分别输出不同的文件保存时 nginx access.log 运行日志 error.log

3）学习重定向的预备知识，标准输入和输出

当运行一个程序时通常会自动打开三个标准文件，分别是标准输入，标准输出，错误输出

名称                      文件描述符            作用
标准输出（STDIN）            0               默认键盘输入
标准输入（STDOUT）           1               默认显示器输出
标准输出（STDERR）           2               默认显示器输出
文件名称（filename）         3+

进程将从标准输入中得到数据，将正常输出打印至屏幕终端，将错误的输出信息也打印至屏幕终端。

PS: 进程是使用文件描述符 (file descriptors) 来管理打开的文件

以 cat 命令为例, cat 命令的功能是从命令行给出的文件中读取数据，并将这些数据直接送到标准输出。

若使用如下命令：

会把文件/etc/passwd的内容输出显示到屏幕上

# cat /etc/passwd

但如果使用 cat 命令没有跟上输入的文件名，那么cat命令则会通过命令行标准输入中读取数据, 并将其送到标准输出。

下面了解一下标准输入输出过程：

持续追踪查看文件内容
# tail -f /etc/passwd
# tailf /etc/passwd
ctrl+z 将进程转到后台

查看运行的进程
# ps
PID TTY TIME CMD
5848 pts/1 00:00:00 bash
6885 pts/1 00:00:00 tail
6888 pts/1 00:00:00 ps

查看tail命令的pid，6885进程下的文件描述符
# ls -l /proc/6885/fd
total 0
lrwx------ 1 root root 64 Dec 3 06:57 0 -> /dev/pts/1
lrwx------ 1 root root 64 Dec 3 06:57 1 -> /dev/pts/1
lrwx------ 1 root root 64 Dec 3 06:56 2 -> /dev/pts/1
lr-x------ 1 root root 64 Dec 3 06:57 3 -> /etc/passwd
lr-x------ 1 root root 64 Dec 3 06:57 4 -> inotify

Linux查看标准输入输出设备
# ls -l /dev/std*
lrwxrwxrwx 1 root root 15 Dec 2 22:30 /dev/stderr -> /proc/self/fd/2
lrwxrwxrwx 1 root root 15 Dec 2 22:30 /dev/stdin -> /proc/self/fd/0
lrwxrwxrwx 1 root root 15 Dec 2 22:30 /dev/stdout -> /proc/self/fd/1

2) 输出重定向

输出重定向，改变输出内容的位置。输出重定向有如下几种方式，如表格所示

类型 操作符 用途

标准覆盖输出重定向 > 将程序的执行结果输出到指定的文件中,会覆盖文件原有内容

标准追加输出重定向 >> 将程序执行的结果追加输出到指定文件，不会覆盖文件原有内容

错误覆盖输出重定向 2> 将程序的错误结果输出到执行的文件中，会覆盖文件原有的内容

错误覆盖输出重定向 2>> 将程序的错误结果追加输出到执行的文件中，不会覆盖文件原有的内容

混合输出重定向 &> 将程序的正确和错误结果都输出到执行的文件中，会覆盖文件原有的内容

一、输出重定向输出

标准输出重定向（覆盖）
标准输出重定向, 先清空,后写入, 如果文件不存在则创建
# hostnamectl > host_info.txt

标准输出重定向 (追加)
标准追加输出重定向, 向文件末尾追加内容
# echo "hello world" >> host_info.txt

1）覆盖

[root@localhost ~]# echo 123 >test.txt [root@localhost ~]# cat test.txt 123

2）追加

[root@localhost ~]# echo 123456 >>test.txt [root@localhost ~]# cat test.txt 123 123456

二、错误输出重定向

1）覆盖

[root@localhost ~]# cat aaa.txt
cat: aaa.txt: No such file or directory
[root@localhost ~]# cat aaa.txt > test.txt
cat: aaa.txt: No such file or directory
[root@localhost ~]# cat aaa.txt 2> test.txt
[root@localhost ~]# cat test.txt
cat: aaa.txt: No such file or directory

2）追加

[root@localhost ~]# cat aaa.txt 2>> test.txt
[root@localhost ~]# cat test.txt
cat: aaa.txt: No such file or directory
cat: aaa.txt: No such file or directory

三、混合重定向

[root@localhost ~]# cat test.txt aaa.txt &> mix.txt
[root@localhost ~]# cat mix.txt
123
cat: aaa.txt: No such file or directory

四、分开重定向

[root@localhost ~]# cat test.txt aaa.txt  1> mix.txt 2> stdin.txt
[root@localhost ~]# cat mix.txt
123
[root@localhost ~]# cat stdin.txt
cat: aaa.txt: No such file or directory

正确和错误都输入到相同位置
重定向到相同的位置
# ls /root /error >out_err.txt 2>&1正确和错误都输入到相同位置
将标准输出和标准错误输出重定向到同一个文件, 混合输出
$ find /etc -name "*.conf" &> out_err.txt

3)输入重定向

类型操作符用途

标准输入重定向 < 将命令中接收输入的途径由默认的键盘更改为指定的文件

安装邮件服务

yum install -y mailx

发邮件

cat > /etc/mail.rc <<EOF
set from=2414857437@qq.com    （自己的QQ邮箱）
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=2414857437@qq.com   (自己的QQ邮箱)
set smtp-auth-password=mtpyhvrifvugebha  （自己的邮箱IPMPA码）
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
EOF#echo 123 | mailx -s "test" 2716823200@qq.com    （123 邮件内容、test 邮件名称   123456744@qq.com 收件人QQ邮箱）

4）管道技术

1.什么是管道

管道操作符号 "|" ，主要用来连接左右两个命令, 将左侧的命令的标准输出, 交给右侧命令的标准输入

PS: 无法传递标准错误输出至后者命令

语法 cdm1 |cmd2 [... | cmdn ]

案例1 统计当前/etc/passwd中用户使用的shell类型
思路:取出第七列(shell) | 排序(把相同归类)| 去重
# awk -F: '{print $7}' /etc/passwd |sort |uniq -c

5）文件查找

1.根据文件名查找

-name

-iname

*通配任意多个字符

？通配任意单个字符

案例1：查找ens33网卡
[root@localhost ~]# find / -name ifcfg-ens33
/etc/sysconfig/network-scripts/ifcfg-ens33
案例2：查找所有以.repo结尾的文件
[root@localhost ~]# find / -name *.repo
/etc/yum.repos.d/bak/cloud (1).repo
/etc/yum.repos.d/CentOS-Base.repo

案例3：查找以字母a开头的文件

[root@localhost ~]# find / -name a*
/root/anaconda-ks.cfg

2.根据文件大小查找

-size

+5M 大于5M的文件

-5M 小于5M的文件

5M 等于5M的文件

环境准备

dd if=/dev/zero of=/tmp/6M bs=1M count=6

dd if=/dev/zero of=/tmp/5M bs=1M count=5

dd if=/dev/zero of=/tmp/4M bs=1M count=4

查询/tmp目录下大于5M的文件
[root@localhost ~]# find /tmp/ -size +5M
/tmp/6M
查询/tmp目录下小于5M的文件
[root@localhost ~]# find /tmp/ -size -5M
/tmp/4M

查找/tmp目录下，大小大于5M的文件，并删除[root@localhost ~]# find /tmp/ -size +5M -delete

3.根据时间戳查找

Linux系统中，时间戳有3个

atime access访问时间

ctime chage修改时间（文件内容）

mtime modify修改时间（文件属性，包含内容）

三个时间戳都能作为查找条件，一般使用atime

atime：访问时间，每次读取更新
mtime：修改时间，修改文件内容后更新
amin : 访问时间，显示到分钟
tmie : 访问时间，显示到天
ctime：修改时间，修改文件内容及属性后更新
通过stat命令来查看上述的时间戳属性

-atime

7 7天

+7 大于7天

-7 小于7天

查找7天以前的文件find / -iname "file-*" -mtime +7 -ls查找最近7天的文件，不建议使用find / -iname "file-*" -mtime -7 -ls查找之前第7天文件find ./ -iname "file-*" -mtime 7 -ls

4.根据用户从属查找

-user 用户

-uid uid

-group 组

-gid gid

-nouser 无属主

-nogroup 无属组

案例：创建一个测试用户zmj

useradd zmj

需求1：查找属于用户tanfei的所有文件
find / -user zmj需求2：查找没有属主的文件
1）先使用用户zmj在/tmp/下创建一个文件
su - zmj -c "touch /tmp/zmj.txt"2）删除用户zmj，这样/tmp/exec.txt就变成无属主的文件
userdel -r zmj
find / -nouser

5.根据文件类型查找(一般用来配合其他查询条件的)

-type

f 普通文件

d 目录文件

对于上述一些关于查找文件的需求，必须要加一个查询条件

需求1：查找没有属主的文件
标准的写法
find / -nouser -type f 2>/dev/null需求2：查找没有属主的文件夹
标准的写法
find / -nouser -type d 2>/dev/null

6.find的执行动作

-ls

-delete

-exec 命令 {} \;

需求1：将当前目录下所有.txt结尾的文件都拷贝到/tmp目录下
cp *.txt /tmp
find / -iname "*.txt" -exec cp {} /tmp \; 需求2：将当前目录下所有.txt结尾的文件重命名.txt.bak
find / -iname "*.txt" -exec mv {} {}.bak \;

需求3：将当前目录下所有.txt结尾的文件压缩归档到/bak目录中
方法一：
find / -iname "*.txt" -exec tar czf /bak/txt.tar.gz {} \;该方法有问题，一个一个传递给tar进行归档，最终只会保留最后一个呗归档的文件 方法二（最优，find和xargs是绝配）
find / -iname "*.txt" | xargs tar czf /bak/txt.tar.gz