（一）查日志

split

1.根据行数切割

wc -l err_20190907.log(查看多少行)
split -l 300 -d --verbose err_20190907.log split-line

指定行数后会自动做切割，即达到300行之后自动切割，通过-d参数文件名会自动以数字的方式命名，切割后，每个文件大小为24K，此时再对文件进行分析将会方便很多，同时文件数量也会很多，可以增加行数的方式进行切割，方便分析。
2.根据大小切割
除了按照行数切割之外，split还支持通过文件大小进行切割，通过指定-b参数指定文件大小进行切割，文件大小单位支持K, M, G, T, P, E, Z，如下以切割为30K演示文件切割过程

split -b 30K -d --verbose err_20190907.log sp

3.split将大文件切割为多个小文件，如果需要将多个小文件合并为一个文件怎么处理呢？

可以使用文件重定向方式实现，如下演示两个小文件合并为一个文件

 cat split-line00 split-line01 >two-file-merge

合并方式通过读取文件的方式+输出重定向，对于大文件一样会存在性能的问题，建议根据需要使用

tail

参数：

-f 循环读取
-q 不显示处理信息
-v 显示详细的处理信息
-c Number 从 Number 字节位置读取指定文件
-n Number 从 Number 行位置读取指定文件
-m Number 从 Number 多字节字符位置读取指定文件，比方你的文件假设包括中文字，假设指定-c参数，可能导致截断，但使用-m则会避免该问题
-b Number 从 Number 表示的512字节块位置读取指定文件
-k Number 从 Number 表示的1KB块位置读取指定文件。

tail [-f][-c N|-n N|-m N|-b N|-k N][File]

eg:

tail -f test.log 查看实时日志 tail -100f test.log 查看最后100行日志记录

tail -n 10 test.log 查询日志尾部最后10行的日志

tail -n 10 test.log 查询10行之后的所有日志

tail -fn 100 test.log 循环实时查看最后100行记录

head

功能跟tail是相反的，tail是查看后多少行日志，head是查看前多少行日志。用法相同

cat

功能：

一次显示整个文件。 cat filename
创建一个文件。 cat > filename
将几个文件合并为一个文件。 cat file1 file2 > file

eg:

cat test.log | tail -n 1000 #输出test.log 文件最后1000行

cat -n test.log |grep “debug” #得到关键日志的行号

cat filename | tail -n 3000 | head -n 1000 #从第3000行开始，显示1000行。即显示3000~3999行

cat filename| head -n 3000 | tail -n 1000 #显示1000行到3000行

cat -n textfile1 > textfile2 #把 textfile1 的档案内容加上行号后输入 textfile2 这个档案里

cat -b textfile1 textfile2 >> textfile3 #把 textfile1 和 textfile2 的档案内容加上行号（空白行不加）之后将内容附加到 textfile3 里

cat error.log | grep -C 5 ‘nick’ 显示file文件里匹配foo字串那行以及上下5行 cat error.log | grep -B 5 ‘nick’ 显示foo及前5行 cat error.log | grep -A 5 ‘nick’ 显示foo及后5行

tac

功能 tac是将cat反写过来，它的功能跟cat相反,cat是由第一行到最后一行连续显示，而tac是由最后一行到第一行反向显示.

以一页一页形式显示。基本指令按空白键（space）往下一页显示，按返回键（back）往上一页显示，还有字符搜索功能

-num 一次显示的行数
-d 提示使用者，在画面下方显示 [Press space to continue, ‘q’ to quit.] ，如果使用者按错键，则会显示 [Press ‘h’ for instructions.] 而不是 ‘哔’ 声
-l 取消遇见特殊字元 ^L 时会暂停的功能
-f 计算行数时，以实际上的行数，而非自动换行过后的行数
-p 不以卷动的方式显示每一页，而是先清除萤幕后再显示内容
-c 跟 -p 相似，不同的是先显示内容再清除其他旧资料
-s 当遇到有连续两行以上的空白行，就代换为一行的空白行
-u 不显示下引号（根据环境变数 TERM 指定的 terminal 而有所不同）
/pattern 在每个文档显示前搜寻该字串（pattern），然后从该字串之后开始显示
num 从第 num 行开始显示

eg:

cat -n test.log |grep “条件” |more 这样就分页打印了,通过点击空格键翻页

more -s test.log 逐页显示日志，如有连续两行以上空白行则以一行空白行显示 more 20 test.log 从第 20 行开始显示日志内容

grep

关键字查找

sed

sed -n ‘5,10p’ filename 这样你就可以只查看文件的第5行到第10行。

sed -n ‘/2018-02-06 15:05:38/,/2018-02-06 15:20:38/p’ umltech-scan 按时间段查询日志:sed -n ‘/开始时间/,/结束时间/p’ umltech-scan,时间格式为"yyyy-mm-dd hh:mm:ss"

vi

查找文件内容关键字方法：先执行命令>： vi filename 然后输入>: /查找字符串按n查找下一个，按N（大写）查找上一个

less

[pageup] [pagedown] 等按键的功能来往前往后翻看文件，more 类似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动
eg:
-b <缓冲区大小> 设置缓冲区的大小
-e 当文件显示结束后，自动离开
-f 强迫打开特殊文件，例如外围设备代号、目录和二进制文件
-g 只标志最后搜索的关键词
-i 忽略搜索时的大小写
-m 显示类似more命令的百分比
-N 显示每行的行号
-o <文件名> 将less 输出的内容在指定文件中保存起来
-Q 不使用警告音
-s 显示连续空行为一行
-S 行过长时间将超出部分舍弃
-x <数字> 将“tab”键显示为规定的数字空格
/字符串：向下搜索“字符串”的功能
?字符串：向上搜索“字符串”的功能
n：重复前一个搜索（与 / 或 ? 有关）
N：反向重复前一个搜索（与 / 或 ? 有关）
b 向后翻一页
d 向后翻半页
h 显示帮助界面
Q 退出less 命令
u 向前滚动半页
y 向前滚动一行
空格键滚动一行
回车键滚动一页
[pagedown]：向下翻动一页
[pageup]：向上翻动一页
eg:

less log2013.log

ps -ef |less ps查看进程信息并通过less分页显示

history | less 看命令历史使用记录并通过less分页显示

find

find命令在目录结构中搜索文件,用于在文件树种查找文件，并作出相应的处理

find pathname -options [-print -exec -ok ...]

pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为’command’ { } ;，注意{ }和\；之间的空格。
-ok：和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。

-name 按照文件名查找文件。

-perm 按照文件权限来查找文件。

-user 按照文件属主来查找文件。

-mtime -n +n 按照文件的更改时间来查找文件， - n表示文件更改时间距现在n天以内，+ n表示文件更改时间距现在n天以前。find命令还有-atime和-ctime 选项，但它们都和-m time选项。

-type 查找某一类型的文件，诸如：

b - 块设备文件。

d - 目录。

c - 字符设备文件。

f - 普通文件。

-amin n 查找系统中最后N分钟访问的文件
eg:

find -atime -2 查找指定时间内修改过的文件 ,（找48小时内修改过的文件）

find . -name “*.log” 根据关键字查找（在当前目录查找以.log结尾的文件。 ". "代表当前目录）

find . -type f -name “*.log” 按类型查找（找当目录，以.log结尾的普通文件）

find . -type d | sort 查找当前所有目录并排序

（2）查性能

top

显示当前系统正在执行的进程的相关信息，包括进程ID、内存占用率、CPU占用率等
参数：

-b 批处理
-c 显示完整的治命令
-I 忽略失效过程
-s 保密模式
-S 累积模式
-i<时间> 设置间隔时间
-u<用户名> 指定用户名
-p<进程号> 指定进程
-n<次数> 循环显示的次数
eg:

[root@TG1704 log]# top
top - 14:06:23 up 70 days, 16:44, 2 users, load average: 1.25, 1.32, 1.35
Tasks: 206 total, 1 running, 205 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.9%us, 3.4%sy, 0.0%ni, 90.4%id, 0.0%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 32949016k total, 14411180k used, 18537836k free, 169884k buffers
Swap: 32764556k total, 0k used, 32764556k free, 3612636k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
28894 root 22 0 1501m 405m 10m S 52.2 1.3 2534:16 java
18249 root 18 0 3201m 1.9g 11m S 35.9 6.0 569:39.41 java

说明：
统计信息区 ：前五行是当前系统情况整体的统计信息区

第一行，任务队列信息，同 uptime 命令的执行结果

14:06:23 — 当前系统时间
up 70 days, 16:44 — 系统已经运行了70天16小时44分钟（在这期间系统没有重启过的吆！）
2 users — 当前有2个用户登录系统
load average: 1.15, 1.42, 1.44 — load average后面的三个数分别是1分钟、5分钟、15分钟的负载情况
load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量，结果高于5的时候就表明系统在超负荷运转了

第二行，Tasks — 任务（进程）

系统现在共有206个进程，其中处于运行中的有1个，205个在休眠（sleep），stoped状态的有0个，zombie状态（僵尸）的有0个

第三行，cpu状态信息

5.9%us — 用户空间占用CPU的百分比。
3.4% sy — 内核空间占用CPU的百分比。
0.0% ni — 改变过优先级的进程占用CPU的百分比
90.4% id — 空闲CPU百分比
0.0% wa — IO等待占用CPU的百分比
0.0% hi — 硬中断（Hardware IRQ）占用CPU的百分比
0.2% si — 软中断（Software Interrupts）占用CPU的百分比

第四行,内存状态（第四行中使用中的内存总量（used）指的是现在系统内核控制的内存数，空闲内存总量（free）是内核还未纳入其管控范围的数量。纳入内核管理的内存不见得都在使用中，还包括过去使用过的现在可以被重复利用的内存，内核并不把这些可被重新使用的内存交还到free中去，因此在linux上free内存会越来越少，但不用为此担心）

32949016k total — 物理内存总量（32GB）
14411180k used — 使用中的内存总量（14GB）
18537836k free — 空闲内存总量（18GB）
169884k buffers — 缓存的内存量（169M）

第五行，swap交换分区信息

32764556k total — 交换区总量（32GB）
0k used — 使用的交换区总量（0K）
32764556k free — 空闲交换区总量（32GB）
3612636k cached — 缓冲的交换区总量（3.6GB)

计算可用内存数: 可用内存数，这里有个近似的计算公式：第四行的free + 第四行的buffers + 第五行的cached，按这个公式此台服务器的可用内存：18537836k +169884k +3612636k = 22GB左右
内存监控:，在top里我们要时刻监控第五行swap交换分区的used，如果这个数值在不断的变化，说明内核在不断进行内存和swap的数据交换，这是真正的内存不够用了

第六行，空行。

第七行以下：各进程（任务）的状态监控

free

free 命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。共享内存将被忽略

参数

-b 　以Byte为单位显示内存使用情况。
-k 　以KB为单位显示内存使用情况。
-m 　以MB为单位显示内存使用情况。
-g 以GB为单位显示内存使用情况。
-o 　不显示缓冲区调节列。
-s<间隔秒数> 　持续观察内存使用状况。
-t 　显示内存总和列。
-V 　显示版本信息。
eg:
free -g

[root@SF1150 service]# free -gtotal       used       free     shared buffers     cached
Mem:            31         29          2          0          4         10
-/+ buffers/cache:         14         17
Swap:           31          1         29

说明：
total:总计物理内存的大小。
used:已使用多大。
free:可用有多少。
Shared:多个进程共享的内存总额。
Buffers/cached:磁盘缓存的大小。
第三行(-/+ buffers/cached):
used:已使用多大。
free:可用有多少。
第四行是交换分区SWAP的，也就是我们通常所说的虚拟内存

vmstat

vmstat [-a] [-n] [-S unit] [delay [ count]]
vmstat [-s] [-n] [-S unit]
vmstat [-m] [-n] [delay [ count]]
vmstat [-d] [-n] [delay [ count]]
vmstat [-p disk partition] [-n] [delay [ count]]
vmstat [-f]
vmstat [-V]
-a：显示活跃和非活跃内存
-f：显示从系统启动至今的fork数量。
-m：显示slabinfo
-n：只在开始时显示一次各字段名称。
-s：显示内存相关统计信息及多种系统活动数量。
delay：刷新时间间隔。如果不指定，只显示一条结果。
count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。
-d：显示磁盘相关统计信息。
-p：显示指定磁盘分区统计信息
-S：使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes）
-V：显示vmstat版本信息。

iostat

通过iostat方便查看CPU、网卡、tty设备、磁盘、CD-ROM 等等设备的活动情况, 负载信息。

-C 显示CPU使用情况
-d 显示磁盘使用情况
-k 以 KB 为单位显示
-m 以 M 为单位显示
-N 显示磁盘阵列(LVM) 信息
-n 显示NFS 使用情况
-p[磁盘] 显示磁盘和分区的情况
-t 显示终端和CPU的信息
-x 显示详细信息
-V 显示版本信息
eg:
显示所有设备负载情况

[root@CT1186 ~]# iostat
Linux 2.6.18-128.el5 (CT1186)   2012年12月28日avg-cpu:  %user   %nice %system %iowait  %steal   %idle8.30    0.02    5.07    0.17    0.00   86.44Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              22.73        43.70       487.42  674035705 7517941952
sda1              0.00         0.00         0.00       2658        536
sda2              0.11         3.74         3.51   57721595   54202216

说明：
cpu属性值说明：
%user：CPU处在用户模式下的时间百分比。
%nice：CPU处在带NICE值的用户模式下的时间百分比。
%system：CPU处在系统模式下的时间百分比。
%iowait：CPU等待输入输出完成时间的百分比。
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比。
%idle：CPU空闲时间百分比。
备注：如果%iowait的值过高，表示硬盘存在I/O瓶颈，%idle值高，表示CPU较空闲，如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。
disk属性值说明：
rrqm/s: 每秒进行 merge 的读操作数目。即 rmerge/s
wrqm/s: 每秒进行 merge 的写操作数目。即 wmerge/s
r/s: 每秒完成的读 I/O 设备次数。即 rio/s
w/s: 每秒完成的写 I/O 设备次数。即 wio/s
rsec/s: 每秒读扇区数。即 rsect/s
wsec/s: 每秒写扇区数。即 wsect/s
rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。
wkB/s: 每秒写K字节数。是 wsect/s 的一半。
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。
avgqu-sz: 平均I/O队列长度。
await: 平均每次设备I/O操作的等待时间 (毫秒)。
svctm: 平均每次设备I/O操作的服务时间 (毫秒)。
%util: 一秒中有百分之多少的时间用于 I/O 操作，即被io消耗的cpu百分比
备注：如果 %util 接近 100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘可能存在瓶颈。如果 svctm 比较接近 await，说明 I/O 几乎没有等待时间；如果 await 远大于 svctm，说明I/O 队列太长，io响应太慢，则需要进行必要优化。如果avgqu-sz比较大，也表示有当量io在等待。
详细描述可见：
https://www.cnblogs.com/peida/archive/2012/12/28/2837345.html

ifconfig

ifconfig 命令用来查看和配置网络设备。当网络环境发生改变时可通过此命令对网络进行相应的配置

ifconfig eth0 upifconfig eth0 down

启动关闭指定网卡

ifconfig eth0 add 33ffe:3240:800:1005::2/64ifconfig eth0 del 33ffe:3240:800:1005::2/64

为网卡配置和删除IPv6地址

route

Route命令是用于操作基于内核ip路由表，它的主要作用是创建一个静态路由让指定一个主机或者一个网络通过一个网络接口，如eth0。当使用"add"或者"del"参数时，路由表被修改，如果没有参数，则显示路由表当前的内容。
详情见：
https://www.cnblogs.com/peida/archive/2013/03/05/2943698.html

ping

ping -b 192.168.120.1

ping网关

ping -c 10 192.168.120.206

ping指定次数

ping -c 10 -i 0.5 192.168.120.206

时间间隔和次数限制的ping

traceroute 、 tracert

在linux主机系统下，直接执行命令行：
traceroute hostname
而在Windows系统下是执行tracert的命令：
tracert hostname
追踪网络数据包的路由途径

netstat

netstat用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。

[root@localhost ~]# netstat
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State
tcp        0    268 192.168.120.204:ssh         10.2.0.68:62420             ESTABLISHED
udp        0      0 192.168.120.204:4371        10.58.119.119:domain        ESTABLISHED
Active UNIX domain sockets (w/o servers)
Proto RefCnt Flags       Type       State         I-Node Path
unix  2      [ ]         DGRAM                    1491   @/org/kernel/udev/udevd
unix  4      [ ]         DGRAM                    7337   /dev/log
unix  2      [ ]         DGRAM                    708823
unix  2      [ ]         DGRAM                    7539
unix  3      [ ]         STREAM     CONNECTED     7287
unix  3      [ ]         STREAM     CONNECTED     7286

说明：

从整体上看，netstat的输出结果可以分为两个部分：
一个是Active Internet connections，称为有源TCP连接，其中"Recv-Q"和"Send-Q"指的是接收队列和发送队列。这些数字一般都应该是0。如果不是则表示软件包正在队列中堆积。这种情况只能在非常少的情况见到。
另一个是Active UNIX domain sockets，称为有源Unix域套接口(和网络套接字一样，但是只能用于本机通信，性能可以提高一倍)。
Proto显示连接使用的协议,RefCnt表示连接到本套接口上的进程号,Types显示套接口的类型,State显示套接口当前的状态,Path表示连接到套接口的其它进程使用的路径名。
套接口类型：
-t ：TCP
-u ：UDP
-raw ：RAW类型
–unix ：UNIX域类型
–ax25 ：AX25类型
–ipx ：ipx类型
–netrom ：netrom类型

ss

ss是Socket Statistics的缩写。顾名思义，ss命令可以用来获取socket统计信息，它可以显示和netstat类似的内容。但ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息，而且比netstat更快速更高效。

telnet

执行telnet指令开启终端机阶段作业，并登入远端主机。

telnet 192.168.120.206

rcp

rcp命令用在远端复制文件或目录,如同时指定两个以上的文件或目录，且最后的目的地是一个已经存在的目录，则它会把前面指定的所有文件或目录复制到该目录中。

scp

scp是 secure copy的缩写, scp是linux系统下基于ssh登陆进行安全的远程文件拷贝命令。linux的scp命令可以在linux服务器之间复制文件和目录。
大文件日常工作中需要对日志文件进行分析，当日志文件过大时，Linux中使用vim、cat、grep、awk等这些工具对大文件日志进行分析将会成为梦魇，具体表现在：

执行速度缓慢，文件内容需要加载到内存中，涉及大量的磁盘读；
耗费资源过多，一个4G空间的日志文件需要至少4G的内存，更大的呢？
内容难以复用，分析过滤文件时会用管道对输出文件进行处理，大文件下难以复用；
文件传输困难，大文件需要传输给其他人进行分析，文件太大，全量传输带宽耗费大
1 查阅大文件之痛

大数据离线处理框架hadoop可以处理这些场景，然而hadoop也需要耗费较长的时间进行计算，而且还需要去编写MapReduce任务，诚然这种方法带来更大的难度和挑战。hadoop是通过将大文件切割成多个小文件，通过多个mapreduce任务做并行处理，Linux提供了一个简单易用的split工具，可以实现将文件切割成多个小文件。

LINUX指令：查日志，查性能相关推荐

linux命令查找软件,linux指令速查器下载
linux指令速查器最新版(linux指令查询)是一款最新免费包含linux命令查询.搜索功能的linux命令查询软件,它介绍了超过300条指令的用法,对各种用法做了详细的中文说明,非常适合于新手玩家 ...
linux指令速查手册中文高清pdf版,linux指令速查手册
linux指令速查手册2007年12月由人民邮电出版社出版发行.据小编知Linux是一款开源的操作系统,得到了广大开发者的青睐,开发者可以免费获得Linux操作系统的源代码:其次,它具有Unix的所有 ...
linux指令速查手册吴恒奎,Linux指令速查手册
<LINUX指令速查手册>详细地介绍了常用Linux指令的功能.语法.参数说明以及具体的操作实例.全书共讲解指令412个,共有实例760个.Linux是一款开源的操作系统,得到了广大开发者 ...
极客的Linux常用命令速查手册
Linux常用命令速查手册 1.1 写在前面的话 1.2 Linux 常用命令速查手册 1.2.1 mkdir创建一个文件夹 1.2.2 cd进入一个文件夹 1.2.3 rmdir删除一个文件夹 1. ...
分享超全的 Linux 渗透测试命令速查表
如下是一份 Linux 机器的渗透测试速查表,是在后期开发期间或者执行命令注入等操作时的一些典型命令,设计为测试人员进行本地枚举检查之用. 此外,你还可以从这儿阅读到许多关于渗透测试的文章. 命令描 ...
linux常用命令速查手册PDF下载
Linux常用命令速查手册需要该PDF文档的朋友扫码关注下方二维码[入门小站],后台回复「1001」自取点击下面标题即可获取对应资料 LeetCode刷题开源手册 LeetCode题解[jav ...
linux常用命令速查手册
Linux常用命令速查手册需要该PDF文档的朋友扫码关注下方二维码[入门小站],后台回复「1001」自取点击下面标题即可获取对应资料 LeetCode刷题开源手册 LeetCode题解[jav ...
linux服务器查杀,Linux服务器PHP后门查杀
shell脚本一句话查找PHP一句话木马 # find ./ -name "*.php" |xargs egrep "phpspy|c99sh|milw0rm|eval( ...
java文件流 m.jb51.net_Linux指令范例速查手册（第2版）PDF 下载
第1篇 Linux基础指令第1章文件与目录操作(教学视频:86分钟) 1.1 ls指令:显示目录内容 1.2 cd指令:将当前工作目录切换到指定目录 1.3 cp指令:复制文件或目录 1.4 mv ...

LINUX指令：查日志，查性能