原标题：常用的linux命令和逐行数据处理的例子

Linux具有开源，处理性强等优点。

并且由于生物数据量较大，对数据处理性能要求更高，

所以生物信息分析软件大多都是针对linux系统进行开发的。

在日常的生物信息分析中，

我们几乎离不开linux平台，

今天我们给您介绍的小命令你可能常常使用，

能够帮助我们简单舒适的处理手头上庞大的生物信息数据。

一，常用的小命令

cd打开文件目录

ls显示文件

ls -al |grep '^d' 显示目录ls -al |grep '^[^d]' 在一个目录中查询不包含目录的所有文件

less文件名 查看文件内容 按“q” 退出

cat文件名 打开文件，可以多次打开几个文件

cat > 2.txt (用定向符创建文件,填写内容后,按ctrl+d保存内容)

grep-参数 文件名

-i 不区分大小写

-v 显示不符合条件的所有行

-c 显示符合条件的所有行数(符合条件的数量)

mkdirmywork 建立mywork这个目录

cpfilename1 filename2 拷贝文件或目录

mv源文件或目录 目标文件或目录 移动或重命名文件cut-f ‘1,5’文件 剪切文件的第1列和第5列

head-2 文件名 显示2行

head -100 文件名 | tail -10 >>a.log 提取文件第91-100行数据

wc-参数 文件名 统计文本大小，字符多少，行数

-c 统计文本字节数

-m 统计文本字符数

-l 统计文本有多少行

sort– 参数 文件名 对文件进行排序

-n 对文件按照数字排序

-r 反向排序

uniq-参数 文件名 对文件去重，去重前需要使用排序

split-参数 文件名 对文件进行切割

-100 (每100行切割成一个文件)

-C 25m/b/k (每25兆/字节/K 分割成一个文件)

|管道符号，把上一条命令的结果传输给下一条命令

“>” 和“>> ” 重定向写入文件中

“>”相当于“w”清空并写入

“>>”相当于“a” 追加进文件

sed-i ‘s/a/b/g' 文件 将文件中的a全部替换成b

awk-F ‘分割符' Pattern ｛action｝ 文件名 使用指定的字符对每一行数据进行分段，默认是空格

-F后面跟的是分隔符

pattern 就是action执行的条件，这里可以使用正则表达式

(awk的功能太强大了，之前的公众号中也有提及过可以参考)

bashshell.sh 运行shell.sh脚本

dos2unix文件

将Windows——>linux

(由于Windows和Linux下的换行符不同，所以我们在Windows下面下的代码需要使用dos2unix 转换成Linux下的换行符，否则运行shell脚本会报错)

unix2dos文件 将 linux——>Windows

rmxx.txt 删除xx.txt文件

rm －rf 删除所有文件目录和目录下的所有文件，谨慎使用。

二，逐行处理

我们经常需要对文体文件进行逐行处理，那么在Shell里面如何获取每行数据，然后处理该行数据，最后读取下一行数据，循环处理呢．给大家介绍以下三种方法：

1.通过read命令完成．最简便

read命令接收标准输入，或其他文件描述符的输入，得到输入后，read命令将数据放入一个标准变量中．

利用read读取文件时，每次调用read命令都会读取文件中的"一行"文本．

当文件没有可读的行时，read命令将以非零状态退出．

1cat data.dat | while read line

2do

3echo "File:${line}"

4done

5

6while read line

7do

8echo "File:${line}"

9done < data.dat

2.使用awk命令完成，最强大

利用awk读取文件中的每行数据，并且可以对每行数据做一些处理，还可以单独处理每行数据里的每列数据．

1cat data.dat | awk '{print $0}'

2cat data.dat | awk 'for(i=2;i

第1行代码输出data.dat里的每行数据，第2代码输出每行中从第2列之后的数据．

如果是单纯的数据或文本文件的按行读取和显示的话，使用awk命令比较方便．

3.使用for var in file 命令完成

for var in file　表示变量var在file中循环取值．取值的分隔符由$IFS确定．

1for line in $(cat data.dat)

2do

3echo "File:${line}"

4done

5

6for line in `cat data.dat`

7do

8echo "File:${line}"

9done

如果输入文本每行中没有空格，则line在输入文本中按换行符分隔符循环取值．

如果输入文本中包括空格或制表符，则不是换行读取，line在输入文本中按空格分隔符或制表符或换行符特环取值．

可以通过把IFS设置为换行符来达到逐行读取的功能．

注意，IFS的默认值为：空白(包括：空格，制表符，换行符)

从生物信息的从业者的角度看，我们更关注数据分析，linux命令行操作系统是必须要掌握的技能，掌握了以上介绍的小命令和逐行处理的方法，对于数据处理是不是更得心应手了呢？还有多的处理技巧等着你去总结掌握！返回搜狐，查看更多

责任编辑：