更新：2018-04-2713:25:25

其实直接用shuf就行：

trainname='_train'
testname='_test'
shufname='_shuf'
path="/data/mt/haiouzhang/lang_all/clean/all_lang/all_clean_2/"
for lang in ar bn km my ne tl ur hi kk he fa et bg da pl fi nl cs ro sv sl sk el hu sr hr no ka be mn mr ta uk az hy uz ht  #bg cs da de el en es et fa fi fr he hu id it ja ko ms nl no pl pt sk sr sv th tr vi zh
do
{file=$path$langshuf $file >$lang$shufname   #这句就是打乱。。cat $file$shufname | tail -n +10000 >$lang$trainnamecat $file$shufname | head -n +10000 >$lang$testname
}&
done

awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' inputFile >shuf_kmm

while read i;do echo "$i $RANDOM";done<inputFile|sort -k2n|cut -d" " -f1

linux 删除文件的前几行

sed -i '1,10d' file

grep --color :高亮查询关键字

grep -A 10 xxx : 显示关键字后10行，查异常栈时很有用

grep -B 10 xxx : 显示关键字前10行

grep -C 10 xxx : 显示关键字前后10行

grep -i :不区分大小写

egrep ‘aaa|bbb’:可以统计aaa或bbb的结果，egrep基本等价 grep -E

【一】从第3000行开始，显示1000行。即显示3000~3999行

cat filename | tail -n +3000 | head -n 1000

【二】显示1000行到3000行

cat filename| head -n 3000 | tail -n +1000

*注意两种方法的顺序

分解：
tail -n 1000：显示最后1000行
tail -n +1000：从1000行开始显示，显示1000行以后的
head -n 1000：显示前面1000行

【三】用sed命令

sed -n '5,10p' filename

这样你就可以只查看文件的第5行到第10行。

转载于:https://www.cnblogs.com/hozhangel/p/8926493.html

Linux下对文件行数打乱（乱序排列）相关推荐

Linux查询压缩文件行数,linux命令行快速统计文件（压缩文件）的行数
统计(文件|压缩文件)的行数 zcat file.gz | sed -n '$=' #迅速.直接打印出多少行.-n 取消 ...
linux c 获取文件行数
示例如下: /*获取文件行数*/ int file_wc(const char *filename) {int fd;register int linect = 0;char buf[MAXBSTZE ...
【Linux】查看文件行数、字数
wc [选项] 文件 -c 统计字节数 -l 统计行数 -w 统计字数 -m 统计字符数
LINUX下统计代码行数
http://blog.csdn.net/simanstar/article/details/9106997 转载于:https://www.cnblogs.com/spectrelb/p/75427 ...
linux截取日志文件行数,linux日志文件過大，想要截取執行時間的日志信息如何截取...
1.首先第一步查看你日志的時間格式: 09:28:06,651 ERROR [stderr] (http-/0.0.0.0:8080-1) org.springframework.jdbc.BadSq ...
linux命令统计文件行数据库,wc命令--Linux统计文件行数
语法:wc [选项] 文件- 说明:该命令统计给定文件中的字节数.字数.行数.如果没有给出文件名,则从标准输入读取.wc同时也给出所有指定文件的总统计数.字是由空格字符区分开的最大字符串. 该命令各选 ...
linux 取得文件行数
话题相关 #linux 如何取得文件行数 #linux 如何知道一个文件有多少行 #shell 如何取得文件行数方法1 wc命令 wc -l file wc命令是word count的缩写,为统计指 ...
Linux统计项目代码行数
首先进入项目工程下统计项目下所有文件行数 find . -type f |xargs cat|wc -l 统计项目下 .c 文件行数 find . -name "*.c" |xa ...
linux目录下多个文件行数比对函数关键字遍历文件 linux命令写入C函数
人,一定要有勇气和踏实的态度面对改变和选择!开发,零经验起步! 文件行数比对函数: 输入参数:接口文件绝对路径,日期(格式YYYYMMDD:20150716) 根据路径和日期,分别获取这add.del ...

Linux下对文件行数打乱（乱序排列）

linux 删除文件的前几行

Linux下对文件行数打乱（乱序排列）相关推荐

最新文章

热门文章

Linux下 对文件行数打乱（乱序排列）

linux 删除文件的前几行

Linux下 对文件行数打乱（乱序排列）相关推荐

最新文章

热门文章

Linux下对文件行数打乱（乱序排列）

Linux下对文件行数打乱（乱序排列）相关推荐