学习啦小编我在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取。有时,需要传输20gb的大文件到另一台服务器,也需要把它分割成多个文件,这样便于传输数据。

(Linux系统下分割大文件图例)

以下通过五个不同的例子,学习啦小编就来讲解Linux下分割大文件的方法,供大家参考。

例1、以每个文件1000行分割

split命令分割文件成每个文件1000行,并且文件名依次为 [前缀]aa, [前缀]ab, [前缀]ac等,默认的前缀是X,每个文件的行数为1000行。

命令:

代码如下:

$ split mylog -l 1000

$ wc -l *

4450 mylog

1000 xaa

1000 xab

1000 xac

1000 xad

450 xae

例2、以每个文件20MB分割

分割文件为多个20MB的文件,附带-b选项。

命令:

代码如下:

$ split -b 20M logdata

$ ls -lh | tail -n +2

-rw------- 1 sathiya sathiya 102M Jul 25 18:47 logdata

-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xaa

-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xab

-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xac

-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xad

-rw------- 1 sathiya sathiya 20M Jul 25 19:20 xae

-rw------- 1 sathiya sathiya 1.6M Jul 25 19:20 xaf

例3、以每个文件50MB指定前缀分割

使用–bytes选项把文件分割成多个50MB的文件,–bytes类似-b选项,在第二个参数指定前缀。

命令:

代码如下:

$ split --bytes=50M logdata mydatafile

$ ls -lh

total 204M

-rw------- 1 sathiya sathiya 102M Jul 25 18:47 logdata

-rw------- 1 sathiya sathiya 50M Jul 25 19:23 mydatafileaa

-rw------- 1 sathiya sathiya 50M Jul 25 19:23 mydatafileab

-rw------- 1 sathiya sathiya 1.6M Jul 25 19:23 mydatafileac

例4、基于行数分割文件

使用-l选项指定行数来把文件分割成多个行数相同的文件。

命令:

代码如下:

$ wc -l testfile

2591 testfile

$ split -l 1500 testfile importantlog

$ wc -l *

1500 importantlogaa

1091 importantlogab

2591 testfile

例5、以数字后缀命名分割文件

使用-d选项可以指定后缀为数字,如00,01,02..,而不是aa,ab,ac。

命令:

代码如下:

$ split -d testfile

$ ls

testfile x00 x01 x02

可用选项

代码如下:

短选项 长选项 选项描述

-b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。

-C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。

-d –numeric-suffixes 使用数字作为后缀。

-l –lines=NUMBER NUMBER 值为每一输出档的列数大小。

短选项 长选项 选项描述

-b –bytes=SIZE SIZE 值为每一输出档案的大小,单位为 byte。

-C –line-bytes=SIZE 每一输出档中,单行的最大 byte 数。

-d –numeric-suffixes 使用数字作为后缀。

-l –lines=NUMBER NUMBER 值为每一输出档的列数大小。

通过学习啦小编的这五个方法,你就明白怎么分割大文件啦。

linux下分割文件的方法,linux系统下分割大文件的方法有哪些相关推荐

  1. 如何快速找出Linux系统中的大文件?

    今日主题: 如何快速找出Linux系统中的大文件? 在前面的文章中,我们讲到了压测时磁盘空间被占满的问题,可以跟今天的文章结合着看. 在性能测试中,我们经常要关注系统磁盘空间,防止因磁盘空间占满而导致 ...

  2. 【Linux】使用du、df 和 sort 命令快速找出Linux系统中的大文件

    在性能测试中,我们经常要关注系统磁盘空间,防止因磁盘空间占满而导致的报错,那么具体怎么查看磁盘空间的大小呢?怎么找到占用空间最大的文件呢? 使用df.du并结合sort,可以快速找到系统中的大文件! ...

  3. Unix/Mac系统下的文件在Windows里打开的话,所有文字会变成一行——怎么将Unix/Mac系统下的文件转换到Windows系统下

    先交代一下遇到的问题: 本人用的是Windows系统.在学习Triangle Mesh时,想将bunny.ply等经典的PLY文件导入程序中. 但是,文件被读入程序后,所有的内容变成了一行.从而,现成 ...

  4. bios下能看到硬盘,进入系统看不到的解决方法

    bios下能看到硬盘,进入系统看不到的解决方法 参考文章: (1)bios下能看到硬盘,进入系统看不到的解决方法 (2)https://www.cnblogs.com/simadi/p/1063616 ...

  5. java高效写文件_java如何高效读写10G以上大文件

    有一份10G以上大文本文件,需要替换里面的一些文本信息(每一行都有),如何高效读并替换掉生成新的文件 先分割成多个文件 多个线程操作多个文件,避免两个线程操作同一个文件 按行读文件并按行写入新的文件 ...

  6. 大文件传输有哪些方式可用?大文件传输有哪些方式?

    大文件传输有哪些方式可用?大文件传输有哪些方式?互联网时代,速度决定效率.在企业生产过程中需要进行信息数据交换.搬运.这时就需要进行大文件传输.方方面面的行业都要涉及到大文件传输.例如影视行业需要每天 ...

  7. kettle将多个文件压缩_如何使用WinRAR将一个大文件压缩成多个小的压缩包

    目录 1.使用WinRAR将一个大文件压缩成多个小的压缩包 2.使用WinRAR将多个小的压缩包,解压/合并成一个大文件 3.结尾 / 在现实生活中,受文件大小的限制,在传输的过程往往出现困难,如:邮 ...

  8. linux为用户指定资源大小,Linux_Linux系统下生成一个指定大小的文件,在装系统,因此在这里随便记 - phpStudy...

    Linux系统下生成一个指定大小的文件 在装系统,因此在这里随便记点东西. 从前与经理讨论NVR项目的时候,他提到要预先将用户指定好的磁盘空间预留出来,这是比较容易实现的功能.不容易实现的是自己写一个 ...

  9. linux命令行下读取u盘内容_Linux系统下使用U盘的方法

    在linux系统之中, 一切设备皆文件, 所以我们的U盘也是一个文件.磁盘设备被抽象成sda文件, U盘设备被抽象成sdb文件. 1.查看所有的设备文件. 在linux的文件系统中, /dev中存放着 ...

  10. linux查看fc卡固件版本,几种系统下查看FC HBA卡信息的方法

    在配置磁盘阵列或虚拟磁带库时,往往会以FC接口与主机对接,那就涉及FC HBA卡的查看,本文就此问题在各种系统下的查看方法进行总结与整理. 一.Windows系统 在Windows系统中,可以使用FC ...

最新文章

  1. Android CheckBox 点击的时候没有效果
  2. Java InputStream详解
  3. 嵌入式系统中系统时间显示
  4. oracle 查询时间跨度一年,关于时间跨度比较的OVERLAPS函数
  5. vue 多选自动触发_Vue,初次邂逅(二)
  6. Fiddler在PC/台式对Android进行抓包
  7. 向量的 加,减,乘 运算_2
  8. linux中使用ntpdate命令进行时间更新时出现the NTP socket is in use, exiting
  9. @程序员,快来 Get 常用的 Linux 命令和技巧!
  10. php 环信easyui_环信easeui集成:坑总结2018
  11. JVM之内存分配与回收策略
  12. Win32 Application和Win32 Console Application区别
  13. LaTeX简历模版,自己瞎做的,请多指教
  14. python socketserver实现tcp post,get请求
  15. Asp.net中GridView使用详解
  16. win7下mysql重置root口令
  17. Dynamics CRM2013 在Visual Studio中开启脚本的Xrm.Page智能提示
  18. 什么是机器学习(ML)
  19. Neyman-Person
  20. 风口猪炒股指标操作复盘 2021-01-20

热门文章

  1. 你不知道的 facebook 盈利模式
  2. linux命令 tee,linux tee命令详解
  3. pip is configured with locations that require TLS/SSL, however the ssl module in Python is not avai
  4. 数据结构与算法---堆的基本操作
  5. C#CAD二次开发视频全套介绍及基础环境搭建
  6. Android运行错误:debug\classes.jar: 另一个程序正在使用此文件,进程无法访问。解决方案
  7. System.Runtime.InteropServices.COMException
  8. 11款手机微信小游戏源码特效
  9. 《算法和数据结构》算法篇
  10. 2022内蒙古最新水利水电施工安全员模拟考试试题及答案