cmd 文本文件分割_cmd - 分割大文件

场景

线上出了问题，我需要去查找log来定位问题，但是由于线上数据量庞大，这些log文件每过一个小时就会自动回滚一次，尽管如此，有的log文件依然达到了五六g以上的大小。

对于这种巨大的log文件，常用的一些文本编辑器诸如EditPlus、Notepad++就不用说了，打开几百m的文件都会很卡，上g的直接程序崩溃。虽然UltraEdit对于大文件的读取会友好一些，但打开这种五六g的文件时也会陷入长时间的无响应状态。

后来我又得知了一个看log神器——glogg，打开五六g的大文件速度很快，但是有个问题，就是只能读取文件，不能编辑文件。毕竟我不只是要查看log，有时候还要对这些有用的log信息进行编辑。最后还是决定先把大文件分割成数个小文件，再用UltraEdit来查看这些文件。

使用cmd命令分割大文件

在cmd中分割文件的命令是split，在cmd窗口中输入split --help可以查询帮助信息。假设现在有个6GB大小的文件test.log，这里简单介绍下几种分割的方式：

按大小分割文件

split -b 1000000000 test.log

-b参数表示按字节大小进行分割，在数字后边要指定被分割的文件名。这里在输入文件名时有个小技巧，可以直接把该文件拖动到cmd窗口中，会自动输入该文件的具体目录。这里的文件还可以使用通配符，比如split -b 1000000000 *。

这个命令表示按1000000000byte的大小进行分割，近似于1GB，大概是953MB的大小。对于这个6GB大小的文件test.log，会被分割成6个小文件。这些小文件的命名是有规律的：xaa、xab、xac、xad、xae、xaf。如果你分割了非常多的小文件，当文件名到了xyz之后，会变成xzaaa、xzaab、xzaac、xzaad……所以不用担心小文件过多而导致文件重名什么的。

当然，上边的这种写法不够人性化，我们可以使用其他的单位来指定分割的大小：k、m。k表示KB，m表示MB。

split -b 100k test.log表示将test.log按照100KB的大小进行分割。

split -b 100m test.log表示将test.log按照100MB的大小进行分割。

按照所有行数加起来的最大字节数进行分割

split -C 100k test.log

-C参数表示按照所有行数加起来的最大字节数进行分割，同样可以使用k或者m作为单位，其实效果和上边的-b差不多。

按照行数进行分割

split -l 1000 test.log

split -1000 test.log

-l参数表示按照行数进行分割，即一个小文件中最多有多少行，-l number可以缩写成-number，上边的命令表示按照1000行一个小文件进行分割。

注意点

这三种分割的方式不能混合使用，如下：

split -l 3000 -C 100k *

会报错split: cannot split in more than one way。

cmd 文本文件分割_cmd - 分割大文件相关推荐

linux 传输大文件大小,Linux大文件传输(转)
我们经常需要在机器之间传输文件.比如备份,复制数据等等.这个是很常见,也是很简单的.用scp或者rsync就能很好的完成任务.但是如果文件很大,需要占用一些传输时间的时候,怎样又快又好地完成任务就很重 ...
php+如何按文字分割文件夹,PHP实现的大文件切割与合并功能示例
本文实例讲述了PHP实现的大文件切割与合并功能.分享给大家供大家参考,具体如下: 分割代码 split.php $i = 0; //分割的块编号 $fp = fopen("hadoop.sq ...
linux中split分割文件打开方式,Linux系统下使用split命令分割大文件 (转载)
[小蜗牛闲情之作 ] 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败后,最后想到的是把视频切开一片片"邮递"过去给他,让它自己组装起来吧. [root@pps publ ...
一文教会你如何用 Python 分割合并大文件
有时候,我们需要把一个大文件发送给别人,但是限于传输通道的限制,比如邮箱附件大小的限制,或者网络状况不太好,需要将大文件分割成小文件,分多次发送,接收端再对这些小文件进行合并.今天就来分享一下用 Py ...
linux文件分割命令性能,Linux系统下使用split命令分割大文件 (转载)
[小蜗牛闲情之作 ] 我想给一个朋友传一个大视频,有几百M,尝试多种传输办法失败后,最后想到的是把视频切开一片片"邮递"过去给他,让它自己组装起来吧. [root@pps publ ...
Java按行分割大文件
简介工作的时候,需要将一个大的文本文件按行分割成几个小文件.本来懒得写,想网上copy一下得了,但是 google 了一遍,找了几个代码写的有点乱,尝试了之后发现效率太慢了,一个 1000000 行 ...
java切割文件_Java实现按行分割大文件
简介工作的时候,需要将一个大的文本文件按行分割成几个小文件.本来懒得写,想网上copy一下得了,但是 gLoLdchFGpoogle 了一遍,找了几个代码写的有点乱,尝试了之后发现效率太慢了,一个 ...
VB 实现大文件的分割与恢复,引用 ADODB.Stream 提供一个过程代码
'VB 实现大文件的分割与恢复,引用 ADODB.Stream 提供一个过程: '要引用 Microsoft ActiveX Data Objects 2.5 Libary '或 Microsoft ...
大文件做分割处理的方法——winRAR压缩分割法
###可以把一些大的文件压缩成多个小文件,享受压缩.分割文件 1,开始分割: 2,分割后:(压缩.分割文件) 完成设置后,单击"确定"按钮,这样WinRAR压缩软件就会把软件压缩并 ...
使用python实现大文件分割与合并
在平常的生活中,我们会遇到下面这样的情况: 你下载了一个比较大型的游戏(假设有10G),现在想跟你的同学一起玩,你需要把这个游戏拷贝给他. 然后现在有一个问题是文件太大(我们不考虑你有移动硬盘什么的情 ...

cmd 文本文件分割_cmd - 分割大文件

cmd 文本文件分割_cmd - 分割大文件相关推荐

最新文章

热门文章