巧用Linux 命令来拆分Windows下的大文件

背景：

　　今天在处理SQL Server一个同步链的问题，源头目的端比较数据，最后产生了一个300MB的文件，在windows下根本没办法打开。而且就算可以打开，也需要在每1000条命令后，等待10秒钟，避免出现同步链的压力异常增大。

　　那么当前最主要的两个问题是：

　　　　1.将大的比对结果的文件拆成小的文件，这样才可以在windows下打开

　　　　2.在每1000行命令后面添加waitfor delay '00:00:10'

解决过程：

　　最开始尝试在windows环境下完成上面的工作，但是一直不得其领，最后只得在Linux下进行解决。

　　1.将大的结果文件(q.sql)拆成小文件，比如将每10W行命令放入到一个新的命令：

　　　　采用的命令为：split -l 100000 q.sql q_new

　　这样就可以将大文件q.sql拆成多个小文件，类似的命令为q_newaa,q_newab,q_newac，在每个小文件（除最后一个外）中都包含10W行记录

　　2.在每个小文件中，每1000行后面添加waitfor delay '00:00:10'，可以采用下面的命令实现，以单个文件为例

　　　　sed "0~1000 s/$/\nwaitfor delay '00:00:10'/g" q_newaa>q_newaa_new

　　这样在小文件中的每1000行后面就会新加一行 waitfor delay '00:00:10'

　　当然，我们在正式作业的时候，最好是先将上面的第二步应用到大文件，之后再进行拆分。之后再循环执行这些小文件，这样就可以实现最初的目的了

转载于:https://www.cnblogs.com/Wison-Ho/p/6019272.html

巧用Linux 命令来拆分Windows下的大文件相关推荐

cygwin学习linux命令,cygwin 在windows下使用linux命令的方法
cygwin 在windows下使用linux命令的方法以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 但是cygwin ...
Linux下convert批处理的命令及其与Windows下nconvert的区别与联系
Linux下convert批处理的命令及其与Windows下nconvert的区别与联系 linux下可以利用convert命令来直接进行图像的批处理,而windows下只能借助nconvert.ex ...
Windows 下目录及文件向Linux同步
本文解决的是Windows 下目录及文件向Linux同步的问题,Windows向 Windows同步的请参考:http://www.idcfree.com/article-852-1.html 环境介 ...
Win 管理器运行命令大全（Windows下的DOS运行命令）
DOS 运行命令管理器字符大全 Win 管理器运行命令大全(Windows下的DOS运行命令) Nslookup-------IP 地址侦测器 explorer-------打开资源管理器 de ...
U盘刻录linux系统后在windows下无法识别完整容量
U盘刻录linux系统后在windows下无法识别完整容量问题描述: 将linux系统刻录进U盘,会导致原本比如16G的U盘在windows上只能显示2m左右的容量. 这实际上是因为windows系 ...
linux 分隔大文件,linux系统下分割大文件的方法
本文介绍下在linux系统中,分割大文件的方法,比如一个5gb日志文件切割为很多小块. 在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取. 有 ...
linux下分割文件的方法,关于linux系统下分割大文件的方法
<关于linux系统下分割大文件的方法>由会员分享,可在线阅读,更多相关<关于linux系统下分割大文件的方法(4页珍藏版)>请在人人文库网上搜索. 1.关于 linux系统下 ...
linux切大文件为小文件,linux系统下分割大文件的方法
在linux中分割大文件,比如一个5gb日志文件,需要把它分成多个小文件,分割后以利于普通的文本编辑器读取. 有时,需要传输20gb的大文件到另一台服务器,也需要把它分割成多个文件,这样便于传输数据. ...
windows下的.DLL文件
DLL(Dynamic Link Library)文件为动态链接库文件,又称为"应用程序拓展",是软件文件类型.在windows中,许多应用程序并不是一个完整的可执行文件,它们被分 ...

巧用Linux 命令来拆分Windows下的大文件

巧用Linux 命令来拆分Windows下的大文件相关推荐

最新文章

热门文章