Argument list too long 文件数过多

今天复制一个目录到新挂载的硬盘上面，发现因为里面有100W个文件

网络各种办法都不行，最后用python脚本解决了，附上脚本

修改最后一行，源和目的文件夹即可前面是源，后面是目的

#!/usr/bin/python
import os
import shutildef copyFiles2(srcPath,dstPath):if not os.path.exists(srcPath):print "src path not exist!"if not os.path.exists(dstPath):os.makedirs(dstPath)for root,dirs,files in os.walk(srcPath):for eachfile in files:shutil.copy(os.path.join(root,eachfile),dstPath)print eachfile+" copy succeeded"copyFiles2('/app/filesSource','/app/filesDest')

shell可以试试，不过第一条会多了两级目录，第二天没试过，可以自行试试

复制目录

$  tar cvf - /home/source | tar xvf - -C /D

复制文件
```
$ tar cf - * |tar xf - -C /Dest
```

Argument list too long 文件数过多相关推荐

Hive：解决Hive创建文件数过多的问题
Hive:解决Hive创建文件数过多的问题参考文章: (1)Hive:解决Hive创建文件数过多的问题 (2)https://www.cnblogs.com/wcwen1990/p/7600161. ...
streaming文件数过多
遇到一个bug, unity2020下,打android包,StreamingAssets下文件不能超过680个文件,否则Gradle会报错. gradleTemplate.properties里面配 ...
distribute by控制分区文件数
distribute by是控制在map端如何拆分数据给reduce端的.hive会根据distribute by后面列,对应reduce的个数进行分发,默认是采用hash算法. 大部分情况都用于解决 ...
打开文件数过多 linux,Linux 解决打开的文件数太多
服务器异常最近某个生产应用调接口出现了 "打开的文件过多" 的错误提示 . 通过运维查看服务器的进程最大文件数默认就是 1024 ,因此需要增加最大的文件数增加大了文 ...
linux socket文件数限制,Linux下高并发socket最大连接数所受的限制问题
Linux下高并发socket最大连接数所受的限制问题1.修改用户进程可打开文件数限制在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时, 最高的并发数量都要受到系统对 ...
系统可打开最大文件数过小，导致CHECK_NRPE: Error - Could not complete SSL handshake
1.nagio服务器发出报警日志,客户端ssl handshake失败: ***** Nagios ***** Notification Type: PROBLEM Service: Check Zo ...
ORA-19809: 超出了恢复文件数的限制
实验环境:Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Prod 实验背景:向tough.t中插入40万条记录,然后rollb ...
python遍历文件夹下所有文件大小_python遍历文件夹——两种遍历本地文件记录文件夹个数、文件数及文件大小的方法...
这两个函数的功能:得到给定目录的文件夹个数.文件数,以及文件大小 walkFolders函数没有用到os.walk函数,是自己递归调用的:walkfunc函数用到了os.walk函数,方便了很多. i ...
linux 下修改最大文件数
环境为centosV7系列 1.查看进程的打开最大文件数,默认为1024 [root@localhost ~]# ulimit -a core file size (blocks, -c) 0 dat ...

Argument list too long 文件数过多

Argument list too long 文件数过多相关推荐

最新文章

热门文章