Linux下快速迁移海量文件的操作记录

有这么一种迁移海量文件的运维场景：由于现有网站服务器配置不够，需要做网站迁移（就是迁移到另一台高配置服务器上跑着），站点目录下有海量的小文件，大概100G左右，图片文件居多。目测直接拷贝过去的话，要好几天的时间。那么问题来了，这种情况下的网站数据要怎么迁移呢？另外，此网站还在运行中，白天是断然不能停止了，只能运行深夜停掉几个小时。

可以采用的方案如下：
1.利用rsync进行同步。这种方法速度会慢，不过好在支持续传，在带宽不高或网站不稳定的情况下强烈建议用此方法：
1）先修改一下旧站上传图片的功能，确保新上传的图片保存到另一个新的目录地址下；
2）用rsync把旧图片同步到新的机器上；rsync可限速，同步操作时不会影响网站的对外服务。
3）可以写个rsync同步脚本，在夜里定时执行（比如凌晨1点执行，6点结束同步），100G的文件，要不了几个晚上就能搞定。
4）待旧站图片全都同步过去了，再一次性把新上传的图片rsync同步过去。并迁移网站代码。
2.如果网速快，网络稳定，可以考虑tar打包(压缩)后传输。不过打包后，要在一个停站周期内完成迁移，对于100G的量的文件传输，这种方法不太靠谱。
3.可以分块打包，比如根据图片大小适当的分块筛选(find)打包，然后再传输。
4.如果数据不重要，通过HTTP(wget)传输会更快些。
5.直接把旧站服务器的硬盘拿下来，然后将硬盘挂载到新站服务器上，再在新服务器上将nginx站点目录指向新挂载的硬盘。

实例说明：
比如本机站点目录/var/www/html下有100多万个小文件，需要将这些文件迁移到远程服务器192.168.1.101的/var/www/html目录下。
操作思路：
直接用rsync把文件一个一个的迁移过去，因为文件数量比较大，如果一下子在循环脚本里操作，会非常慢。
所以决定用分批操作，采用化整为零的方法。

为了试验效果，可以先在/var/www/html目录下造数
[root@bastion-IDC ~]# cd /var/www/html
[root@bastion-IDC ~]# for i in `seq 1 1000000`;do touch test$i;done

1）采用rsync同步方法

[root@bastion-IDC ~]# cat /root/rsync.sh

#!/bin/bash
home=/var/www/html
cd $homeif [ `pwd` == $home ];thena="1 100000 200000 300000 400000 500000 600000 700000 800000 900000"             //比100万低一级单位，即10万的单位for b in $adoc=`expr $b + 10000`                                       //比10万低一级单位for loop in $(ls -l|sed -n "$b,$c"p|awk -F" " '{print $9}')dorsync $loop 192.168.1.101:$homedonedonefi

[root@bastion-IDC ~]# chmod 755 /root/rsync.sh
[root@bastion-IDC ~]# /bin/bash /root/rsync.sh

2）采用wget方式（假设本机ip为192.168.1.99）

[root@bastion-IDC ~]# cat /root/rsync.sh
#!/bin/bash
home=/var/www/html
cd $homeif [ `pwd` == $home ];thena="1 100000 200000 300000 400000 500000 600000 700000 800000 900000"            for b in $adoc=`expr $b + 10000`                                       for loop in $(ls -l|sed -n "$b,$c"p|awk -F" " '{print $9}')do/usr/bin/ssh root@192.168.1.101 "/usr/bin/wget http://192.168.1.99/$loop -P /var/www/html"donedonefi

转载于:https://www.cnblogs.com/kevingrace/p/6245488.html

Linux下快速迁移海量文件的操作记录相关推荐

linux查看用户的操作记录,Linux下查看用户登陆后的操作记录
Linux下查看用户登陆后的操作记录在linux系统的环境下,不管是root用户还是其它的用户只有登陆系统后用进入操作我们都可以通过命令history来查看历史记录,可是假如一台服务器多人登陆, ...
Linux下查看用户登陆后的操作记录
Linux下查看用户登陆后的操作记录在linux系统的环境下,不管是root用户还是其它的用户只有登陆系统后用进入操作我们都可以通过命令history来查看历史记录,可是假如一台服务器多人登陆,一 ...
Linux下快速删除大量文件/文件夹方法--rsync
假如你要在linux下删除大量文件,比如100万.1000万,像/var/spool/clientmqueue/的mail邮件, 像/usr/local/nginx/proxy_temp的nginx缓 ...
Linux下快速删除大量文件/文件夹方法
一.场景描述假如你要在linux下删除大量文件,比如100万.1000万,像/var/spool/clientmqueue/的mail邮件, 像/usr/local/nginx/proxy_temp ...
shell快速迁移海量文件
业务需求:需要把一个目录下的1000多万个文件迁移到远程机器思路:用wget来把文件一个一个的迁移过去,因为文件数量比较大,如果一下在循环操作,会非常慢.所以分批操作,采用化整为零的方法. #! / ...
linux oracle删除恢复数据恢复,Linux下Oracle误删除数据文件恢复操作
检查数据文件的位置如下: SQL> select name from v$datafile; NAME --------------------------------------------- ...
linux快速删除60万文件,Linux下快速删除大量文件
rsync --delete-before -d /tmp/empty/ /the/folder/you/want/delete/ 不要忘记文件夹后的"/" 附: rsync的跟删 ...
linux下怎么批量命名文件,linux下的文件操作——批量重命名
概述:在日常工作中,我们经常需要对一批文件进行重命名操作,例如将所有的jpg文件改成bnp,将名字中的1改成one,等等.文本主要为你讲解如何实现这些操作 1.删除所有的 .bak 后缀: renam ...
mysql linux 数据库文件位置_mysql在linux下修改mysql数据库文件位置
linux下(这里是centos),mysql安装后,数据库的数据默认存放在/var/lib/mysql目录下,如果该目录下挂载的磁盘空间很少,不够用,需要迁移到其他的目录位置. 方法一: 参照win ...

Linux下快速迁移海量文件的操作记录

Linux下快速迁移海量文件的操作记录相关推荐

最新文章

热门文章