运维派网站数据迁移过程踩到的坑和教训

数据备份恢复是IT运维领域最基本不过的，上周运维派将网站数据从香港VPS迁移至阿里云国内节点，在这次数据迁移过程中发生了一个令我至今都心有余悸的事情……

事情的经过是这样的：

1、首先在VPS服务器上对网站程序目录执行tar打包，发现压缩包文件达到2GB（正常情况下只有100MB），当时怀疑是不是存在什么冗余数据，但考虑到数据迁移的完整性、以及当前服务器剩余空间只剩下几个GB的现实情况，也就放弃了排查；

2、通过scp将VPS上2GB压缩包往阿里云服务器端远程拷贝，scp进度显示需要2个小时，受不了这个耗时，果断CTRL+C，回过头排查到底是什么数据导致压缩包达到了2GB；

3、对网站程序目录排查，发现其中一个文件夹达到1.8GB，cd到该目录下，里面是大量的图片之类的附件文件，但这部分数据已经迁移到某家CDN存储了，便对该目录执行了rm -rf操作，命令下发后感觉不对，我至少可以先mv到其它目录的啊，赶紧打开浏览器访问网站，发现已经无法打开了。。。原来这个目录是还有程序文件和配置文件的啊，顿时大脑一片空白。

4、这时说手贱也没用了，赶紧找系统的定时备份数据，找到前一天晚上的备份数据解压恢复，发现备份包解压失败，报压缩包格式错误，然后继续找到前前天的备份数据，虽然tar解压依然报压缩包格式错误，但不幸之万幸是被删目录的程序文件算是找回来了。

针对这个教训，也做了一次梳理和回溯，总结起来有以下几点：

1、任何数据在删除前都务必做好备份，如果空间不够，那么mv一下或者先备份到本地也可以的；

2、对于自己设定的备份，需持有怀疑的态度，需要确保备份的数据本身是可用的；

3、日常的备份需要做到服务器本地及其异地的存储，分散备份数据，提升数据可靠性。

号外，运维派现已经启用第三方备份存储系统来提升数据容灾能力，我们会在后续的文章中来详细介绍。

文章原文：http://www.yunweipai.com/archives/4307.html

运维派网站数据迁移过程踩到的坑和教训相关推荐

运维派社区赞助商计划
运维派创办于2012年,是国内最早成立.垂直于IT运维领域的学习.交流.分享社区,运维派集媒体.活动.社群为一体,全方位服务泛IT运维工程师,成立6年以来共举办线上线下活动30+场. 运维派网站目前日 ...
运维派 » 你有自己的Web缓存知识体系吗？
你有自己的Web缓存知识体系吗? 赵舜东:江湖人称赵班长,曾在武警某部负责指挥自动化的架构和运维工作,2008年退役后一直从事互联网运维工作.曾带团队负责国内某电商的运维工作,<saltstac ...
运维工程师发展受限，那么运维转型大数据是个机会吗？
运维工作没意思,运维没有前途,运维会被取代--让很多的运维工程师感受到前途无"亮",随着资本寒冬的来临,以及各种新技术的不断出现,很多运维工程师开始走向了转型的道路.那么在如今的数 ...
数据中心如何提高运维效率？数据中心综合能效管理解决方案——安科瑞严新亚
1.概述安科瑞电气紧跟数据中心发展形式,推出AcrelEMS-IDC数据中心综合能效管理解决方案,包含有电力监控.动环监控.消防监控.能耗统计分析.智能照明控制以及新能源监测几个子系统.集成了变配电 ...
大数据运维：大数据平台+海量数据
大数据开发独揽大权大数据技术很早就在BAT这些公司生根发芽,但直到14.15年大数据技术才广泛应用在各大互联网公司,大数据技术由此深入各行各业. 此时大数据开发人才非常紧缺,很多公司大数据从立项,到 ...
运维：对数据要有敬畏之心
简述 "对数据要有敬畏之心"这个主题是同事在一个早会分享时提出的,却直接引起我心中的共鸣.前几年各种删库跑路事件.Facebook宕机事件仍不绝于耳,虽然大家将"删库跑路 ...
安装elasticsearch踩过的坑，教训写在这里，一起共同努力，希望大家先通读一下再按着步骤操作，看过就知道哪些坑可以掠过
安装elasticsearch踩过的坑,教训写在这里,一起共同努力,希望大家先通读一下再按着步骤操作,看过就知道哪些坑可以掠过配置外网访问出现启动不了的问题: Java HotSpot(TM) 64 ...
电厂运维的cis数据_变配电智能化运维作用和优点，智慧供配电物联网
变配电智能化运维作用和优点,智慧供配电物联网从实际情况出发,我们可以将电力系统划分为三个:发电.输电和配电,其直接过程就是发电系统发出的电能经由输电系统的输送,最后由配电系统分配给各个用户.在这三部 ...
运维必备规章制度：故障分级和处罚规范 – 运维派
作者简介 <海量运维.运营规划之道>一书作者,关于海量运维.运营规划,我想业界都没有准确的定义,假如说互联网的架构师用能否设计多高的摩天大楼来衡量架构能力,那运维.运营更多的是在关注互联网 ...

运维派网站数据迁移过程踩到的坑和教训

运维派网站数据迁移过程踩到的坑和教训相关推荐

最新文章

热门文章