背景

公司计划将服务器从aws迁移至阿里云，其中我们迁移的一个难点就是MongoDB中几TB数据如何安全的迁移至阿里云环境，因此，我开发出一套MongoDB自动化迁移脚本，只需要简单的操作就可以安全迁移，实现语言是Shell。

一、简述

1、执行同步脚本，把数据按天来同步

nohup sh master.sh  2018-1-01 2018-8-16 &

2、距离上线还有两天，使用按小时来同步数据。

nohup sh computer.sh &
脚本会自动获取系统时间来进行同步操作。#加入计划任务，让脚本持续运行。
#每隔一小时执行一次脚本，同步一小时大约需要6、7分钟！crontab -l
01 */1 * * * /bin/bash /root/mongo-script/computer.sh

3、迁移开始时停止数据录入，最多也就需要再录入一个小时的数据，大大节省了时间。

同步完数据，等待20分钟后，与线上MongoDB比对数据条数。如果有误差，请开发人员介入！

二、自动化脚本使用方法

脚本中采用MongoDB自带命令的方式进行数据的备份与恢复。

1、按天备份

sh client.sh 2018-1-27 2018-1-27

查看数据存放目录

还原

sh mongo-restore.sh

2、按小时备份

sh client-hour.sh '2018-1-27 11:00:00' '2018-1-27 14:00:00'

查看数据存放目录

还原

sh mongo-restore-hour.sh

结语

自动化脚本资源我放在我的主页上去了，大家有需要可以前往下载，希望可以对大家有所帮助。

MongoDB迁移方案相关推荐

从MongoDB迁移到ES后，我们减少了80%的服务器
来自:DBAplus社群作者介绍李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch,对Elastic-Stack开发.架构. ...
李猛：从MongoDB迁移到ES后，我们减少了80%的服务器
李猛 DBAplus社群读完需要 10 分钟速读仅需 4 分钟作者介绍李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch ...
云计算之路：数据库迁移方案
云计算之路系列博文分享的是我们将网站从IDC机房迁移至云计算平台(阿里云)的实际经历,目前处于准备阶段,这次分享的是数据库的迁移方案. 在整个迁移过程中,只有数据库迁移过程中的数据同步阶段会影响网站的 ...
代码迁移之旅（二）- 渐进式迁移方案
说在前面这是代码迁移的第二篇文章,也是最后一篇了,由于个人原因,原来的迁移我无法继续参与了,但完整的方案我已经准备好了,在测试环境也已经可以正常进行了. 上篇文章代码重构之旅(一) 项目结构介绍 ...
不同场景下MySQL的迁移方案
文章目录不同场景下MySQL的迁移方案一 .为什么要迁移生产环境中,有以下情况需要做迁移工作,如下: 二.MySQL 迁移方案概览三.MySQL 迁移实战 3.1. 场景一:一主一从结构迁移从 ...
银行核心海量数据无损迁移：TDSQL数据库多源异构迁移方案
为帮助开发者更好地了解和学习分布式数据库技术,2020年3月,腾讯云数据库.云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙<你想了解的国产数据库秘密,都在这!&g ...
Ceph 集群整体迁移方案
场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证 ...
应用迁移方案_Kubernetes如何成为迁移旧版应用程序的解决方案
应用迁移方案在互联网的早期,如果要启动应用程序,则必须购买或租用硬件. 这是一台物理服务器或服务器机架,并且每个应用程序需要一台服务器,因此非常昂贵. 在2001年,VMware推出了虚拟化软件,该 ...
《 Oracle 10g-11g XTTS迁移方案》.pdf
墨天轮文档:<Oracle 10g->11g XTTS迁移方案>:https://www.modb.co/doc/188(复制到浏览器中打开或者点击"阅读原文"可 ...

MongoDB迁移方案

背景

一、简述

1、执行同步脚本，把数据按天来同步

2、距离上线还有两天，使用按小时来同步数据。

3、迁移开始时停止数据录入，最多也就需要再录入一个小时的数据，大大节省了时间。

二、自动化脚本使用方法

1、按天备份

2、按小时备份

MongoDB迁移方案相关推荐

最新文章

热门文章