mongodb 备份压缩_MongoDB 如何实现备份压缩
背景及原理
数据库的备份是灾难恢复的最后一道屏障,不管什么类型的数据库都需要设置数据库备份,MongoDB也不例外。MongoDB 3.0 后 ,数据库可以采用Wiredtiger存储引擎后(3.2 版本默认),在此环境下通过mongodump 备份后,产生的备份文件要远大于数据存储文件的大小。此外,一般MongoDB存储的数据量比较大,备份文件也比较大,占用了很多磁盘空间。所以,研究如何实现MongoDB备份压缩很有必要。
上图是执行命令 db.stats() 查看某数据库的信息。
备份文件的大小一般为dataSize的大小,所以我们希望压缩备份,可以达到storageSize 或者更小。
一般的备份思路是先备份,后对备份文件进行压缩。之前,我们采用的就是这种方式,例如主要压缩命令如下
tar -cf - ${targetpath}/${nowtime} | pigz -p 10 > ${targetpath}/${nowtime}.tgz
(命令解释: targetpath}/${nowtime 为待压缩的备份文件;pigz 是Linux压缩神器,可并行压缩;-p是指定cpu的核数。)
但是这种方式,生成备份文件的过程中还是容易形成磁盘性能压力和空间压力。下图为我们某台Server 采用先备份后压缩方式,形成的磁盘可用空间变化。
真正希望的是在备份的同时进行压缩,这样可用空间就比较平稳了。在MongoDB 3.2 中 引入了一种压缩式备份【此mongodb版本必须不低于3.2】。可以使用gzip进行压缩。这是通过在mongodump和mongorestore中引入一个新的指令行选项“- -gzip”实现的。
压缩可用于目录以及归档模型下创建的备份,压缩还可以减少磁盘空间使用。
测试
测试环境:
测试服务器
测试数据库
端口
文件路径
172.X.X.245
实例全备
17219
/data/mongodb_back
172.X.X.246
QQ_DingDing
17218
/data/mongodb_back/QQ_DingDing
Step 1 压缩式备份的命令:
./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" --out /data/mongodb_back
备份后文件的大小,97M
这时候,查看备份文件的格式都变成了.gz的格式
Step 2 将备份文件copy至远程机器上,进行还原:
以下命令是将在172.X.X.246,要求是将文件从X.245 copy至本地
scp -r root@172.X.X.245:/data/mongodb_back/QQ_DingDing
step 3 执行还原的命令
执行的命令
./mongorestore --host 172.X.X.246 --port 17218 -d QQ_DingDing -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" /data/mongodb_back/QQ_DingDing
还原后登录MongoDB,执行show dbs,查看此时 数据大小为500M。
补充说明
(1) 如果不采用压缩式的备份,备份后的文件会是多大呢?备份命令 :
./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --authenticationDatabase "admin" --out /data/mongodb_back2
查看此种方法备份后的文件大小--1.5G。
以此QQ_DingDing数据库为例,其压缩率为(文件压缩后的大小与压缩前的大小之比):97M/1.5G=97/1536=6.3%
(2) 这种压缩备份的方式的会不会带来一些弊端:例如备份时间增长?(恢复时间增加?,请自测一下试试,嘻嘻 @@@)
以 某归档备份库所在实例为例(storageSize 150G,dataSize 600G )
采用 先备份后压缩的方式耗时1小时55分钟
采用压缩式备份(指定--gzip参数)的方式耗时 2小时33分钟
产生的备份文件大小基本相等,压缩式备份方式产生的备份文件略小
所以 压缩式备份会导致备份时间增长。
但从空间使用的角度来讲,我们仍然建议大家使用压缩式备份,其压缩比非常高(测试案例的压缩比6.3%)。
本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!
mongodb 备份压缩_MongoDB 如何实现备份压缩相关推荐
- mongodb 备份压缩_MongoDB的备份与恢复
1.1 MongoDB的常用命令 mongoexport /mongoimport mongodump/ mongorestore 有以上两组命令在备份与恢复中进行使用. 1.1.1 导出工具mong ...
- mongodb 备份压缩_MongoDB实现备份压缩的方法教程
背景及原理 数据库的备份是灾难恢复的最后一道屏障,不管什么类型的数据库都需要设置数据库备份,MongoDB也不例外.MongoDB 3.0 后 ,数据库可以采用Wiredtiger存储引擎后(3.2 ...
- mongodb 备份压缩_MongoDB 备份方法
参考官方文档: https://docs.mongodb.com/manual/core/backups/ 使用文件系统快照进行备份和重建 本文档介绍了使用系统级工具(如LVM或存储设备)创建Mong ...
- etcd 日志压缩_etcd集群备份和数据恢复以及优化运维
数据备份 快照定期备份 crontab定期执行备份脚本,每半小时备份一次,本地.异地都备份(暂定:本地备份保留最近10个备份,异地保留一个月的备份)#!/bin/bash # ETCDCTL_PATH ...
- 压缩备份日志 java_自动压缩备份日志文件到指定备份目录脚本
#!/bin/bash ############################################################## #***#***功能: #***备份日志目录的N天 ...
- SQL定时自动备份,并将备份文件加密压缩并自动下载的实现
作为程序员或者数据库维护人员,可能大家经常 要做的事情就是备份数据库,并且为了安全起见最好是异地备份,但是如果要经常备份,然后把他们传到本地,是一件非常费时费力的事情,尤其像我这种比较懒的程序员,甚至 ...
- Linux学习笔记(七):文件压缩、打包与备份
Linux学习笔记(七):文件压缩.打包与备份 常见的压缩指令 gzip, zcat/zmore/zless/zgrep bzip2, bzcat/bzmore/bzless/bzgrep xz, x ...
- 【第八章】文件与文件系统的压缩、打包与备份
文章目录 压缩文件的用途与技术 Linux系统常见的压缩指令 gzip, zcat/zmore/zless/zgrep bzip2,bzcat/bzmore/bzless/bzgrep xz,xzca ...
- oracle配置并发备份,oracle数据库还原以及备份 包括快速备份(并发压缩)
expdp jhpt/XXXX directory=databackup dumpfile=dpfile_201512091300_%U.dmp filesize=5G parallel=8 comp ...
最新文章
- php使用file,PHP中is_file()函数使用指南
- 国防科大天河计算机应用,国防科大计算机学院:让本科生进入“天河”团队
- (转)更新Java final常量后,请重新编译你的class
- eclipse搭建Android开发环境
- staem被盗_如何检查照片是否被盗
- java 自定义注解_Java注解
- MATLAB(四)在高等数学中的应用
- 【数据结构与算法】图的邻接表表示及其BFS、DFS的Java实现
- 马斯克嘲讽元宇宙:谁会整天戴个头盔?
- 支撑百万并发的数据库架构如何设计?
- 技术干货 | Serverless技术架构——极简运维 无限扩容
- 串口发送字符串到串口软件
- HttpClient3.x之Get请求和Post请求示例
- 4.1 NI-USRP简介
- AE效果:3D 通道
- 风险管理-输入、输出、工具和技术
- dBm、dBW和W转换
- 年薪10万的人,都是怎么努力的?
- 移动硬盘电脑计算机无显示,移动硬盘插上去不显示怎么办_电脑插移动硬盘无反应怎么解决...
- SPSS回归分析结果解读【来自百度知道】
热门文章
- mysql batch insert 遇到错误跳过_mysql 主从复制错误如何跳过
- html语言难不难学,Web前端开发难学吗?
- 你觉得 ThreadLocalRandom 这玩意真的安全吗?
- K8S面试大通关!赶紧收藏!
- 皮一皮:高科技产品真是防不胜防...
- 这样配置,让你的 IDEA 好用到飞起来!
- ClickHouse | MergeTree引擎之数据分区
- 化腐朽为神奇:推荐一个让算法动起来更好理解的学习项目!
- 你以为它挂了么?并没有!Apache Struts 2.5.22 GA 发布
- filebeat启动多个_【翻译】Filebeat相关(一)