多备份cloud 5技术:传统数据备份思路的完美移植
多备份是专注于业务数据云端备份、恢复、迁移、存储和归档的云平台(SaaS)应用提供商。其中,为了实现数据的足够安全,我们采用了自主研发的cloud 5技术。
问题的来源
2014年2月份,一位用户匆匆打电话来。提到了他的网站每天有大量的订单产生,他也用多备份备份了他的网站到网盘,但他还是比较担心,万一云盘有问题或停用了(百度云出现过这种情况),是不是他的数据就丢了?他告诉多备份工作人员,他之前的做法是,这些数据他手动备份了好几个地方,但是管理起来很麻烦,容易搞错,有一次甚至直接删除了。
这个用户并非空穴来风,基于网络环境复杂,会出现各种各样的情况,如何建立起数据的容错,纠正,关联机制,对多备份而言是一个重要的技术问题。如果没有一个很好的云端解决方案,用户的重要数据备份上来后,也无法给用户一个很好的可靠性保护承诺,备份也就失去了意义。
这个问题立即得到了产品技术团队的快速响应,在短短的3天之内,就找出了好几套方案,其中从迅雷×××的一位资深技术专家,提出了用Raid 5技术思想来增强云存储的可靠性,既可以大大提高云存储可靠性,同时还可以提高保存备份结果的速度。
什么是RAID
独立硬盘冗余阵列( RAID , R edundant A rray of I ndependent D isks),简称硬盘阵列。 磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。在数组中任一颗硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。
RAID比单颗硬盘有以下几个好处:增强数据集成度,增强容错功能,增加处理量或容量。另外,磁盘阵列对于计算机来说,看起来就像一个单独的硬盘或逻辑存储单元。常见的有RAID-0,RAID-1,RAID-5,RAID-10。假设一块磁盘的故障率为1%,那么采用最简单的RAID5也可以使数据的故障率降低30倍以上。即故障率将低于0.033%。
在这些技术中,RAID-5是一种储存性能、数据安全和存储成本兼顾的折衷方案。它使用的是Disk Striping(硬盘分区)技术。RAID 5至少需要三颗硬盘 ,RAID 5不是对存储的数据进行备份,而是把数据和相对应的parity(奇偶校验信息)存储到组成RAID5的各个磁盘上,并且parity和相对应的数据分别存储于不同的磁盘上。 当RAID5的一个磁盘数据发生损坏后,可以利用剩下的数据和相应的parity去恢复被损坏的数据。 (如下图)
多备份cloud 5的诞生
基于传统备份价格高昂,对技术人员精力有限,同时云端备份价格低廉,并且与站点云端主机天然的血脉相承。我们的存储研发专家组考核完技术的可行性后,立即着手于把RAID 5的思想移植到多备份智能代理模式上,实现原理图如下:
把数据按块压缩,划分,加密后,往其中cloud A里写数据,同时会在其余的cloud B或cloud C写入parity。一旦任何一个云设施数据遭遇不可抗力被毁灭时,我们可以从另外的云设施调用parity来重建数据。也就是只有在同时有两个及以上云端同时出现问题,才可能导致数据的不可用,这样的概率有多小,恐怕工业级的6个9(99.9999%)才足以形容。
继raid 5的模式在多个云平台上应用后,更多的低成本、可靠的存储模式将陆续推出。
转载于:https://blog.51cto.com/9673367/1621939
多备份cloud 5技术:传统数据备份思路的完美移植相关推荐
- 计算机系统的备份与还原实验报告,数据备份与数据恢复实验报告
<数据备份与数据恢复实验报告>由会员分享,可在线阅读,更多相关<数据备份与数据恢复实验报告(7页珍藏版)>请在人人文库网上搜索. 1.数据备份和数据恢复实验报告实验目的熟悉使用 ...
- 数据备份_这5种数据备份方式你全都了解吗?
数据备份显然是一份枯燥而又乏味的工作,企业每日花费大量成本却只是进行着数据的覆盖,显得浪费又无意义.这种想法是许多中小型企业主都会有的,但有过数据丢失经历的站长都会将备份看做是与吸引流量同等重要的事. ...
- 使用mysql备份工具innobackupex进行本地数据备份、恢复操作实例
innobackupex 支持所有mysql引擎数据备份恢复安装配置方法及原理介绍,访问下面链接 http://michaelkang.blog.51cto.com/1553154/1216826 1 ...
- 多备份和FileGee两款数据备份软件对比
作为企业的普通员工来说,如果不是电脑突然崩溃是不会想到数据备份的问题的.但作为公司的CIO或者 IT部门的主管则绝对不能忽略这个问题.随着大数据时代的来临,数据的总量以及运算次数迅速增加,因此,建立良 ...
- 数据备份 linux,linux下的数据备份
制定备份策略 将原始设备转储到文件,或从文件恢复原始设备 执行部分备份和手工备份 检验备份文件的完整性 从备份部分地或完全恢复文件系统 完善的备份是系统管理的必要部分,但是决定对什么进行备份以及何时和 ...
- 文件夹定期备份以及常见几款数据备份软件
近来,需要对公司部署系统的相关附近进行备份,防止服务器宕机或者用户误操作导致的附件丢失. 需求: 1.服务器之间备份(可以远程磁盘访问),增加备份的安全性. 2.文件较大,一般都是图片或者pdf文档等 ...
- mysql备份到带库_MySQL数据备份
MySQL数据备份 一. MySQL数据损坏类型 1.1.物理损坏 磁盘损坏: 硬件,磁道坏,dd,格式化 文件损坏: 数据文件损坏,redo损坏 1.2.逻辑损坏 drop delete trunc ...
- 关于数据库的备份和某个表的数据备份的相关步骤介绍
A .关于数据库整体的备份步骤说明: 1.连接数据库 2.选择要操作的数据库名称 3.右键单击该数据库,然后选择"任务" ,再选择 "备份" ,弹出一个 ...
- Ambari2.7.0 + HDP3.1.4.0安装,hdfs数据备份和恢复,hive数据备份和恢复,hbase数据备份和恢复,常见错误总结,Ambari卸载,hadoop-ha,hive和ES整合
目录 1 Ambari + HDP离线安装 1.1 介绍 1.1.1 Ambari介绍 1.1.2 HDP 1.1.3 HDP-UTILS 1.2 登录ambari官网地址 1.3 Ambari和HD ...
最新文章
- cassandra 集群并发测试脚本
- 美国一大型数据中心将24h由光伏+储能供电
- 前端工程师的知识体系
- 实例对象静态对象实例方法静态方法
- Java forEach中 Lambda Expr中的 final变量要求
- python wordpress xmlrpc_python-markdown自动发送wordpress文章(python-xmlrpc-wordpress)
- c/c++整理--c++面向对象(2)
- java i18n_Java i18n – Java的国际化
- Java为何能一次编写,到处运行
- 6.Nginx 的 Rewrite 规则
- Android 四大组件学习之ContentProvider三
- pandas选取特定段
- java速成----一篇博文搞定基础
- select 默认选中问题
- linux安装使用7zip
- 女生做软件测试的职业规划,来说说女程序员的职业规划要怎么做
- webscraper多页爬取_Web Scraper 翻页——抓取「滚动加载」类型网页(Web Scraper 高级用法)| 简易数据分析 10...
- ios(ipad,iphone)屏幕旋转检测通用方法
- 世界杯决赛倒计时,你最看好谁
- 如何取消(或关闭)win2003中的ie增强安全配置