分布式存储系统 之 数据备份
为了保证分布式存储系统的高可靠和高可用，数据在系统中一般存储多个副本。当某个存储节点出故障时，系统能够自动将服务切换到其他的副本，从而实现自动容错。
分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性。同一份数据有多个副本，仅有一个为主副本 Primary，其他的副本为备份副本 Backup，数据从主副本复制到备份副本。
复制协议分为两种：强同步复制及异步复制，两者区别如字面意思，即用户的写请求是否需要同步到备份副本才算成功。假如备份副本不止一个，复制协议还会要求写请求至少需要同步到几个备份副本。
- 实现强同步协议时，主副本可以将操作日志并发发给所有备份副本并且等待回复，只要至少1个备份副本返回成功就可以回复客户端操作成功。请同步的好处在于如果主副本出现故障，分布式存储系统可以自动将服务切换到最新的备份的副本而不用担心数据丢失的情况。
- 异步模式下，主副本不需要等待备份副本的回应，只需要本地修改成功就可以告知客户端修改告知客户端写操作成功。好处在于系统可用性好，但是一致性较差，如果主副本发生不可恢复的故障，可能丢失最后一部分更新操作。
基于主副本的复制协议（Primary-based protocol）要求在任何时刻只能有一个副本为主副本，由它来确定写操作之间的顺序。如果主副本出现故障，需要选举一个备份副本成为新的主副本，这步操作称之为选举，经典的选举协议为 Paxos 协议。
分布式存储系统 之 数据备份相关推荐
- 分布式数据库的数据备份/恢复，这些你一定要了解
一.概述 在数据作为生产资料的今天,数据早已成为各行各业的生命源泉,数据安全的重要性不言而喻.数据备份是数据安全的基础,完整的备份和有效的恢复手段是应对一切突发状况的重要保障.同时数据备份也对数据的重 ...
- 分布式存储系统中的数据高效缓存方法
点击上方蓝字关注我们 分布式存储系统中的数据高效缓存方法 杨青霖, 吴桂勇, 张广艳 清华大学计算机科学与技术系,北京 100084 摘要:针对典型分布式存储系统存在的写放大.I/O路径过长.响应时延 ...
- 《SPARK/TACHYON:基于内存的分布式存储系统》－史鸣飞（英特尔亚太研发有限公司大数据软件部工程师）...
史鸣飞:大家好,我是叫史鸣飞,来自英特尔公司,接下来我向大家介绍一下Tachyon.我事先想了解一下大家有没有听说过Tachyon,或者是对Tachyon有没有一些了解?对Spark呢? 首先做一个介 ...
- 38掌握分布式存储系统 GlusterFS 的基本用法，包括卷管理、数据复制
GlusterFS是一种分布式文件系统,可以将多个存储服务器集成为一个分布式存储池.以下是一些基本的使用方法和示例代码. 安装和启动 GlusterFS 在所有节点上安装 GlusterFS,并确保每 ...
- Bigtable：结构化数据的分布式存储系统
相关说明 Bigtable是一个用于管理结构化数据的分布式存储系统,其设计目的是为了通过数千个服务器管理大规模数据.谷歌许多的项目例如,web索引.谷歌地球和谷歌金融都使用了Bigtable来存储大规 ...
- 腾讯云大数据团队主导Apache社区新一代分布式存储系统Ozone 1.0.0发布
刚刚获悉,由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布.据了解,经过2年多的社区持续开发和内部1000+节点的实际落地验证,Ozone 1.0.0已经具备 ...
- 分布式存储系统关于GDPR条例中的数据清除原则
文章目录 前言 HDFS存储系统数据的完全删除 基于加解密的输入输出流的数据保护方案 引用 前言 关于GDPR是什么,可能许多同学之前并不太了解,至少笔者在之前也是不清楚的.GDPR全称为通用数据保护 ...
- 大规模分布式存储系统：原理解析与架构实战 (大数据技术丛书) - 电子书下载 -（百度网盘 高清版PDF格式）...
大规模分布式存储系统:原理解析与架构实战 (大数据技术丛书)-杨传辉 在线阅读 百度网盘下载(89hy) 书名:大规模分布式存储系统:原理解析与架构实战 (大数据技 ...
- 浅谈分布式存储系统数据分布算法
目录 前言 指标 演进 应用案例 前言 分布式存储系统面临着的首要问题,就是如何将大量的数据分布在不同的存储节点上.无论上层接口是 KV存储.对象存储.块存储.亦或是列存储,在这个问题上大体是一致的. ...
最新文章
- QingStor 对象存储服务正式商用
- ext js IE9显示白板 页面浏览器模式强制渲染IE8
- hdu 4417 Super Mario 树状数组||主席树
- escape in ABAP and JavaScript
- Window CE 6.0流驱动开发动态加载实验
- imgkit分辨率_pythonhtml2image: imgkit 和 wkhtmltoimage的坑
- python爬虫lxml xpath测试
- centos 单机部署 LDAP 服务
- 计算机专业个人能力评估,计算机应用专业毕业生个人自我评价
- 利用linux的mtrace命令定位内存泄露(Memory Leak)
- 数字化工厂建设方案探讨
- 读书郎上市背后隐忧：业绩下滑明显，市场地位较靠后，竞争力存疑
- Access数据库修复 压缩
- GROMOS拓扑（、坐标、轨迹、能量）相关文件解读手册第5章阅读笔记II
- 毕业四年年薪200万是怎样的一种体验？
- 干货！Java基础知识梳理，绝对经典
- CVE-2020-25540:ThinkAdmin未授权列目录/任意文件读取漏洞复现
- H264系列（5）：关于ITU-H264 和 ISO/IEC H264 的关系
- vivo T2什么时候上市 vivo T2配置怎么样
- play_win7截图工具