mysql 与gemfire的同步_(转)分布式缓存GemFire架构介绍
1什么是GemFire
GemFire是一个位于应用集群和后端数据源之间的高性能、分布式的操作数据(operational data)管理基础架构。它提供了低延迟、高吞吐量的数据共享和事件分发。GemFire充分利用网络中的内存和磁盘资源,形成一个实时的数据网格(data fabric or grid)。
GemFire的主要特性有:
Ø 多种网络拓扑
Ø 高并发的内存数据结构,避免锁争夺
Ø 可选的ACID
Ø 序列化(native serialization)和智能缓冲(smart buffering)保证消息快速分发
Ø 同步或异步写磁盘
Ø 冗余内存拷贝
2网络拓扑和缓存架构
考虑到问题多样性和架构灵活性,GemFire提供了多种选项来配置在哪(where)以及怎样(how)管理缓存数据,这就使架构师能够从P2P(peer-to-peer)、CS(client-server)、WAN三种组件构建出合适的缓存架构。
2.1 P2P拓扑
在P2P分布式系统中,应用程序使用GemFire的镜像(mirroring)功能来将大量数据跨结点分区(sharding)以及在这些结点间进行数据复制同步。下面主要讲一下GemFire的P2P拓扑中的两个主要角色:mirrored镜像结点和partitioned分区结点(具体见3.2中mirror-type的配置方式)。
因为在P2P拓扑中缓存数据与应用在一起,所以首先说一下嵌入式缓存。所谓嵌入式缓存(embedded cache)其实就是说缓存和应用程序在一起,直接利用应用服务器的内存空间。也就是我们常说的类似Ehcache的那种本地缓存(local cache)。
mirrored结点就像一块磁铁一样,将其他数据区域的数据都吸附过来,形成一块完整的数据集合。当一块数据区域被配置为mirrored的结点第一次新建或重建时,GemFire将自动执行初始镜像抓取(initial image fetch)操作,从其他结点的数据子集中还原出完整的状态。如果此时网络中存在另一个mirrored结点,那么将会执行最优直接抓取(optimal directed fetch)。
所以我们很容易看出,mirrored结点主要出于两种目的:
Ø 对于大量读的应用,应用程序通过保存全量数据,使客户端请求可以即时访问到想要数据,而无需经过网络传输
Ø 当发生故障时,mirrored结点可以用来恢复其他结点
不同于mirrored结点,每个partitioned结点都持有唯一的一块数据。应用程序就像操作本地数据一样,GemFire在幕后管理各个分区的数据,并且保证在至多一跳内(at most one network hop)完成数据访问。根据GemFire的哈希算法,分区数据会被自动放入到各个结点的bucket中。同时GemFire也会自动分配出冗余数据的位置并进行复制。当某个结点出错时,客户端请求会自动被重定向到备份结点。并且GemFire会重新复制出一份数据,从而保证数据的冗余拷贝数。最后,我们可以随时向网络中加入新的结点来对GemFire集群进行动态扩容。
P2P系统提供了低延迟、单跳(one-hop)数据访问、动态发现以及透明化的数据存储位置。但是,网络中的每个结点都要维持一个socket连接到其他每个结点。当结点增多时,连接数将成指数级增长。为了提高扩展性,GemFire提供了一种可靠的UDP多播的通信方式。在下一节中我们将看到,P2P数据同步在服务器间复制数据时的作用。
2.2 Client-Server拓扑
Client-Server缓存允许大量结点相连形成客户端-服务器结构。服务器即为客户端提供缓存,也可以为其他服务器提供数据复制或缓存。
2.3 WAN拓扑
P2P集群由于点和点之间的紧耦合而产生了扩展性问题,这种问题在数据中心有多个集群或数据中心跨城市时被放大。GemFire提供另一种模型来解决。
3 GemFire工作原理
3.1发现机制
默认GemFire使用IP多播来发现新成员,然而所有成员间的通信都采用TCP。对于部署环境禁止使用IP多播或者网络跨越多个子网时,GemFire提供备用方法:使用轻量级的定位服务器(locator server)来追踪所有成员的连接。新成员加入集群时,将询问定位服务并建立类似于IP多播的socket到socket的TCP连接。
3.2数据分发
每个成员都会创建一个或多个缓存数据区域(data region),通过区域的划分,我们能给每个区域配置不同的分发属性、内存管理以及数据一致性模型。默认GemFire使用P2P分发模型,每个成员都能和其他任何成员通信。同时根据不同的内网特点,传输层可选TCP/IP或可靠多播(UDP)。在这些配置中,有两个属性很重要,范围(scope)和镜像类型(mirror-type)。
首先,范围(scope)有四种选项:
Ø Local:不分发。那为什么不直接保存到HashMap中。因为GemFire额外提供了数据自动持久化到磁盘、OQL(Object Query Language)查询数据、数据操作的事务等特性。
Ø Distribute-no-ack:发送数据给成员1,在发送数据给成员2时不等待成员1的响应。适用于对数据一致性要求不高,并要求低网络延迟的情况。这是GemFire的默认配置,能够提供低延迟、高吞吐,并通过尽快分发来降低数据冲突的概率。
Ø Distribute-ack:在发送给成员2前,发送数据并等待成员1的响应。这样每条数据都是同步分发的。
Ø Global:分发前在其他成员上获得锁,再分发数据。适用于悲观的应用场景,通过全局锁服务来管理锁的获得、释放和超时。
现在来看一下第二个重要的配置属性镜像类型(mirror-type):
Ø none:仅当缓存中有此数据时才更新,任何其他成员发来的新数据都会被忽略掉。适用于某一数据区域仅用来保存另一区域数据的子集。
Ø keys:数据区域仅保存key来节约内存,当真正有请求时再从其他区域抓取数据并保存到本地,之后接受对此数据项的更新。适用于无法预测哪些数据会被某一结点访问的情况。
Ø keys-values:真正的镜像,将保存全量数据。适用于需要立即访问所有数据的结点,以及数据冗余备份。
这两个属性的配置对数据区域中保存的是什么数据有很大影响:
4持久化和溢出
持久化(persistence)将整个数据集拷贝到磁盘,当成员出错时可以用来还原数据。而溢出(overflow)保存key在内存中而value保存到磁盘,达到节省内存的目的。两者既可以单独使用,也可以混合使用。
4.1持久化
GemFire支持两种写磁盘选项:操作内存数据时同步写,或者固定间隔异步写。后一种只当应用在出错时能够容忍不完整的数据还原时使用。
4.2溢出
当内存不足时,GemFire使用LRU策略来决定是否对某个数据项溢出。
4.3混合使用
持久化与溢出可以混合使用。所有key-value都备份到磁盘,并且当内存不足时,只保留最近使用过的数据。由于LRU而被移除到磁盘的value不会对磁盘有影响,因为所有数据已被持久化到磁盘上了。
5事务
GemFire支持缓存事务与JTA事务两种。
5.1缓存事务
每个事务都有其私有的工作区域。事务开始时,数据将被拷贝到私有区域,直到事务提交。若提交时没有冲突,则数据从私有区域拷贝回原区域。这样事务就可以并发地修改缓存了。
对于范围(scope)配置为local的缓存数据区域,事务提交后就算是完成了。但对于分布式(scope=distributed-no-ack or distributed-ack),则在事务提交时要进行缓存同步。
6查询
(待补充:OOL)
7数据可用性和Failover
mysql 与gemfire的同步_(转)分布式缓存GemFire架构介绍相关推荐
- mysql分片备份不一致问题_光大银行分布式实战:国内最大缴费平台的数据库架构转型...
原标题:光大银行分布式实战:国内最大缴费平台的数据库架构转型 作者介绍 于树文,光大银行资深DBA.目前在中国光大银行信息科技部数据库管理团队主要负责分布式数据库建设项目,推进行内技术架构转型等相关工 ...
- 适用场景全新升级!扩展 Dragonfly2 作为分布式缓存系统架构
Dragonfly2 简介 Dragonfly 作为龙蜥社区的镜像加速标准解决方案,是一款基于 P2P 的智能镜像和文件分发工具.它旨在提高大规模文件传输的效率和速率,最大限度地利用网络带宽.在应用分 ...
- mysql不同实例数据同步_两台Mysql数据库数据同步实现实例
做开发的时候要做Mysql的数据库同步,两台安装一样的系统,都是FreeBSD5.4,安装了Apache 2.0.55和PHP 4.4.0,Mysql的版本是4.1.15,都是目前最新的版本. 1. ...
- mysql 5.7 延迟同步_完全解决 MySQL 5.7 主从复制的延迟问题
1.问题发现 sysbench使用以下配置对MySQL进行测试 sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua \ -- ...
- mysql 冗余外键 同步_由于外键约束导致mysql同步出问题的故障
突然收到手机报警,说服务器同步出现问题,于是登陆到服务器上查看 执行show slave status\G;命令后发现如下错误: Last_Error: Error 'Cannot add or up ...
- 分布式缓存GemFire架构介绍
1什么是GemFire GemFire是一个位于应用集群和后端数据源之间的高性能.分布式的操作数据(operational data)管理基础架构.它提供了低延迟.高吞吐量的数据共享和事件分发.Gem ...
- mysql 亿级高并发_亿级流量系统架构之如何设计每秒十万查询的高并发架构.md
亿级流量系统架构之如何设计每秒十万查询的高并发架构 一.前情回顾 上篇文章(亿级流量系统架构之如何设计承载百亿流量的高性能架构)聊了一下系统架构中,百亿流量级别高并发写入场景下,如何承载这种高并发写入 ...
- jaeger 是很么软件_开源分布式跟踪系统Jaeger介绍 (六步快速上手)
前期准备 具体步骤 1.运行Jaeger # UDP端口6831是用来接收compact thrift协议的跟踪数据的 # HTTP端口16686是用来显示Jaeger界面的 docker run - ...
- 分布式大气监测系统架构介绍及案例解析
1 项目背景简介 小能手曾经分享过一篇文章自制一个 LoRa PM2.5 监测器,用于监测自家小区的空气质量.个体的力量是微小的,如果集合更多人的力量,用丰富的大气监测节点来观测区域性的大气质量,相信 ...
最新文章
- axure命令行_Axure完成前端开发可行性探索
- matlab八个实验报告中文版,Matlab实验报告8
- 08.remote_cluster配置
- Windows11 发布更新 Insider Preview Build 22000.100
- C#中泛型在Class上的实现
- clion在使用sqlite3的时候,显示Undefined symbols for architecture x86_64错误的解决办法
- python入门经典代码-python经典入门学习锦集就这篇够了,强烈建议收藏!
- linux目录跳转快捷方式——z武器
- Vue:router的beforeEach与afterEach钩子函数
- C++——以任意数为底的对数
- php each 指针,PHP each() 函数用法简介
- 码元、符号、波特率、比特率等概念的了解
- 【VulnHub靶机渗透】一:BullDog2
- Kubernetes_28_Ingress服务暴露
- 赶紧收藏,都在用的四种标题写法
- Python中os.listdir() 函数用法及实例
- java调用保利威视频文件数据信息同步
- 计算机进入休眠状态后,电脑进入休眠状态后自动重启怎么办
- vue2简单封装highcharts
- Arthas(1):Java诊断工具Arthas入门教程
热门文章
- python2转python3代码_2to3 – 自动Python 2到3代码翻译 – 开发工具(Python教程)(参考资料)...
- 【机器学习-数据科学】第三节:数据分析实例 分析MovieLens电影数据
- Python数据结构常见的八大排序算法(详细整理)
- 1.数据库基本概念知识
- html-css练习题(天天生鲜静态网页制作)文末有完整版代码地址链接
- try…finally与嵌套及自定义异常抛出
- simbert文本相似度,短文本语义匹配模型
- 快手 算法工程师 0825 笔试题
- KMP算法的核心,是一个被称为部分匹配表(Partial Match Table)的数组以及next数组求解
- Android官方开发文档Training系列课程中文版:Activity测试之测试环境配置