大数据缓存管理系统设计与实现

闲来无事，记录一下自己很早之前设计的一套稚嫩的分布式缓存系统。

有意见或者建议的可以给我留言。

大数据缓存管理系统

系统介绍：
系统结构：此套系统为分布式系统
业务处理系统：

数据支持系统：

系统采用的技术：zookeeper，memcached，activitymq消息中间件，webservice，springmvc，mybatis，boostrap
设计思路：这套解决方案做了对memcached的集群，以及一致性hash解决数据冗余，对高并发提供了支持；通过zookeeper对activitymq集群管理，实现了高可用HA，web方面使用了最流程的springmvc和mybatis。
项目截图：
1. 提交数据到数据库：

业务系统将数据放入消息中间件activitymq，数据支持系统监听activitymq插入数据库

2．数据查询

查询的逻辑是：1：业务系统先查memcached缓存集群，假如缓存集群中存在，直接返回，不存在进行第2步
2：通过webservice接口从数据支持服务器查询数据
3：业务系统将查询到的数据放入缓存集群中方便下一次查询，同时给用户返回一份。

第二次查询的时候直接从memcached集群中取到了。
Zookeeper集群管理activitymq集群可以起到高可用的作用，截图演示如下：
我启用了三台linux centos服务器的activity IP分别为192.168.1.113 192.168.1.109 192.168.1.110
默认情况下，只有起重一台是master，

比如说现在是113机器为master

而其他两台不提供服务
当master down机时，比如我把master的113号机强行关掉模仿灾难发生：

接下来

我访问113的时候，因为down机，113不提供服务了，而我们的activitymq集群因为有zookeeper管理，又自动连上了109的服务

Java客户端提示：

项目地址：https://download.csdn.net/download/yangxiaobo118/10482990

测试地址：https://blog.csdn.net/yangxiaobo118/article/details/80716730

截图如下：

大数据缓存管理系统设计与实现相关推荐

浅谈大数据如何管理与分析
构建面向海量信息的大数据管理平台,其本质上是要实现一套可软件定义的数据中心来通过对下层的基础架构进行有效的管理(存储.网络.计算以及相关资源的调度.分配.虚拟化.容器化等)以满足上层的业务与应用需求, ...
大快搜索城市运河大数据政务管理平台案例解读
2019独角兽企业重金招聘Python工程师标准>>> 大快搜索城市运河大数据政务管理平台案例解读大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助,但政务大数据平台的应用开 ...
web端业务数据管理平台+Axure运营数据管理平台+月度数据统计分析+年度排行榜数据统计页面分析+运营大数据统计管理后台+用户信息管理+Axure通用web端高保真交互业务数据管理平台
作品介绍:原型内容包含:web端业务数据管理平台+Axure运营数据管理平台+月度数据统计分析+年度排行榜数据统计页面分析+运营大数据统计管理后台+用户信息管理+Axure通用web端高保真交互业务数 ...
大数据元数据管理系统功能有哪些
什么是元数据?在前面的集成开发环境建设相关文章中,我们也提到过,元数据MetaData狭义的解释是用来描述数据的数据,广义的来看,除了业务逻辑直接读写处理的那些业务数据,所有其它用来维持整个系统运转所 ...
战疫之下的“大数据+网格化”管理，谁在颠覆“智能城市”的路径？
文 | 陈选滨来源丨智能相对论(ID:aixdlun) 如果说过去"智能城市"的重点仍放在顶层设计架构,那么在此次防疫工作的紧急需求下,这一项目便不得不以另一种更快的方式下沉,落 ...
大数据血缘分析系统设计（三）
数据级别血缘关系介绍血缘关系数据的收集数据ID的标识数据流转的收集 SQL MapReduce Spark 其他血缘关系图的可视化在前面一篇<大数据血缘分析系统设计(二)>中,对 ...
大数据权限管理sentry与Kerberos概述
大数据权限管理sentry与Kerberos概述常见的解决方案分为两部分 1. 管理用户身份*即用户身份认证 2. 用户身份和权限的映射关系管理即授权而Hadoop中常见的开源解决方案是Kerb ...
基于Hadoop+Java的地区旅游大数据可视化管理（IDEA+Zookeeper+Hive+HBase+Echarts）
目录地区旅游大数据可视化管理 1 最终数据可视化样式 1 绪论 3 研究背景 3 研究现状 4 开发环境 4 数据抓取和清洗 5 相关技术 5 Jsoup 5 数据抓取 5 利用Jsoup抓取旅游网 ...
大数据权限管理组件Apache Ranger简介和原理
大数据权限管理组件Apache Ranger简介和原理一.什么是Ranger 二.Ranger的管理页面和Ranger支持的框架三.Ranger的目标四.Ranger架构五.Ranger的工作 ...

大数据缓存管理系统设计与实现

大数据缓存管理系统设计与实现相关推荐

最新文章

热门文章