前言

在IT圈，根据被访问频率的不同，数据通常被分为冷数据和热数据。冷数据是指离线类的或不经常访问的数据，热数据是指在线类的或需要被计算节点频繁访问的数据。

任何热数据，随着时间的推移，最终也会慢慢变成冷数据。因此，如果冷热数据不能被分离，那冷热数据混在一起，总的体量将越来越大，最终将影响热数据的查询效率。

鉴于此，为提升查询效率，提高系统性能，当数据达到一定体量时，我们必须要考虑将冷热数据进行分离。

如何分离冷热数据

分离冷热数据有多种方式，最简单的方式是使用MySQL集群。我们可以设置两个MySQL集群，一个只存储热数据，一个存储全量数据，两个集群之间通过主数据库的binlog进行实时同步，不过删除操作除外。然后，热数据集群通过定时任务定时过期热数据(即删除数据)。

过期热数据既可以通过MySQL的存储过程和事件功能，也可以使用其他语言(如PHP、JAVA、Python等)编写脚本定时连接MySQL数据库进行delete操作。

经过以上操作，热数据集群就只保留了最近一段时间的数据，完整的数据都保存在了全量数据集群，这样，就实现了冷热数据分离。

本文由“编码之道”原创，关注“编码之道”及时获取更多知识

冷热分离和直接使用大数据库_「系统架构」如何通过分离冷热数据提升系统性能？...相关推荐

自定义变量配置文件_「系统架构」Nginx调优之变量的使用（3）
在上一篇文章「系统架构」Nginx调优之变量的使用(2)中我们介绍了自定义变量和内置变量,下面我们继续接着介绍Nginx中变量的可见性和动态内置变量. 变量的可见性 nginx中的变量虽然不全是全局变 ...
jq发送动态变量_「系统架构」Nginx调优之变量的使用（3）
在上一篇文章「系统架构」Nginx调优之变量的使用(2)中我们介绍了自定义变量和内置变量,下面我们继续接着介绍Nginx中变量的可见性和动态内置变量. 变量的可见性 nginx中的变量虽然不全是全局变 ...
冷热分离和直接使用大数据库_中台有“数”：大数据技术为苏宁818保驾护航
今年818正值苏宁成立30周年之际,苏宁易购提出了"专注好服务"的全新品牌主张,在带来巨大流量的同时,也给苏宁中台系统的保障工作带来了更大的挑战.如何在818大促中,快速.高效.智 ...
冷热分离和直接使用大数据库_基于 MySQL 的热数据与冷数据分离设计与实现
作为一家提供商业气象数据服务的创业公司,我们一直都有一项「欠交的作业」没有完成,那就是合理的数据规划和数据治理规范.对于早期的初创公司而言,可能很难从一开始就能构想到需要对数据存储进行合理的规划并制定 ...
冷热分离和直接使用大数据库_智能冷热分离的思考-内存数据库
冷热分离一直是数据库和存储领域离不开的话题,特别是大数据的年代,数量和存储成本的矛盾需要冷热分离来解决.对于生产系统,不同数据库的特点不同,冷热分离机制和算法也不同.本篇文章讲一下内存数据库的冷热分离 ...
冷热分离和直接使用大数据库_还不知道HBase冷热分离的技术原理？看这一篇就够了...
作者:郭泽晖(索月),阿里巴巴技术专家 HBase是当下流行的一款海量数据存储的分布式数据库.往往海量数据存储会涉及到一个成本问题,如何降低成本.常见的方案就是通过冷热分离来治理数据.冷数据可以用更高 ...
冷热分离和直接使用大数据库_用读写分离与分表分库解决高访问量和大数据量...
原标题:用读写分离与分表分库解决高访问量和大数据量一. 数据切分关系型数据库本身比较容易成为系统瓶颈,单机存储容量.连接数.处理能力都有限.当单表的数据量达到1000W或100G以后,由于查询维度 ...
golang 修改nginx配置文件_「系统架构」Nginx调优，不可错过的几点
通常,Nginx在安装完后,不用更改任何配置信息,我们就可以直接运行它.但是,这显然不能满足我们的生产要求.在生产中,要让Nginx能正常高效地运行我们的应用,我们通常需要对Nginx的配置文件进行一 ...
开源合同管理系统_「物联网架构」最适合物联网的开源数据库
物联网产生大量的数据,包括流数据.时间序列数据.RFID数据.传感数据等.要有效地管理这些数据,就需要使用数据库.物联网数据的本质需要一种不同类型的数据库.以下是一些数据库,当与物联网一起使用时,会给 ...

冷热分离和直接使用大数据库_「系统架构」如何通过分离冷热数据提升系统性能？...

前言

如何分离冷热数据

冷热分离和直接使用大数据库_「系统架构」如何通过分离冷热数据提升系统性能？...相关推荐

最新文章

热门文章