数据库的海量数据的存储解析
前言
本篇文章会从数据的概念和分类,以及数据的处理思路 及如何使用分区去提高性能,使用分区过后的优缺点。我常用来处理大数据存储问题的分区;会解析关系型数据库和nosql数据库的区别及优缺点。
数据的概念和分类
大数据带来的影响
大数据量带来的影响
大数据量带来的问题
分类
大数据处理思路
数据库种类
传统数据库 关系型数据库
NoSql数据库
分区理解
利用分区可以达到分类数据分别存储。降低查询压力,分块存储。
在查询时,直接去那个区去查询,降低了数据量的存储大小。
一般数据库是我们创建表时设置,也是考虑到join 关联查询表时的效率,还是得根据我们具体得业务场景去处理。
分区类型
- RANGE分区:一个给定连续区间的列值 根据时间 地域得。
注意分区得名字不能重复
- LIST分区:LIST是列值匹配一个离散值集合中的某个值来进行选择
采用list进行分区
- HASH分区:用户定义的表达式的返回值来进行hash计算之后选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算,这个函数必须产生非负整数值
- KEY分区:类似于按HASH分区,由MySQL服务器提供其自身的哈希函数
查询是列表是一样展示数据是一样的
如果像知道文件系统在那里 直接使用 show global variable '%datadir%'
在分区过后 日志文件 存储的位置 查看 文件。
查询分区中具体的数据具体的存储详情
创建分区
分区的名字基本上遵循其他MySQL标识符应当遵循的原则,例如用于表和数据库名字的标识符。但是应当注意,分区的名字是不区分大小写的。无论使用何种类型的分区,分区总是在创建时就自动的顺序编号,且从0开始记录。
分区管理
可以对分区进行添加、删除、重新定义、合并或拆分等管理操作。
注意点
- 如果含有唯一索引或者主键,则分区列必须包含在所有的唯一索引或者主键之内
- 不支持外键
- 不支持全文索引,对分区表的分区键创建索引,那么这个索引也将被分区
- 按日期进行分区很合适,因为很多日期函数可以用。但是对于字符串来说合适的分区函数不太多
- 只有RANG和LIST分区能进行子分区,HASH和KEY分区不能进行子分区
- 分区表对于单条记录的查询没有优势
- 要注意选择分区的成本,每插入一行数据都需要按照表达式筛选插入的分区
- 分区字段尽量不要可以为null
数据库的海量数据的存储解析相关推荐
- FlashDB嵌入式数据库之TSDB数据存储解析
一.驱动层:SFUD(Serial Flash Universal Driver) 是一款开源的串行 SPI Flash 通用驱动库 二.中间层:FAL(FLASH ABSTRACTION LAYER ...
- 浅析MongoDB数据库的海量数据存储应用
[摘要]当今已进入大数据时代,特别是大规模互联网web2.0应用不断发展及云计算所需要的海量存储和海量计算发展,传统的关系型数据库已无法满足这方面的需求.随着NoSQL数据库的不断发展和成熟,可以较好 ...
- 海量数据的存储和访问解决方案
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 第1章 引言 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题.对于一个大型的互联网应用,每天几十亿的PV ...
- Oracle数据库精讲与疑难解析(第2版)
Oracle数据库精讲与疑难解析(第2版) 赵振平编著 ISBN978-7-121-20021-2 2013年4月出版 定价:148.00元 1100页 16开 编辑推荐 耗时3年,作者曾为本书辞职在 ...
- 数据分片排序oracle,基于ORACLE数据库的海量数据脱敏方法与流程
本发明涉及一种数据脱敏方法,尤其涉及一种基于oracle数据库的海量数据脱敏方法. 背景技术: oracle数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管 ...
- 大数据技术——从海量数据的存储到海量数据的计算
目录 海量数据的存储 海量数据的计算 大数据处理的主要应用场景 前言:大数据技术诞生之初,就是为了解决海量数据的存储和计算问题. 大数据起源于Google. Google是当时世界上(尽管目前也是)最 ...
- [原创]Silverlight与PostgreSQL数据库的互操作(CURD完全解析)
今天将为大家介绍如何让Silverlight使用PostgreSQL作为后台数据库以及CURD操作. 准备工作 1)建立起测试项目 细节详情请见强大的DataGrid组件[2]_数据交互之ADO.NE ...
- python进行数据查询_如何进行python数据库查询?(实例解析)
在这篇文章之中我们来了解一下关于python数据库的相关知识,有些朋友可能是刚刚接触到python这一编程语言,对这一方面不是特别的了解,在接下来这篇文章将会来带大家来了解关于python查询数据库中 ...
- mysql数据库应用模式与特点_MySQL存储引擎的实际应用以及对MySQL数据库中各主要存储引擎的独特特点的描述...
MySQL存储引擎的实际应用以及对MySQL数据库中各主要存储引擎的独特特点的描述: 1.MySQL有多种存储引擎: MyISAM.InnoDB.MERGE.MEMORY(HEAP).BDB(Berk ...
- 你的数据库到底应该如何存储密码?
最近接手公司一个之前的服务,竟然发现用户密码是明文存储在数据库中! 说实话还是有点吃惊的,这可不兴学 CSDN 呀(手动狗头),至少也得搞个 MD5 存一存吧. 不过 MD5 其实也没啥用,今天我们就 ...
最新文章
- 哪些物联网应用最适合采用雾计算?
- 高文院士:中国在AI领域有哪些长板和短板
- 亚信产业互联网生态亮相2016南京软博会
- WordPress导出全静态化网站
- VMP分析之VM解码循环与基本架构(一)
- 数据库元数据数据字典查询_2_列出所有的数据库
- 关于java中 get提交方式的乱码问题。
- Java Web学习总结(28)——Java Web项目MVC开源框架SSH和SSM比较
- HUT-XXXX Strange display 容斥定理,线性规划
- error LNK2005: void * __cdecl operator new(unsigned int) (??2@YAPAXI@Z) already defined in LIBCMT.
- 解决This application failed to start because cannot find or load the qt platform plugin 'xcb'
- 财富不入急门,投资且慢一点
- c语言全缓冲,C语言缓冲区 - osc_8b4n157m的个人空间 - OSCHINA - 中文开源技术交流社区...
- 关于触摸屏触摸驱动安装步骤
- matlab运行.m文件的命令,Matlab:从命令行运行m文件
- jQuery Word Export: missing dependency (FileSaver.js)
- SoftICE使用(2)-网络远程调试zz xfocus
- 取火柴游戏c语言,取火柴游戏
- Pexels Videos – 可以免费商业使用的短视频
- 引导滤波guideFilter原理推导与实验
热门文章
- android 悬浮按钮出现隐藏,Android悬浮窗按钮实现点击并显示/隐藏多功能列表
- vuejs 传参 向 子组件 父组件_Vue 2.6发布:新语法、性能改进、向3.0看齐
- 大学计算机社团学什么好,大学哪些社团组织最值得加入?很多人工作后才知道!...
- 关于安装更新office版本时,需要卸载office所遇到的问题
- 用nginx-rrd监控nginx访问数
- Mysql的安全设置
- C# 如何检测UDP是否被占用_如何悄悄检测微信好友是否被删除?
- 吴恩达深度学习笔记(Dropout正则化)
- android camera 废弃,在Ubuntu系统基于ROS使用废旧Android手机摄像头搭建监控设备
- java的本质_Java线程本质