文章目录

1 数据库介绍
- 1.1 数据库技术
- 1.2 数据库技术发展史
- - 数据库技术产生和发展
  - 数据库三个阶段比较
  - 数据库系统优势
  - 层次模型
  - 网状模型
  - 关系模型
  - 关系数据库产品历史
  - 结构化查询语言SQL
  - 面向对象数据模型（OO模型）
  - 数据管理技术的新挑战
  - NoSQL技术特点和类型
  - 主要NoSQL数据库
  - NewSQL
  - 云数据库
  - 云数据库的优势
- 1.3 关系型数据库架构演进
- - 数据库架构发展
  - 单机架构
  - 分组架构-主备
  - 分组架构-主从
  - 分组架构-多主
  - 共享存储多活架构
  - 分片架构
  - 无共享架构
  - MPP架构
- 1.4 关系型数据库主流应用场景
- - 联机事务处理
  - 联机分析处理
  - OLTP和OLAP对比分析
  - 数据库性能衡量指标

1 数据库介绍

1.1 数据库技术

数据库技术：数据库管理的有效技术。

数据：描述事物的符号记录。

数据语义：数据的含义。

记录：计算机中表示和存储数据的一种格式或一种方法。

数据库：存放数据的仓库，是大量数据的集合，具有永久存储、有组织、可共享的特性。

数据库管理系统：一个能够科学地组织和存储数据，高效地获取和维护数据的系统软件，是位于用户与操作系统之间的数据管理软件。

数据库系统：由数据库、数据库管理系统、应用程序和数据库管理员组成的存储、管理、处理和维护数据的系统。

1.2 数据库技术发展史

数据库技术产生和发展

人工管理阶段->文件系统阶段->层次型数据库和网状型数据库->关系型数据库->面向对象数据库->NoSQL->NewSQL

数据库三个阶段比较

数据库系统优势

数据面向整个系统而不是单个应用，被多个应用共享。

数据的共享性高，冗余度低且易扩充

数据独立性高，分为物理独立性和逻辑独立性

统一管理和控制

层次模型

根节点没有双亲

根节点之外的其他节点有且只有一个双亲节点。

网状模型

允许一个以上的节点无双亲。
一个节点可以有多于一个的双亲

关系模型

建立在严格的数据概念基础上
关系必须是规范化的
关系的分量是一个不可分的数据项

关系数据库产品历史

结构化查询语言SQL

高级的非过程化编程语言，允许用户在高层数据结构上工作
不要求用户指定数据存放方法
不需要用户了解具体数据存放方式
底层结构完全不同的各种关系型数据库系统可以使用相同的SQL语言作为数据操作和管理的接口

面向对象数据模型（OO模型）

将语义数据模型和面向对象设计方法结合起来，用一系列面向对象核心概念构成模型基础。

由于面向对象数据库操作语言过于复杂，故没有得到开发人员的认可。

数据管理技术的新挑战

5V特性：数量大、多样性、价值密度低、速度快、真实性

由5V衍生的需求：高可扩展性、高性能、容错性、高伸缩性

NoSQL技术特点和类型

NoSQL(Not Only SQL)：非关系型的、分布式的、不保证满足ACID特性的一类数据管理系统

技术特点：

对数据进行分区，利用大量节点并行处理获得高性能，同时能够采用横向扩展的方式。

降低ADID一致性约束，允许暂时不一致，接受最终一致性。遵循CAP理论和BASE原则。

各数据分区提供备份（一般是三份），应对节点故障，提高系统可用性。

常见的NoSQL数据库分类：键值数据库、列族数据库、文档型数据库、图数据库

主要NoSQL数据库

NoSQL的出现并不是为了取代RDBMS。它的优势虽然显著，但是缺点也较为明显，其与RDBMS一起构建完整的数据库生态系统。

NewSQL

NewSQL：NewSQL追求NoSQL的可扩展性，又同时支持关系模型的关系型数据库系统，其主要面向OTLP联机事务处理场景，能够支持SQL作为主要的使用语言。

NewSQL的特点：

采用了新架构重新构建产品
采用Transparent Sharding中间件技术
DAAS（数据库即服务），实际上就是云数据库

云数据库

云数据库的优势

易——易使用易管理，业务敏捷上线
稳——高可靠，业务零中断，跨地域容灾备份
快——数据读写时延低，快速响应业务需求
弹——扩展性好，快速自动弹性伸缩
密——数据安全性好，全同态加密

1.3 关系型数据库架构演进

数据库架构发展

随着业务规模增大，数据库存储的数据量和承载的业务压力也不断增大，数据库的架构需要随之变化，为上层应用提供稳定和高效地数据服务。

单机架构

概念：单机架构就是使用一台主机。为了避免应用服务和数据库服务对资源的竞争，单机架构也从早期的单主机模式发展到数据库独立主机模式，把应用和数据服务分开。应用服务可以增加服务器数量，进行负载均衡，增大系统并发能力。

优点：部署集中，运维方便

缺点：

数据库架构扩展性只有纵向扩展，即通过硬件配置来提高性能，但单台主机的硬件可配置的资源会遇到上限
存在单点故障。当扩容时往往需要停机扩容，服务此时需要停止。硬件故障还会导致整个服务不可用设置数据丢失
单机会遇到性能瓶颈

分组架构-主备

概念：数据库部署在两台服务器，其中承担数据读写服务的服务器称为主机，另一台服务器利用数据同步机制把主机的数据复制过来，称为备机。在同一时刻，只有一台服务器对外提供数据服务。当主机宕机，备机可以代替主机工作，直至主机被修好。

优点：

应用不需要针对数据库故障来增加开发量
相对于单机架构提升了数据容错性

缺点：

资源浪费，备机和主机同等配置，但是在主机没有坏掉的情况下，备机相当于备份，没有实际作用
性能压力还是集中在单机上，无法解决性能瓶颈问题
当出现故障的时候，主备机切换需要一定的人工干预和监控

分组架构-主从

概念：部署模式和主备机一样，不过不同的是，备机变成了从机，主机负责写操作而从机负责读操作，这样可以将读写分离，缓解主机压力。

优点：

提升资源利用率，适合读多写少的应用场景
在大并发读写的使用场景中，可以使用负载均衡在多个从机间进行平衡
从机的扩展性较为灵活，扩容操作不会影响到业务进行

缺点：

延迟问题，数据同步到从机数据库会有延迟，在这个延迟过程中从机可能无法读取到最新的数据，所以应用必须能够容忍短暂的不一致性
写操作的性能压力还是集中在主机上
主机出现故障时，需要实现主从切换，人工干预需要反应的时间，自动切换则实现复杂度较高

分组架构-多主

概念：拥有多台数据库服务器，他们互为主从关系，同时对外提供完整的数据服务。

优点：资源利用率较高的同时降低了单点故障的风险

缺点：

多主机都接收写数据，要实现数据的双向同步。而双向复制同样会带来延迟问题，极端情况下有可能数据丢失
数据库数量增加会导致数据同步问题变得极为复杂，故多主实际应用中最多是两台主机

共享存储多活架构

概念：是一种特殊的多主架构，但数据库服务器是共享存储的，而多个服务器实现负载均衡。

优点：

多个计算服务器提供高可用服务，提供了高级别的可用性。可伸缩性，避免了服务器集群的单点故障问题。
比较方便的横向扩展能够增加整体系统并行处理的能力

缺点：

实现技术难度大
虽然服务器越多可以提供高速服务，但多个服务器都连接同一台存储设备，存储设备的IO带宽跟不上高速的服务，故存储IO容易成为整个系统的性能瓶颈。

分片架构

概念：分片架构主要表现形式就是水平数据分片架构，也就是将数据库的数据拆分成许多份，不同份的数据片放在不同的节点上，称为一个shard。多个节点都拥有相同的数据库结构，但不同分片的数据之间没有交集。由于分片是由数据库所有数据划分，故所有分片的并集应该为数据总体。

常见的分片算法：列表值、范围取值、Hash值

优点：数据分散在集群内的各个节点上，所有节点可以独立性工作。

无共享架构

集群中每一个节点都完全拥有自己独立的CPU/内存/存储，不存在共享资源。
各节点处理自己本地的数据，处理结果可以向上层汇总或者通过通信协议在节点间流转。
节点是相互独立的，扩展能力强。整个集群拥有强大的并行处理能力。
其本质上是一个消息传递多处理机。

MPP架构

概念：本质上MPP架构即为大规模并行处理机。MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。

常见的MPP产品：

无共享Master：Vertica，Terdata
共享Master：Greenplum，Netezza

1.4 关系型数据库主流应用场景

联机事务处理

概念：联机事务处理（OnLine Transaction Processing,OLTP）是传统关系数据库的主要应用，面向基本的，日常的事务处理，一般来说时效性要求较高，例如银行储蓄业务的存取交易，转账交易，其要求转账这件事务必须A用户转入B用户必须马上完成。

特点：

大吞吐，大量的短在线事务，非常快速的查询处理。
高并发，准实时响应

应用场景：

零售系统
金融交易系统
火车票销售系统
秒杀活动

联机分析处理

概念：联机分析处理（OnLine Analytical Processing，OLAP）是E.F.Codd（那个提出关系型数据库的男人！）于1993年相对于OLTP系统提出的。指对大量的历史数据进行查询和分析操作，涉及到的历史周期比较长，数据量大，在不同层级上的汇总，聚合操作使得事务处理操作比较复杂。

特点：

主要面向侧重于复杂查询，回答一些战略性问题。
数据处理方面聚焦与数据的聚合、汇总、分组计算、窗口计算等“分析型”数据的加工和操作
从多维度去使用和分析数据