数据管理技术（一）数据管理的发展历程

一、背景

数据量的增长带来了对高效数据管理技术的需求
- 随着网络时代与移动时代，数据产生与传播成本直线降低
- 信息过载、信息爆炸、大数据
工业级信息系统中，数据管理的特点
- 数据量规模大且持续增长：PB/TB级数据积累，每天GB级数据流入
- 数据格式多样：数字、文本、图、图像、视频
- 数据分布式存储与计算

二、数据管理技术的发展

计算机进行数据管理的方式，主要取决于数据在机器中的存储结构和处理方式
根据存储结构和处理方式，数据管理技术可分为三个阶段
- 人工管理阶段（20世纪50年代中期以前）
  - 计算机主要用于科学计算。数据量小、结构简单，如高阶方程等数值计算。
  - 外存为顺序存取设备。磁带、卡片、纸带，没有磁盘等直接存取设备
  - 没有操作系统，没有数据管理软件。用户用机器指令编码，通过纸带机输入程序和数据，程序运行完毕后，用户取走指代和运算结果，再让下一个用户上机操作。数据并不长期保存在计算机内。
- 文件管理阶段（20世纪50年代后期——20世纪60年代中期）
  - 计算机不但用于科学计算，还用于日常生活与工作。
  - 外存有了磁盘、磁鼓等直接存取设备。无需顺序存取，由地址直接访问所需记录。
  - 软件领域出现了操作系统和高级软件。
  - 有了专门管理数据的软件，一般称为文件系统。操作系统中的文件系统是专门管理外存的数据管理软件，文件是操作系统的重要资源之一。
- 数据库管理阶段（20世纪60年代后期开始）
  - 计算机管理的数据量大，关系复杂，共享性要求强。多种应用、不同语言共享数据。
  - 外存有了大容量磁盘、光盘。
  - 软件价格上升，硬件价格下降，编制和维护软件及应用程序成本相对增加，其中维护的成本更高，力求降低。
数据管理技术各阶段的特点
- 人工数据管理的特点
  - 用户完全负则数据管理工作。包括数据的组织、存储结构、存取方法、输入输出等。
  - 数据完全面向特定的应用程序。每个用户使用自己的数据，数据不保存，用完即走。
  - 数据与程序没有独立性。程序中存取数据的子程序随着存储结构的改变而改变。
- 文件系统数据管理的特点
  - 优点
    - 数据可长期保存，重复使用。但是文件结构的设计依然是基于特定的用途，程序基于特定的物理结构和存取方法。因此程序与数据结构之间的依赖关系并未根本改变。
    - 程序与数据之间具有“设备独立性”。程序只需用文件名就可与数据打交道，不必关心数据的物理位置，由操作系统的文件系统提供存取方法（读/写）
    - 文件组织已多样化。有索引文件、链接文件和直接存取文件等。但文件之间相互独立、缺乏联系，数据之间的联系要通过程序去构造。
  - 缺点
    - 数据冗余。由于文件之间缺乏联系，造成每个应用程序都有对应的文件，有可能同样的数据在多个文件中重复储存。
    - 数据不一致（由数据冗余造成）
- 数据库数据管理的特点
  - 拥有了数据库管理系统DBMS
  - 采用复杂的数据模型表示数据结构
  - 数据冗余度小，能够实现数据共享，易于扩充。
  - 具有较高的数据独立性。
  - 为用户提供了方便的用户接口
  - 提供统一的数据控制功能。并发控制、数据恢复、数据完整性、数据安全性。

三、数据库系统简介

数据库Database
- 是以一定的组织方式存储在一起的相关数据的集合
- 既有存放实际数据的物理数据库，也有存放逻辑结构的描述数据库
数据库管理系统Database Mangement System
- 科学地组织和存储数据、高效地获取和维护数据的管理软件
- 通常包括以下功能
  - 数据定义功能。提供数据定义语言(DDL),定义数据库中的数据对象。
  - 数据操作功能。提供数据操作语言，实现对数据库的基本操作，如查询、插入、删除和修改等。SQL查询语言。
  - 数据库的运行管理。数据安全性、完整性，并发访问，故障恢复。
  - 实用程序。数据批量装载，数据库转储，性能监视等。
数据库中的数据模型
- 数据模型是数据库系统中用于提供信息表示和操作手段的形式架构，是数据库系统实现的基础。
- 数据模型的分类：层次模型、网状模型、关系模型、非关系模型
- 相应的，构建起了层次型数据库、网状数据库、关系型数据库、非关系型数据库

四、各类数据库简介

层次型数据库
- 数据库系统最早使用的一种数据模型，以层次或树状结构来表示实体之间的关系。
- 只能描述数据之间一对一或一对多的联系。
网状数据库
- 允许一个以上的节点无双亲（即可拥有多于一个根节点）
- 一个节点可拥有多余一个双亲
- 类似图，描述数据之间多对多的关系
关系型数据库
- 数据的逻辑结构是一张二维表，由行和列组成‘二维表表示实体和实体间的联系。
- 基本概念
  - 属性：二维表中的一列称为一个属性
  - 关键属性：二维表中的属性或属性的组合，它的值能唯一地标识一个元组
- 缺陷
  - 扩展可能：由于存在类似join这样的多表查询机制，使得数据库在扩展方面很艰难
  - 读写慢：这种情况主要发生在数据量达到一定规模时由于关系型数据库的系统逻辑非常复杂，使得其非常容易发生死锁等并发问题，导致其读写速度下降严重。
  - 成本高：企业级数据库的价格惊人，且随着系统规模不断上升。
  - 有限的支撑容量：现有关系型解决方案还无法支撑Google、Baidu、Ali这样海量的数据存储
数据库访问的新需求
- 低延迟的读写速度。应用快速的反应能极大地提升用户的满意度。
- 支撑海量的数据和流量。对于搜索这样大型应用而言，需要利用PB级别的数据和能应对百万级的流量。
- 大规模集群的管理。简化分布式应用的部署和管理。
- 庞大运营成本的考量。降低硬件成本、软件成本和人力成本。
非关系型数据库NoSQL
- NoSQL数据库是非关系型数据存储的广义定义，可以理解为Not Only SQL.
  - 它不同于使用关系型数据模型的关系型数据库。数据存储不需要固定的表结构，通常也不需要链接操作。
  - NoSQL数据库不使用传统的关系数据库模型，而是使用如键值对存储数据库、列式存储数据库、文档型数据库、图型数据库等方式存储数据模型。
- NoSQL适用情况
  - 数据模型比较简单
  - 需要灵活性更强的IT系统
  - 对数据库性能要求较高
  - 不需要高度的数据一致性

数据管理技术（一）数据管理的发展历程相关推荐

数据库系统概述-4个基本概念、数据管理技术的产生和发展、数据库系统的特点
数据库的4个基本概念数据(Data).数据库(Database,DB).数据库管理系统(DataBase Management System,DBMS).数据库系统(DataBase System, ...
数据管理技术的产生和发展人工管理阶段文件系统阶段数据库系统阶段
数据库技术是应数据管理任务的需要而产生的.数据管理是指对数据进行分类.组织.编码.存储.检索和维护,它是数据处理的中心问题.而数据的处理是指对各种数据进行收集.存储.加工和传播的一系列活动的总 ...
从数据库技术的40年发展历程看新征程（四）
转载自微信公众号:BeagleData_ 作者:张秋剑我们上一章讲到,近几年,新的数据库层出不穷,在性能和速度上都有优异的表现.但除掉具体业务场景的和架构方面的一些设计,例如具体不同业务场景的TPS ...
5G技术—移动通信制式演进发展历程测试题目
一.判断题(共10题.每题2分.共20分) 1.提升信噪比是提升小区通信容量最有效的方法.(×) 2.我国提出的"5G之花"9个技术指标被ITU接受9个.(×) 3.在5G NR中 ...
Web开发技术十年发展历程
回顾web开发技术这十年发展历程: Ajax 03年的时候我上六年级,那时候网吧刚在小县城的角落萌生.传奇,大话西游第一代网游一时风靡.我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩,然后接下来的 ...
计算机数据管理的三个阶段包括,计算机数据管理技术的发展包括三个阶段
<计算机数据管理技术的发展包括三个阶段>由会员分享,可在线阅读,更多相关<计算机数据管理技术的发展包括三个阶段(2页珍藏版)>请在人人文库网上搜索. 1.1 计算机数据管理技术 ...
在计算机数据管理技术的发展过程中经历了,1在数据管理技术的发展过程中，经历了人工管理阶段、文件系统阶段和...
1．在数据管理技术的发展过程中,经历了人工管理阶段.文件系统阶段和数据库系统阶段.在这几个阶段中,数据独立性最高的是_____阶段. A．数据库系统 B．文件系统 C．人工管理 D．数据项管理 2． ...
数据管理技术的发展经历了哪三个阶段
数据管理技术是指对数据进行分类.组织.编码.查询和维护,它是数据处理的中心问题: 随着计算机技术的不断发展,在应用需求的推动下,在计算机硬件.软件发展的基础上数据管理技术经历了人工管理.文件管理.数据 ...
计算机数据管理的发展分5个阶段,数据管理技术的发展主要经历了哪几个阶段...
一.人工管理阶段在计算机出现之前,人们运用常规的手段从事记录.存储和对数据加工,也就是利用纸张来记录和利用计算工具(算盘.计算尺)来进行计算,并主要使用人的大脑来管理和利用这些数据. 到了20世纪5 ...

数据管理技术（一）数据管理的发展历程

一、背景

二、数据管理技术的发展

三、数据库系统简介

四、各类数据库简介

数据管理技术（一）数据管理的发展历程相关推荐

最新文章

热门文章