结构化数据和非结构化数据

（1）结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。

（2）非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。

（3）数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

数据清洗原理

数据清洗(data cleaning)，简单地讲，就是从数据源中清除错误和不一致，即利用有关技术如数理统计、数据挖掘或预定义的清洗规则等，从数据中检测和消除错误数据、不完整数据和重复数据等，从而提高数据的质量。业务知识与清洗规则的制定在相当程度上取决于审计人员的积累与综合判断能力。因此，审计人员应按以下标准评价审计数据的质量。

（一）准确性：数据值与假定正确的值的一致程度。

（二）完整性：需要值的属性中无值缺失的程度。

（三）一致性：数据对一组约束的满足程度。

（四）惟一性：数据记录（及码值）的惟一性。

（五）效性：维护的数据足够严格以满足分类准则的接受要求。

结构化数据和非结构化数据相关推荐

Spark（六）：SparkSQLAndDataFrames对结构化数据集与非结构化数据的处理
为什么80%的码农都做不了架构师?>>> 一:简单了解SparkSQL. Spark SQL 是结构化的数据处理一个Spark模块.与基本的Spark RDD API不同,Sp ...
结构化数据和非结构化数据的分析
结构化数据和非结构化数据的分析一. 什么是数据二. 数据的分类 1. 按性质分为 2. 按表现形式分为 3. 按表现形式分为三. 结构化数据和非结构化数据 1. 什么是结构化数据 2. 什么是非 ...
结构化数据与非结构化数据
结构化数据和非结构化数据是大数据的两种类型,关系数据库用于结构化数据,大多数其他类型的应用程序用于非结构化数据结构化数据:高度组织和整齐格式化的数据.它是可以放入表格和电子表格中的数据类型. 能够用 ...
结构化数据和非结构化数据的提取【Python篇】
结构化数据和非结构化数据的提取[Python篇] 总结一下Pyhon提供的可以提取结构化数据以及非结构化数据的主流库. 1.常见数据的分类: 依据响应分类(附带对应的常用的解析方法~): 结构化数据: ...
【数据库】结构化数据、非结构化数据、半结构化数据的区别
林中鹿结构化数据可以通过固有键值获取相应信息,且数据的格式固定,如RDBMS data 半结构化数据可以通过灵活的键值调整获取相应信息,且数据的格式不固定,如json,同一键值下存储的信息可能是数值 ...
结构化数据和半结构化数据和非结构化数据
计算机信息化系统中的数据分为结构化数据和非结构化数据和半结构化数据. 结构化数据结构化数据,是指由二维表结构来表达逻辑和实现的数据,严格的遵循数据格式与长度规范,主要通过关系型数据库进行管理和存储. ...
技术20期：结构化数据与非结构化数据：有什么区别？
查看结构化和非结构化数据.它们的主要区别以及哪种形式最能满足您的业务需求. 并非所有数据都是平等的.有些数据是结构化的,但大部分是非结构化的.结构化和非结构化数据以不同的方式获取.收集和扩展,并且每一 ...
结构化数据和非结构化数据、半结构化数据的区别-归纳总结整理
今天来讨论一下什么是结构化数据? 什么是非结构化数据? 半结构化数据?以及三者之间的区别计算机信息化系统中的数据分为结构化数据和非结构化数据.半结构化数据. 结构化数据结构化数据,是指由二维表结 ...
结构化数据和非结构化数据的区别
结构化数据:结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理. (什么是关系型数据库:关系型数据库,是指采用了关系模型来组 ...
结构化数据与非结构化数据的区别（转载）
在信息社会,信息可以划分为两大类.一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字.符号:而另一类信息无法用数字或统一的结构表示,如文本.图像.声音.网页等,我们称之为非结构化数据 ...

结构化数据和非结构化数据

结构化数据和非结构化数据相关推荐

最新文章

热门文章