大数据预处理之数据集成
数据处理常常涉及数据集成操作，即将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在一起并形成一个统一数据集合，以便为数据处理工作的顺利完成提供完整的数据基础。
在数据集成过程中，需要考虑解决以下几个问题。
1. 模式集成问题
模式集成问题就是如何使来自多个数据源的现实世界的实体相互匹配，这其中就涉及实体识别问题。
例如，如何确定一个数据库中的“custom_id”与另一个数据库中的“custome_number”是否表示同一实体。
数据库与数据仓库通常包含元数据，这些元数据可以帮助避免在模式集成时发生错误。
2. 冗余问题
冗余问题是数据集成中经常发生的另一个问题。若一个属性可以从其他属性中推演出来，那这个属性就是冗余属性。
例如，一个顾客数据表中的平均月收入属性就是冗余属性，显然它可以根据月收入属性计算出来。此外，属性命名的不一致也会导致集成后的数据集出现数据冗余问题。
利用相关分析可以帮助发现一些数据冗余情况。
例如，给定两个属性 A 和 B,则根据这两个属性的数值可分析出这两个属性间的相互关系。
如果两个属性之间的关联值 r>0,则说明两个属性之间是正关联，也就是说，若 A 增加，B 也增加。r 值越大，说明属性 A、E 的正关联关系越紧密。
如果关联值产 0,则说明属性 A、B 相互独立，两者之间没有关系。如果 r<0,则说明属性 A、B之间是负关联，也就是说，若 A 增加，B 就减少。r 的绝对值越大，说明属性 A、B 的负关联关系越紧密。
3. 数据值冲突检测与消除问题
在现实世界实体中，来自不同数据源的属性值或许不同。产生这种问题的原因可能是表示、比例尺度，或编码的差异等。
例如，重量属性在一个系统中采用公制，而在另一个系统中却采用英制；价格属性在不同地点采用不同的货币单位。这些语义的差异为数据集成带来许多问题。
推荐学习目录：21.HDFS基本原理和设计理念
22.HDFS架构和实现机制
23.HDFS读取和写入数据
24.HDFS两种操作方式
25.NoSQL简介
26.NoSQL类型简介
27.HBase简介
28.HBase列式数据模型
29.HBase Shell
30.HBase主要运行机制
大数据预处理之数据集成相关推荐
- 【Python实战】数据预处理（数据清理、集成、变换、归约）
[Python实战]数据预处理 前言 数据预处理概述 数据清理 异常数据处理 1.异常数据分析 2.异常数据处理方法 缺失值处理 噪声数据处理 数据集成 1.实体识别 2.冗余属性 3.数据不一致 数 ...
- 数据预处理—-（数据探索、数据清理、数据集成、数据规约、数据变换）
数据挖掘概念与技术 定义挖掘目标–>数据取样–>数据探索–>数据预处理–>挖掘建模–>模型评价 第一章.数据 挖掘的数据类型:时间序列,序列,数据流,时间空间数据,多媒体 ...
- 机器学习项目中的数据预处理与数据整理之比较
要点 在常见的机器学习/深度学习项目里,数据准备占去整个分析管道的60%到80%. 市场上有各种用于数据清洗和特征工程的编程语言.框架和工具.它们之间的功能有重叠,也各有权衡. 数据整理是数据预处理的 ...
- 竞赛专题 | 数据预处理-如何处理数据中的坑？
点击上方"Datawhale",选择"星标"公众号 第一时间获取价值内容 为了帮助更多竞赛选手入门进阶比赛,通过数据竞赛提升理论实践能力和团队协作能力.Data ...
- 数据预处理Part4——数据离散化
文章目录 离散化,对数据做逻辑分层 1. 什么是数据离散化? 2. 为什么要将数据离散化 3. 如何将数据离散化? 3.1 时间数据离散化 3.2 多值离散数据离散化 3.3 连续数据离散化 3.4 ...
- Python数据分析中的数据预处理：数据标准化
[小白从小学Python.C.Java] [Python全国计算机等级考试] [Python数据分析考试必会题] ● 标题与摘要 Python数据分析中的 数据预处理:数据标准化 ● 选择题 以下关于 ...
- 数据预处理Part2——数据标准化
文章目录 数据标准化 1. 实现归一化的Max-Min 2. 实现中心化和正态分布的Z-Score 3. 用于稀疏数据的MaxAbs 4. 针对离群点的RobustScaler 5. 标准化后数据可视 ...
- 数据预处理Part9——数据降维
文章目录 1. 什么是数据降维? 2. 为什么要进行数据降维? 3. 降维是如何实现的? 4. sklearn中的降维算法 4.1 主成分分析PCA 4.2 因子分析FA 4.3 独立成分分析ICA ...
- PyTorch源码解析--torchvision.transforms（数据预处理、数据增强）
PyTorch框架中有一个很常用的包:torchvision torchvision主要由3个子包构成:torchvision.datasets.torchvision.models.torchvis ...
- Pandas数据预处理与数据重塑案例
Pandas数据预处理与数据重塑案例 前言 预处理是数据分析中不可缺少的一部分,我们日常得到的数据多半是规整的,只有得到想要的相应格式的数据,才能进行后续的探索性分析和建模.以下是我在一个小的项目 ...
最新文章
- 配置导出MOSS2010列表数据到Excel并根据列表记录自动刷新数据
- * 执行多条更新的Sql语句
- hdu 1087 最大递增和
- Spring自动装配Beans
- 游戏中常用的寻路算法的分享（3）：A*算法的实现
- logback日志记录器讲解
- 框架画Button的入口
- 算法(4)-leetcode-explore-learn-数据结构-数组2
- 阿里CTO张建锋：明年双11将大规模应用含光AI芯片
- 是无数像老钟叔的p8u8
- SpringBoot2 Redis连接池
- day05【后台】菜单维护
- flume kafka storm mysql_flume+kafka+storm打通过程
- 验证码——ImageIO.write的坑
- 是什么浪费了运维的工作时间？
- PowerPoint（一）PowerPoint 2010 堪称“完美”？
- 计算机在网络通信方面的应用,分析计算机技术在通信中的应用
- 初中计算机flash基本知识,初中信息技术flash课件
- 软考中级网络工程师的就业前景以及考试要求
- 油品调和计算软件_燃料油品的调合及计算方法及航空汽油的调合