学习目标：

1.学会查找脏数据
2.学会清洗数据

学习内容：

1.脏数据”的脏数据的定义和判断标准
2.在oracle 数据库里清洗数据

学习时间：

有oracle 基础的话，学习6个小时

学习产出：

1.技术笔记1篇
2.数据清洗的相关代码

ETL数据清洗

数据清洗（Data Cleaning）原理即通过分析“脏数据”的产生原因和存在形式，利用现有的技术手段和方法去清洗“脏数据”,将原有的不符合要求的数据转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。

数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。

1.不完整的数据：这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。

2去除不需要的字段：对某些字段内容，数据分析过程可能用不上，就需要将其删除。
3.格式内容

大数据的处理之数据清洗相关推荐

大数据之-Hadoop3.x_MapReduce_ETL数据清洗案例---大数据之hadoop3.x工作笔记0136
然后我们来看看etl,就是数据的抽取,转换,加载的过程, 其实就是数据清洗,有个职业叫etl工程师然后我们去看数据清洗为什么需要,因为我们处理数据的时候,首先对数据分析,不符合条件的我们可以先过滤掉 ...
hadoop应用开发技术..._大数据技术与应用——万物皆可数据化
万|物|皆|可|数|据|化大数据技术与应用专业概况专业名称:大数据技术与应用专业代码:610215 专业方向:数据可视化技术数据采集与处理行业趋势近几年来,互联网行业发展风起云涌, ...
如何利用大数据进行价值兑现才是正经事
转载自:http://www.itongji.cn/article/102RYH013.html 本文作者冯月为股票雷达创始人如果有一天你可以预测未来,你要做的第一件事情是什么?买彩票?第二件.第三 ...
林子雨大数据技术原理与运用期末复习
一.填空题 1.大数据的数据结构类型包括结构化数据.半结构化数据和___非结构化数据____. 2.大数据的4V10是(只填英文)__数据量大__Volume____._数据类型多_Variety__ ...
面向政府治理大数据的高性能计算系统
面向政府治理大数据的高性能计算系统吴维刚1, 常亮2, 任江涛1, 古天龙2 1 中山大学数据科学与计算机学院,广东广州 510006 2 桂林电子科技大学计算机与信息安全学院,广西桂林 541 ...
王叁寿：大数据是传统信息化厂商的掘墓人
无论是竞选团队安排策略,金融行业鉴别风险,还是医疗机构推行新药,在大数据变现为21世纪货币的过程中,都对信息化的深度与广度提出了更高的要求.对此,九次方大数据创始人王叁寿表示,大数据是突破瓶颈的关键钥 ...
大数据专业就业方向和考研院校及系统学习路线规划
一.大数据的就业方向: 小标题一.大数据专业的方向较多,以下是一些常见的方向: 1.数据挖掘与机器学习:主要关注数据的提取.处理.分析和预测,以及机器学习算法的应用. 2.大数据平台与分布式系统:主 ...
后端技术杂谈12：捋一捋大数据研发的基本概念
你了解你的数据吗(开篇) 转自http://www.mdjs.info/2018/03/05/data-warehouse/concept-of-dw/ 0x00 前言你了解你的数据吗? 前几天突然 ...
2020地理设计组三等奖：融合多源大数据感知城市空间结构及城市活力的时空分异—以粤港澳大湾区城市群为例
作品介绍 1 背景与意义近30年来,我国的城镇化进程不断加快,并在局部地域形成规模性的城市群.到了2019年,中国城镇常住人口84843万人,占总人口比重(常住人口城镇化率)为60.60%,户籍人口 ...

大数据的处理之数据清洗

学习目标：

学习内容：

学习时间：

学习产出：

大数据的处理之数据清洗相关推荐

最新文章

热门文章