数据分析-数据清洗与整理

1.数据清洗

第一步：对异常值进行处理
首先，查看原数据库是否一样；
然后，查询是否信息录入时出现错误；
最后，看看是不是顾客随意填写的信息
第二步：对离群值进行处理
首先，查询是否与原数据库一致；
然后，查询是否信息录入错误；
最后，判断是否符合顾客实际情况
#如果经过以上两步处理，确定数据不存在问题，就要进行下面的操作
第三步：对异常的数据用平均值、中位值进行替代；对离群值进行具体的判断，根据他对最终决策产生的影响考虑是否对他进行删除处理。

2.数据整理

#使用SQL中的inner join……on语句进行表的拼接
select s.ID,p.sex,p.age
from sales s inner join person p on sales_ID=person_ID;
#得到的是两个表中都有的信息进行连接，如下图所示

#使用SQL中的left/right join……on语句进行表的拼接
select s.ID,p.sex,p.age
from sales s left/right join person p on sales_ID=person_ID;
#得到的是某个表中都有的信息进行连接，如下图所示

#使用SQL中的outer join……on语句进行表的拼接
select s.ID,p.sex,p.age
from sales s outer join person p on sales_ID=person_ID;
#得到的是两个表中所有的信息进行连接，如下图所示

数据分析-数据清洗与整理相关推荐

探索性数据分析的思路整理
探索性数据分析的思路整理读取数据清洗数据,对构建的数据进行整理探索全局特征, 通过直方图,散点图,聚合函数对数据进行全局的了解探索数据的分组特征,通过分组操作分析数据集 %matplotlib ...
R语言扩展包dplyr——数据清洗和整理
R语言扩展包dplyr--数据清洗和整理标签: 数据R语言数据清洗数据整理 2015-01-22 18:04 7357人阅读评论(0) 收藏举报分类: R Programming(11) ...
电商数据分析⽅法和指标整理
电商数据分析⽅法和指标整理对于电商⾏业来说,数据分析的核⼼公式是:销售额 = 流量转化率客单价.因此,分析可以从流量.转化率和客单价这三个维度进⾏: 1.流量流量分析,可以从中发现⽤户访问⽹站的规 ...
大数据分析数据清洗的价值和意义
在这个由物联网(IoT),社交媒体,边缘计算以及越来越多的计算能力(如量子计算)支持的数字时代,数据可能是任何企业最有价值的资产之一.正确(或不正确)的数据管理将对企业的成功产生巨大影响.换句话说,它 ...
数据分析--数据清洗详解流程
无论是做机器学习还是做数据分析,都离不开获取数据后的第一步-数据清洗工作.据统计,数据清洗工作占据整个工作时间百分之50左右,有的甚至能达到百分之70.下面我将介绍我进行数据清洗得思路流程. 数据清洗 ...
动手学数据分析 | 数据清洗及特征处理(二)
接上篇动手学数据分析 | 数据基础操作(一),下面代码为本篇内容的基本代码准备工作. import numpy as np import pandas as pddf = pd.read_csv('t ...
数据分析之机器学习(整理笔记）
数据分析步骤 1明确需求 2数据收集 3数据处理 4数据分析 5数据展现 6转写报告数据分析误区 1分析目的不名曲 2缺乏业务知识 3追求高级方法机器学习程序开发流程 1.获取数据 2.清洗数据 ...
3_数据分析—数据清洗及特征处理
文章目录一.数据导入二.数据清洗简述 2.1 缺失值-观察与处理 2.1.1 缺失值观察(2种方法) 2.1.2 对缺失值进行处理 2.1.3 对缺失值进行填充 2.2 重复值-观察与处理 2.2 ...
数据分析----数据清洗
一.导入数据 import pandas as pd import numpy as np from pandas import Series,DataFrame import xlrd df = D ...
盘点直播带货运营，选品数据分析，工具整理。
短视频带货数据分析对于短视频操作至关重要.选品数据分析不仅可以发现帐号问题,而且创作者可以及时进行调整,使用数据分析来找出原因,然后进行相应的调整:它还可以调整运营策略.以便通过专业分析更好地迎合受众 ...

数据分析-数据清洗与整理

数据分析-数据清洗与整理相关推荐

最新文章

热门文章