一、探索性数据分析EDA

探索性数据分析(Exploratory Data Analysis，简称EDA)，指对数据分析的过程中尽量不加入先验假设，而是通过作图表和统计等方式来探索数据结构和规律。
在EDA中你可以构思各种各样的假设，并通过数据分析去寻找相应的反馈，以此迭代来寻找到数据集中分布的规律。在探索的过程中会随着不断的深入对数据理解更加深刻。
EDA的流程如下：提出问题；筛选、清洗数据；分析数据；构建模型；得出结论。
EDA的过程与数据挖掘的流程不谋而合，特征是否起作用需要具体的分析和验证。从数据本身出发去寻找合适的特征。
在数据竞赛中，使用EDA完成数据分析的过程如下：

读取并分析数据质量；
探索性分析每个变量：
变量是什么类型；
变量是否有缺失值；
变量是否有异常值；
变量是否有重复值；
变量是否均匀；
变量是否需要转换；
探索性分析变量与target标签的关系：
变量与标签是否存在相关性；
变量与标签是否存在业务逻辑；
探索性分析变量之间的关系：
1）连续型变量与连续型变量;
可视化：散点图、相关性热力图；皮尔逊系数；互信息；
2）离散变量与离散变量；
可视化：柱状图、饼图、分组表；卡方检验；
3）检查变量之间的正态性；直方图；箱线图；Quantile-Quantile (QQ图)；

根据EDA我们可以得出以下结论：变量是否需要筛选、替换和清洗；变量是否需要转换；变量之间是否需要交叉；变量是否需要采样；

二、数据分析图表的选择

可视化目的：比较/趋势/组成/联系/分布；
可视化变量类型：数值/日期/类别/经纬度；
可视化维度：分布/趋势；

探索性数据分析EDA及数据分析图表的选择相关推荐

Kaggle知识点：数据分析EDA
Kaggle知识点数据分析在现有数据竞赛和数据领域中数据分析是重要组成部分,且数据分析与具体的业务背景和业务逻辑联系紧密.数据分析是发现数据规律的有效方法,也是验证思路的有效方法. 本文将以Kag ...
Python探索性数据分析(EDA)统计数据和建模
探索性数据分析(EDA) 在统计学中,探索性数据分析是一种分析数据集以总结其主要特征的方法,通常使用统计图形和其他数据可视化方法. 可以使用或不使用统计模型,但主要是 EDA 用于查看数据可以告诉我们 ...
数据挖掘：探索性数据分析(EDA)（补充）
数据挖掘:探索性数据分析(EDA)(补充) 在上一篇文章数据挖掘:探索性数据分析(EDA)中,已经讨论了一些探索性分析的方法,但去敏数据的处理方式和一些多元统计的方法没有做介绍.本篇文章主要讲这两方面 ...
数据挖掘：探索性数据分析(EDA)
数据挖掘:探索性数据分析(EDA) 一.什么是探索性数据分析 EDA (Exploratory Data Analysis),即对数据进行探索性的分析.充分了解数据,为之后的数据清洗和特征工程等提供想 ...
python进行探索性数据分析EDA（Exploratory Data Analysis）分析
python进行探索性数据分析EDA(Exploratory Data Analysis)分析 show holy respect to python community, for there ded ...
【ML】探索性数据分析 (EDA)
简介探索性数据分析 (EDA) 以了解我们数据集的信号和细微差别.这是一个循环过程,可以在我们开发过程的各个阶段(标记之前/之后.预处理等)完成,具体取决于问题的定义程度.例如,如果我们不确定如何标 ...
【Python基础】安利3个Python数据分析EDA神器！
来源:Python数据科学作者:东哥起飞 EDA是数据分析必须的过程,用来查看变量统计特征,可以此为基础尝试做特征工程.东哥这次分享3个EDA神器,其实之前每一个都分享过,这次把这三个工具包汇总到一 ...
python数量推荐_太香了，墙裂推荐3个Python数据分析EDA神器！
作者:东哥起飞 EDA是数据分析必须的过程,用来查看变量统计特征,可以此为基础尝试做特征工程.东哥这次分享3个EDA神器,其实之前每一个都分享过,这次把这三个工具包汇总到一起来介绍. 1. Panda ...
NumPy 秘籍中文第二版：十二、使用 NumPy 进行探索性和预测性数据分析
原文:NumPy Cookbook - Second Edition 协议:CC BY-NC-SA 4.0 译者:飞龙在本章中,我们涵盖以下秘籍: 探索气压探索日常气压范围研究年度气压平均值分 ...

探索性数据分析EDA及数据分析图表的选择

文章目录

一、探索性数据分析EDA

二、数据分析图表的选择

探索性数据分析EDA及数据分析图表的选择相关推荐

最新文章

热门文章