【Python】安利 3 个 pandas 数据探索分析神器!
EDA是数据分析必须的过程,用来查看变量统计特征,可以此为基础尝试做特征工程。东哥这次分享3个EDA神器,其实之前每一个都分享过,这次把这三个工具包汇总到一起来介绍。
1. Pandas_Profiling
这个属于三个中最轻便、简单的了。它可以快速生成报告,一览变量概况。首先,我们需要安装该软件包。
# 安装Jupyter扩展widget
jupyter nbextension enable --py widgetsnbextension
# 或者通过conda安装
conda env create -n pandas-profiling
conda activate pandas-profiling
conda install -c conda-forge pandas-profiling
# 或者直接从源地址安装
pip install https://github.com/pandas-profiling/pandas-profiling/archive/master.zip
安装成功后即可导入数据直接生成报告了。
import pandas as pd
import seaborn as sns
mpg = sns.load_dataset('mpg')
mpg.head()from pandas_profiling import ProfileReport
profile = ProfileReport(mpg, title='MPG Pandas Profiling Report', explorative = True)
profile
使用Pandas Profiling生成了一个快速的报告,具有很好的可视化效果。报告结果直接显示在notebook中,而不是在单独的文件中打开。
总共提供了六个部分:概述、变量、交互、相关性,缺失值和样本。
Pandas profiling的变量部分是完整的,它为每个变量都生成了详细的报告。
从上图可以看出,仅一个变量就有太多信息,比如可以获得描述性信息和分位数信息。
交互
交互部分我们可以获取两个数值变量之间的散点图。
相关性
可以获得两个变量之间的关系信息。
缺失值
可以获取每个变量的缺失值计数信息。
样本
可以显示了数据集中的样本行,用于了解数据。
2. Sweetviz
Sweetviz是另一个Python的开源代码包,仅用一行代码即可生成漂亮的EDA报告。与Pandas Profiling的区别在于它输出的是一个完全独立的HTML应用程序。
使用pip安装该软件包
pip install sweetviz
安装完成后,我们可以使用Sweetviz生成报告,下面尝试一下。
import sweetviz as sv
# 可以选择目标特征
my_report = sv.analyze(mpg, target_feat ='mpg')
my_report.show_html()
从上图可以看到,Sweetviz报告生成的内容与之前的Pandas Profiling类似,但具有不同的UI。
Sweetviz不仅可以查看单变量的分布、统计特性,它还可以设置目标标量,将变量和目标变量进行关联分析。如上面报告最右侧,它获得了所有现有变量的数值关联和类别关联的相关性信息。
Sweetviz的优势不在于单个数据集上的EDA报告,而在于数据集的比较。
可以通过两种方式比较数据集:将其拆分(例如训练和测试数据集),或者使用一些过滤器对总体进行细分。
比如下面这个例子,有USA和NOT-USA两个数据集。
# 设置需要分析的变量
my_report = sv.compare_intra(mpg,mpg [“ origin”] ==“ usa”,[“ USA”,“ NOT-USA”],target_feat ='mpg')
my_report.show_html()
不需要敲太多的代码就可以让我们快速分析这些变量,这在EDA环节会减少很多工作量,而把时间留给变量的分析和筛选上。
Sweetviz的一些优势在于:
分析有关目标值的数据集的能力
两个数据集之间的比较能力
但也有一些缺点:
变量之间没有可视化,例如散点图
报告在另一个标签中打开
个人是比较喜欢Sweetviz的。
3. pandasGUI
PandasGUI与前面的两个不同,PandasGUI不会生成报告,而是生成一个GUI(图形用户界面)的数据框,我们可以使用它来更详细地分析我们的Dataframe。
首先,安装PandasGUI。
# pip安装
pip install pandasgui
# 或者通过源下载
pip install git+https://github.com/adamerose/pandasgui.git
然后,运行几行代码试一下。
from pandasgui import show
# 部署GUI的数据集
gui = show(mpg)
在此GUI中,可以做很多事情,比如过滤、统计信息、在变量之间创建图表、以及重塑数据。这些操作可以根据需求拖动选项卡来完成。
比如像下面这个统计信息。
最牛X的就是绘图器功能了。用它进行拖拽操作简直和excel没有啥区别了,操作难度和门槛几乎为零。
还可以通过创建新的数据透视表或者融合数据集来进行重塑。
然后,处理好的数据集可以直接导出成csv。
pandasGUI的一些优势在于:
可以拖拽
快速过滤数据
快速绘图
缺点在于:
没有完整的统计信息
不能生成报告
4. 结论
Pandas Profiling、Sweetviz和PandasGUI都很不错,旨在简化我们的EDA处理。在不同的工作流程中,每个都有自己的优势和适用性,三个工具具体优势如下:
Pandas Profiling 适用于快速生成单个变量的分析。
Sweetviz 适用于数据集之间和目标变量之间的分析。
PandasGUI适用于具有手动拖放功能的深度分析。
参考:
https://github.com/adamerose/pandasgui
https://github.com/pandas-profiling/pandas-profiling
https://github.com/fbdesignpro/sweetviz
https://towardsdatascience.com/
原创不易,来个三连支持下。
往期精彩回顾适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载黄海广老师《机器学习课程》视频课黄海广老师《机器学习课程》711页完整版课件
本站qq群851320808,加入微信群请扫码:
【Python】安利 3 个 pandas 数据探索分析神器!相关推荐
- 安利 3 个 pandas 数据探索分析神器!
EDA是数据分析必须的过程,用来查看变量统计特征,可以此为基础尝试做特征工程.东哥这次分享3个EDA神器,其实之前每一个都分享过,这次把这三个工具包汇总到一起来介绍. 1. Pandas_Profil ...
- 推荐2个十分好用的pandas数据探索分析神器!
今天小编给大家推荐两款超好用的工具来对数据进行探索分析.更好地帮助数据分析师从数据集当中来挖掘出有用的信息 PandasGUI 一听到这个名字,大家想必就会知道这个工具是在Pandas的基础之上加了G ...
- 推荐 2个十分好用的 pandas 数据探索分析神器!
作者 | 俊欣 来源 | 关于数据分析与可视化 今天小编给大家推荐两款超好用的工具来对数据进行探索分析.更好地帮助数据分析师从数据集当中来挖掘出有用的信息 PandasGUI 一听到这个名字,大家想必 ...
- Pandas数据探索分析,分享两个神器!
在使用 pandas 进行数据分析时,进行一定的数据探索性分析(EDA)是必不可少的一个步骤,例如常见统计指标计算.缺失值.重复值统计等. 使用 df.describe() 等函数进行探索当然是常见操 ...
- python对数据进行统计分析_用Python结合统计学知识进行数据探索分析
二项分布 二项分布是n个独立的是/非试验中成功的次数的概率分布,其中每次试验的成功概率为p.这是一个离散分布,所以使用概率质量函数(PMF)来表示k次成功的概率: 最常见的二项分布就是投硬币问题了,投 ...
- 一行代码加速你的Pandas数据探索分析
本文3分钟,大幅提升分析数据效率 我们知道,pandas库为EDA提供了许多非常有用的功能.但是,在能够应用大多数功能之前,通常必须先从更通用的功能开始,例如df.describe()函数. 比如以分 ...
- 【Python】数据探索分析——东北大学软件学院大数据班数据挖掘实训一(1)
数据探索分析 (1)获取数据并进行数据预处理,将含有缺失值的样本去掉,取出死亡率在 0 (1)获取数据并进行数据预处理,将含有缺失值的样本去掉,取出死亡率在 0<q<=1范围内的数据. i ...
- 【Python学习】使用pandas和matplotlib分析1949-2016年中国各省市历年GDP数据
[Python学习]使用pandas和matplotlib分析1949-2016年中国各省市历年GDP数据 导入包 读取数据 设置颜色列表 绘图分析 导入包 由于我是在jupyter notebook ...
- 几款强大的 Pandas 数据探索工具,推荐收藏使用
对于 Python 数据分析领域,Pandas 绝对是中坚力量,那么围绕着这个工具,又衍生出了很多辅助工具,今天我们就一起来看看辅助 Pandas 来进行数据探索的几种工具 首先我们先来看看我们的测试 ...
最新文章
- Python基础入门:endswith() 函数
- Android 监听home键(android:launchMode=singleTask 与 onNewIntent(Intent intent) 的用法
- C++primer CH12智能指针
- oracle 10g express linux,在Ubuntu下安装Oracle Database 10g Express Edition
- java编译异常有哪些_java 中 哪些异常必须声明并捕获,否则产生编译错误
- 在Silverlight中使用ESFramework-- ESFramework 4.0 快速上手(05)
- 二叉搜索树(排序二叉树)
- 密码库LibTomCrypt学习记录——(1.0)分组密码算法——概述
- C语言学习笔记-1(资料:郝斌老师C语言视频)
- 高速CAN收发器TJA1043的状态机
- python爬取豆瓣读书,python爬取数据豆瓣读书
- html复选框打钩行变颜色,Excel 单元格打勾会变颜色,开发工具的复选框这样玩...
- **最新2018手机号码正则表达式**
- Axure 初学者必看:自学 Axure 需要花多长时间?
- drozer连接时出错,显示received an empty response from the agent
- 数据结构pintia_如何学好数据结构,去哪里刷题?
- sql server 2008 R2 与 sql server 2012 下载地址(包括x86、x64)
- MySQL innodb引擎,事务提交 commit 异常,但数据提交成功
- ppc64 安装jdk
- 农行上海研发中心面经