当我们需要观察比较2个变量间的关系时,散点图是我们首选图表。

可当数据量非常大,数据点又比较集中在某个区间中,图表没法看,密密麻麻的怎么看?

怎么办?这时候就得看密度图了

什么是密度图?

所谓的密度图 (Density Plot) 就是数据的分布稠密情况,它常用于显示数据在连续时间段内的分布状况。严格来说,它是由直方图演变而来,类似于把直方图进行了填充。

一般是使用平滑曲线来绘制数值水平来观察分布,峰值数值位置是该时间段内最高度集中的地方。

它比直方图适用性更强,不受分组数量(直方图的条形数量不宜过多)的影响,能更好地界定分布形状

本篇文章不谈论直方图,之后老海会专门总结关于直方图的使用。

什么是2D密度图?

说完了密度图和直方图,它们都是一维数据变量。

这下我们来看看2D密度图,它显示了数据集中两个定量变量范围内值的分布,有助于避免在散点图中过度绘制。

如果点太多,则2D密度图会计算2D空间特定区域内的观察次数。

该特定区域可以是正方形或六边形(六边形),还可以估算2D内核密度估算值,并用轮廓表示它。

本篇文章主要描述一下2D密度图的使用。

2D密度图的基本数据样式

2D密度图的使用建议

  • 密度图是一种直方图的代替方案,常用来观察连续变量的分布情况
  • 2D密度图主要用来解决数据点密度过大的问题,要注意密度分割是否合理。
  • 当数据范围都非常集中,数据间变化不大时,密度图往往很难观察效果。

下面开始具体的操作案例

准备工作

还是和之前一样,引入必要的工具包

## 初始字体设置,设置好可避免很多麻烦plt.rcParams['font.sans-serif']=['Source Han Sans CN']      # 显示中文不乱码,思源黑体 plt.rcParams['font.size'] = 22                              # 设置图表全局字体大小,后期某个元素的字体大小可以自行调整plt.rcParams['axes.unicode_minus'] = False                  # 显示负数不乱码## 初始化图表大小plt.rcParams['figure.figsize'] = (20.0, 8.0)                # 设置figure_size尺寸## 初始化图表分辨率质量plt.rcParams['savefig.dpi'] = 300                           # 设置图表保存时的像素分辨率plt.rcParams['figure.dpi'] = 300                            # 设置图表绘制时的像素分辨率## 图表的颜色自定义colors = ['#dc2624', '#2b4750', '#45a0a2', '#e87a59',         '#7dcaa9', '#649E7D', '#dc8018', '#C89F91',          '#6c6d6c', '#4f6268', '#c7cccf']plt.rcParams['axes.prop_cycle'] = plt.cycler( color=colors)path = 'D:系列文章'# 自定义文件路径,可以自行设定os.chdir(path)# 设置为该路径为工作路径,一般存放数据源文件

设定图表样式和文件路径

Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表')Financial_data

读入数据

Financial_data = pd.read_excel('虚拟演示案例数据.xlsx',sheet_name='二维表')Financial_data

常见的6种密度图表类型

from scipy.stats import kde  # 引入核密度计算方法# 为方便演示,创建6个子图的画板fig, axes = plt.subplots(3,2, figsize=(20, 20))# 第一个子图,我们来画一个基本的散点图# 散点图是最经典的观察2个变量关系,但数据量非常大就会出数据点堆叠交错,当值我们无法进一步探索axes[0][0].set_title('散点图')                                           # 设置标题axes_0 = axes[0][0].plot(Financial_data['材料'], Financial_data['管理'], 'ko')    # 画出散点图# 第二个子图,我们画出六边形蜂巢图# 当寻找2个数值型变量的关系,数据量很大且不希望数据堆叠在一起,就可以按照蜂巢形状切割数据点,计算每个六边形里的点数来表达密度num_bins = 50                                                      # 设置六边形包含的距离axes[0][1].set_title('蜂巢六边形图')                                # 设置标题axes_1= axes[0][1].hexbin(Financial_data['材料'], Financial_data['管理'],                   gridsize=num_bins,                               # 设置六边形的大小                  cmap="Blues"                                     # 设置颜色组合                 )fig.colorbar(axes_1,ax=axes[0][1])                                 # 设置颜色显示条# 第三个子图,我们画出2D直方图。# 我们您需要分析两个数据量比较大的数值变量关系时,2D直方图非常有用,它可以避免在散点图中出现的的数据密度过大问题num_bins = 50axes[1][0].set_title('2D 直方图')axes_2 = axes[1][0].hist2d(Financial_data['材料'], Financial_data['管理'],                   bins=(num_bins,num_bins),                   cmap="Blues")# fig.colorbar(axes_2,ax=axes[1][0]) # 第四个子图,我们画出高斯核密度图# 考虑到想研究具有很多点的两个数值变量之间的关系。可以考虑绘图区域每个部分上的点数,来计算2D内核密度估计值。# 就像平滑的直方图,这个方法不会使某个点掉入特定的容器中,而是会增加周围容器的权重,比如颜色会加深。k = kde.gaussian_kde(Financial_data.loc[:,['材料','管理']].values.T)           # 进行核密度计算xi, yi = np.mgrid[Financial_data['材料'].min():Financial_data['材料'].max():num_bins*1j, Financial_data['管理'].min():Financial_data['管理'].max():num_bins*1j]zi = k(np.vstack([xi.flatten(), yi.flatten()]))axes[1][1].set_title('高斯核密度图')axes_3 = axes[1][1].pcolormesh(xi,                       yi,                       zi.reshape(xi.shape),                       cmap="Blues")fig.colorbar(axes_3,ax=axes[1][1])                                  # 设置颜色显示条# 第五个子图,我们画出带阴影效果的2D密度图axes[2][0].set_title('带阴影效果的2D密度图')axes[2][0].pcolormesh(xi,                       yi,                       zi.reshape(xi.shape),                       shading='gouraud',                       cmap="Blues") # 第六个子图,我们画出带轮廓线的密度图axes[2][1].set_title('带阴影+轮廓线的2D密度图')axes_5 = axes[2][1].pcolormesh(xi,                       yi,                       zi.reshape(xi.shape),                       shading='gouraud',                       cmap="Blues")fig.colorbar(axes_5,ax=axes[2][1])                                  # 设置颜色显示条# 画出轮廓线axes[2][1].contour(xi,                    yi,                    zi.reshape(xi.shape))plt.show()

特别提一下:2D核密度估计图

sns.kdeplot(Financial_data['材料'],Financial_data['管理'])sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到
sns.kdeplot(Financial_data['材料'],Financial_data['管理'],            cmap="Reds",             shade=True,                                    # 若为True,则在kde曲线下面的区域中进行阴影处理,color控制曲线及阴影的颜色            shade_lowest=True,                        # 如果为True,则屏蔽双变量KDE图的最低轮廓。#             bw=.15           )sns.despine() # 默认无参数状态,就是删除上方和右方的边框,matplotlib貌似做不到

写在最后

之前介绍了散点图、热力图,这次的2D密度图,也是观察数据分布的好图表

它同样符合图表演变原则,符合直方图→1D密度图→2D密度图的变化过程

在解决数据点密度大,造成数据堆叠无法观察的问题上,密度图非常有用。

OK,今天先到这里了,老海日常随笔总结,码字不易,初心不改!

如果觉得喜欢,请动动小手关注和转发,鼓励一下我们。

我是老海,来自数据炼金术师

python not defined怎么解决_数据量太大?散点图装不下怎么办?用Python解决数据密度过大难题相关推荐

  1. altium09怎么查元器件_长文图解:单张表数据量太大问题怎么解决?请记住这六个字...

    JAVA前线  欢迎大家关注公众号「JAVA前线」查看更多精彩分享,主要包括源码分析.实际应用.架构思维.职场分享.产品思考等等,同时也非常欢迎大家加我微信「java_front」一起交流学习 1 文 ...

  2. for循环数据量太大_中文文本分类roberta大力出奇迹之数据量大的问题

    问题描述: 笔者在文本分类场景中使用了roberta+pool+dense的三分类模型.采用预训练模型做项目的时候经常苦于数据太少,模型泛化性差,因此收集了1300W数据.在我尝试暴力出奇迹的时候,遇 ...

  3. Python pandas导excel数据量太大报错问题

    开发环境 MySQL 10.1.38-MariaDB-1~bionic Python3.7.8 开发工具 PyCharm2018.1 SmartGit18.1 Navicat15.0.28 问题描述 ...

  4. 如何判断你的数据集是否适合使用深度学习模型?如果数据量太小有什么解决办法?

    如何判断你的数据集是否适合使用深度学习模型?如果数据量太小有什么解决办法? deep learning is a data hungry problem 数据集太小,数据样本不足时,深度学习相对其它机 ...

  5. vue+cesium cesium数据量太大导致浏览器卡顿解决办法

    vue+cesium cesium数据量太大 导致浏览器卡顿 解决办法 解决方案 : 不要把任何的cesium对象 放在data中监听,因为在data中的变量 , vue会劫持数据 , 导致迟缓. 解 ...

  6. vue el-select数据量太大,导致浏览器崩溃解决办法

    下拉数据量太大,浏览器单线程渲染时间较长,会导致浏览器崩溃.为了解决这一问题,可以采用懒加载形式,完美解决 <el-col :span="24"><el-form ...

  7. 《数据分析实战 基于EXCEL和SPSS系列工具的实践》一3.4 数据量太大了怎么办

    本节书摘来自华章出版社<数据分析实战 基于EXCEL和SPSS系列工具的实践>一书中的第3章,第3.4节,纪贺元 著,更多章节内容可以访问云栖社区"华章计算机"公众号查 ...

  8. R语言使用hexbin包的hexbin函数可视化散点图、应对数据量太大、且有数据重叠的情况、普通散点图可视化效果变差的情况、提供了对六边形单元格的二元绑定、通过图例颜色标定每一个区域数据点的数量

    R语言使用hexbin包的hexbin函数可视化散点图.应对数据量太大.且有数据重叠的情况.普通散点图可视化效果变差的情况.hexbin函数提供了对六边形单元格的二元绑定.通过图例颜色标定每一个区域数 ...

  9. 《数据分析实战:基于EXCEL和SPSS系列工具的实践》一3.4 数据量太大了怎么办

    本节书摘来华章计算机<数据分析实战:基于EXCEL和SPSS系列工具的实践>一书中的第3章 ,第3.4节,纪贺元 著 更多章节内容可以访问云栖社区"华章计算机"公众号查 ...

  10. 灰色马尔科夫预测 matlab代码(数据量太少,有局限性)

    首先声明,本人只是个刚学matlab不到一周的纯小白,写灰色马尔科夫是因为数学建模培训练题的时候要用到,但是在网上找不到现成的能用的代码(啊没错,我就是那种白嫖党),而且找到的基本都是"付费 ...

最新文章

  1. pythonshellnohup_python nohup 实现远程运行不宕机操作
  2. vue keep-alive解决关闭标签动态缓存问题
  3. 清理Visual Studio2010产生的垃圾调试文件
  4. 两道关于JS的小考题(闭包与中间件)
  5. MyEclipse调试过程中遇到一个奇怪的问题
  6. hdu 1115 计算多边形重心
  7. java数据结构博客园_常见数据结构的Java实现
  8. .NET连接SAP系统专题:C#如何导入内文至SAP(十一)
  9. Zend Studio12.0配置Xdebug
  10. 转-Linux启动过程详解(inittab、rc.sysinit、rcX.d、rc.local)
  11. Labview温度采集系统
  12. 97年小伙“最牛简历”刷屏:面子算什么,我只想搞钱
  13. 数显之家快讯:【SHIO世硕心语】小聪明毁大前程,所有人都应该深思!
  14. Linux-各种UID
  15. android 屏蔽系统输入法自定义输入法的详解
  16. 俄罗斯黑产界淘宝运营人被美国抓捕,靠收租进账千万美元
  17. LQBv23-Python:三升序列
  18. windows7经典开机音乐_糖豆人加入索尼克皮肤;三国群英传8上线Steam;疑似PS5开机音效...
  19. 计算机专业毕业英文论文一万字,计算机专业毕业论文外文翻译2篇共15页.DOC
  20. 【python】python内置函数——print()打印输出信息

热门文章

  1. win7任务管理器快捷键是什么
  2. sql 查询语句总结
  3. 如何选择一个男孩儿的英文名字?
  4. win10双击运行.jar(JAVA环境安装)超详细过程
  5. 不会PS,如何在抖音制作PS教程短视频,变现方法如何?
  6. python:osmnx包下载城市路网数据
  7. 【ChatGPT】AI 2.0 时代:拥抱先进的生产力
  8. 用doss进入mysql_doss的基本操作命令
  9. GDPU C语言 天码行空10
  10. 盛世椿源为什么说余额宝有很大的危险?余额宝能跑赢通货膨胀吗?