Python数据可视化系列之幂律分布
1.幂律分布
首先要说的是中心极限定理——在复杂的多因素情况下,只要个体相互独立,集体效果就应该是正态分布。然而实际运用中,尤其是金融中,更多面对的是尖峰胖尾现象,比如下面这幅图描述的是标普500指数的收益率分布,很明显的是,实际的收益率的分布和理想中的正态分布不一致,这就是所谓的尖峰胖尾特征,峰值更高,尾巴部分也拖的更长更厚。正是有了尖峰胖尾,可以想象,有些东西可以超出想象的大,并且出现这个的概率也非常大,这样的陡峭且延长很长的分布就是所谓的幂律分布(两个特征:陡峭,延长很长)。
2.公式推导
幂律分布就是概率密度函数服从幂函数的分布,对幂律分布公式:
对公式两边同时取以10为底的对数:
令:
且c为常数,所以公式变成:
所以对于幂律公式,对X,Y取对数后,在坐标轴上为线性方程。
3.可视化
从图形上来说,幂律分布及其拟合效果:
对X轴与Y轴取以10为底的对数。效果上就是X轴上1与10,与10与100的距离是一样的。
对XY取双对数后,坐标轴上点可以很好用直线拟合。所以,判定数据是否符合幂律分布,只需要对XY取双对数,判断能否用一个直线很好拟合就行。常见的直线拟合效果评估标准有拟合误差平方和、R平方。
4.代码实现
#!/usr/bin/env python
# -*-coding:utf-8 -*-import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
from scipy.stats import normdef DataGenerate():X = np.arange(10, 1010, 10) # 0-1,每隔着0.02一个数据 0处取对数,会时负无穷 生成100个数据点noise=norm.rvs(0, size=100, scale=0.2) # 生成50个正态分布 scale=0.1控制噪声强度Y=[]for i in range(len(X)):Y.append(10.8*pow(X[i],-0.3)+noise[i]) # 得到Y=10.8*x^-0.3+noise# plot raw dataY=np.array(Y)plt.title("Raw data")plt.scatter(X, Y, color='black')plt.show()X=np.log10(X) # 对X,Y取双对数Y=np.log10(Y)return X,Ydef DataFitAndVisualization(X,Y):# 模型数据准备X_parameter=[]Y_parameter=[]for single_square_feet ,single_price_value in zip(X,Y):X_parameter.append([float(single_square_feet)])Y_parameter.append(float(single_price_value))# 模型拟合regr = linear_model.LinearRegression()regr.fit(X_parameter, Y_parameter)# 模型结果与得分print('Coefficients: \n', regr.coef_,)print("Intercept:\n",regr.intercept_)# The mean square errorprint("Residual sum of squares: %.8f"% np.mean((regr.predict(X_parameter) - Y_parameter) ** 2)) # 残差平方和# 可视化plt.title("Log Data")plt.scatter(X_parameter, Y_parameter, color='black')plt.plot(X_parameter, regr.predict(X_parameter), color='blue',linewidth=3)# plt.xticks(())# plt.yticks(())plt.show()if __name__=="__main__":X,Y=DataGenerate()DataFitAndVisualization(X,Y)
Coefficients:
[-0.32608517]
Intercept:
1.0956477044386048
Residual sum of squares: 0.00303181
以上就是本篇文章的全部内容了,觉得对你有所帮助不妨点赞、分享、关注一波,欢迎大家在评论区提问、留言,更多学习资料及交流技术问题可以私信我,我会尽全力帮助大家!
Python数据可视化系列之幂律分布相关推荐
- 从excel中读取数据,然后拟合幂律分布
主体思路和代码参考:https://blog.csdn.net/kevinelstri/article/details/52685934 幂律分布原理研究:https://blog.csdn.net/ ...
- 「 Python数据可视化系列」5. 使用NumPy和Matplotlib进行数据可视化
来源 | 「Practical Python Data Visualization A Fast Track Approach To Learning Data Visualization With ...
- 使用matplotlib python数据可视化系列创建3d视频可视化
用MATPLOTLIB设计 (DESIGNING WITH MATPLOTLIB) Hi, we will give you an excellent technique to create 3D v ...
- 详解幂律分布,以及用于重尾分布的Python库powerlaw的使用
详解幂律分布,以及用于重尾分布的Python包powerlaw 总述 幂律分布简要回顾 powerlaw库拟合效果 powerlaw库基本操作介绍 可视化 拟合范围 离散与连续数据 与其他分布比较 总 ...
- Python数据可视化:幂律分布
1.公式推导 对幂律分布公式: 对公式两边同时取以10为底的对数: 令,且为常数,所以公式变为: 所以对于幂律公式,对X,Y取对数后,在坐标轴上为线性方程. 2.可视化 从图形上来说 ...
- excel中读取数据拟合幂律分布
首先要做的是绘制CDF或者PDF,概率密度分布图和概率分布图,cdf其实就是pdf求导后的结果.有了概率分布图对x和y同时取对数,就知道是不是幂律分布了. 我的数据只有一列,用pandas读进来就行了 ...
- Python数据分析学习系列 九 绘图和可视化
Python数据分析学习系列 九 绘图和可视化 资料转自(GitHub地址):https://github.com/wesm/pydata-book 有需要的朋友可以自行去github下载 信息可视化 ...
- 幂律分布(python)
幂律分布 1.幂律分布 首先要说的是中心极限定理--在复杂的多因素情况下,只要个体相互独立,集体效果就应该是正态分布.然而实际运用中,尤其是金融中,更多面对的是尖峰胖尾现象,比如下面这幅图描述的是标普 ...
- 从幂律分布到特征数据概率分布——12个常用概率分布
在机器学习领域,概率分布对于数据的认识有着非常重要的作用.不管是有效数据还是噪声数据,如果知道了数据的分布,那么在数据建模过程中会得到很大的启示. 首先,如下图所示8个特征数据概率分布情况(已经做归一 ...
最新文章
- java redis管理_优雅时间管理Java轻松做到,想学么?
- LIVE 预告 | 牛津胡庆拥:学习理解大规模点云
- React-引领未来的用户界面开发框架-读书笔记(一)
- 线性代数应该这样讲(四)-奇异值分解与主成分分析
- linux中PATH变量-详细介绍
- 垃圾回收算法与实现系列-GC 标记-清除算法
- redhat AS5 FTP虚拟用户配置(本地数据库方式认证)
- 做运动(Dijkstra+并查集+MST)
- android 电视 vob格式转换,旭日Android视频格式转换器
- WordPress相关二次开发教程篇,简单易学
- win10搜索框不能用的解决方案
- 史上最全最精美的ppt模板,这里有2000多套ppt,涵盖了各行各业的ppt类型,不管是在校用还是工作用,这里面都有!
- Xshell6软件分享
- 【前端 VUE】VUE 微信网页扫码登录(微信)
- Elasticsearch7.3.2+Kibana7.3.2+Ubantu16安装教程
- kafka的使用场景
- cocos2dx 4.0 环境搭建
- 苏菲的世界-part2
- 6.Redis单线程为什么这么快?
- java表格界面_Java自学-图形界面 表格
热门文章
- (四十四:2021.04.15)《Methodology Camp》——Chapter 2:Pieces
- qpython op怎么用_QPython OPAPP推广手机版下载
- steam战地5无法启动解决方法 战地1、5等EA游戏无法启动解决方法
- 3D模型欣赏:吸血鬼 角色 皮肤纹理跟身体的肌肉纹理自然流畅 值得参考
- 计算机图形相关资料(来自人人:数学的美学世界小站)
- 阻止QQ软件强制更新升级
- POI 导出横版A4word,并设置excel宽度(固定不变形)
- HashMap1.8源码解析
- OpenCV透视变换示例
- Qiskit随笔(2)——可视化