Python数据可视化:幂律分布
1、公式推导
对幂律分布公式:
对公式两边同时取以10为底的对数:
令,且为常数,所以公式变为:
所以对于幂律公式,对X,Y取对数后,在坐标轴上为线性方程。
2、可视化
从图形上来说,幂律分布及其拟合效果:
对X轴与Y轴取以10为底的对数。效果上就是X轴上1与10,与10与100的距离是一样的。
对XY取双对数后,坐标轴上点可以很好用直线拟合。所以,判定数据是否符合幂律分布,只需要对XY取双对数,判断能否用一个直线很好拟合就行。常见的直线拟合效果评估标准有拟合误差平方和、R平方。
3、代码实现
#!/usr/bin/env python
# -*-coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
from scipy.stats import norm
def DataGenerate():
X = np.arange(10, 1010, 10) # 0-1,每隔着0.02一个数据 0处取对数,会时负无穷 生成100个数据点
noise=norm.rvs(0, size=100, scale=0.2) # 生成50个正态分布 scale=0.1控制噪声强度
Y=[]
for i in range(len(X)):
Y.append(10.8*pow(X[i],-0.3)+noise[i]) # 得到Y=10.8*x^-0.3+noise
# plot raw data
Y=np.array(Y)
plt.title("Raw data")
plt.scatter(X, Y, color='black')
plt.show()
X=np.log10(X) # 对X,Y取双对数
Y=np.log10(Y)
return X,Y
def DataFitAndVisualization(X,Y):
# 模型数据准备
X_parameter=[]
Y_parameter=[]
for single_square_feet ,single_price_value in zip(X,Y):
X_parameter.append([float(single_square_feet)])
Y_parameter.append(float(single_price_value))
# 模型拟合
regr = linear_model.LinearRegression()
regr.fit(X_parameter, Y_parameter)
# 模型结果与得分
print('Coefficients: \n', regr.coef_,)
print("Intercept:\n",regr.intercept_)
# The mean square error
print("Residual sum of squares: %.8f"
% np.mean((regr.predict(X_parameter) - Y_parameter) ** 2)) # 残差平方和
# 可视化
plt.title("Log Data")
plt.scatter(X_parameter, Y_parameter, color='black')
plt.plot(X_parameter, regr.predict(X_parameter), color='blue',linewidth=3)
# plt.xticks(())
# plt.yticks(())
plt.show()
if __name__=="__main__":
X,Y=DataGenerate()
DataFitAndVisualization(X,Y)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
---------------------
作者:kevinelstri
来源:CSDN
原文:https://blog.csdn.net/kevinelstri/article/details/52685934
版权声明:本文为博主原创文章,转载请附上博文链接!
Python数据可视化:幂律分布相关推荐
- excel中读取数据拟合幂律分布
首先要做的是绘制CDF或者PDF,概率密度分布图和概率分布图,cdf其实就是pdf求导后的结果.有了概率分布图对x和y同时取对数,就知道是不是幂律分布了. 我的数据只有一列,用pandas读进来就行了 ...
- 幂律分布(python)
幂律分布 1.幂律分布 首先要说的是中心极限定理--在复杂的多因素情况下,只要个体相互独立,集体效果就应该是正态分布.然而实际运用中,尤其是金融中,更多面对的是尖峰胖尾现象,比如下面这幅图描述的是标普 ...
- 幂律分布的参数估计方法及R实现
幂律分布 幂律分布出现在许多自然以及人为的现象中,如城市的人口.地震的强度以及停电的影响范围等.但其检验及特征描述可能由于长尾部分的波动以及幂律分布适用的范围而变得复杂,常用的方法,如最小二乘拟合,在 ...
- Python数据可视化系列之幂律分布
1.幂律分布 首先要说的是中心极限定理--在复杂的多因素情况下,只要个体相互独立,集体效果就应该是正态分布.然而实际运用中,尤其是金融中,更多面对的是尖峰胖尾现象,比如下面这幅图描述的是标普500指数 ...
- 详解幂律分布,以及用于重尾分布的Python库powerlaw的使用
详解幂律分布,以及用于重尾分布的Python包powerlaw 总述 幂律分布简要回顾 powerlaw库拟合效果 powerlaw库基本操作介绍 可视化 拟合范围 离散与连续数据 与其他分布比较 总 ...
- 从幂律分布到特征数据概率分布——12个常用概率分布
在机器学习领域,概率分布对于数据的认识有着非常重要的作用.不管是有效数据还是噪声数据,如果知道了数据的分布,那么在数据建模过程中会得到很大的启示. 首先,如下图所示8个特征数据概率分布情况(已经做归一 ...
- 从excel中读取数据,然后拟合幂律分布
主体思路和代码参考:https://blog.csdn.net/kevinelstri/article/details/52685934 幂律分布原理研究:https://blog.csdn.net/ ...
- python幂函数无序分布_Python:从幂律分布中生成随机数
numpy.random和scipy.stats中定义的幂律分布在数学意义上没有为负a定义,如 this question的答案中所解释的那样:由于奇点为零,它们不可规范化.所以,遗憾的是,数学说'不 ...
- 幂律分布图matlab代码,关于幂律分布,你还应该知道如何用代码实现!| 集智百科...
今天我们继续学习幂律分布的基本概念--幂律概率分布,以及如何用代码实现幂律分布.内容来自集智百科,集智百科是复杂系统领域的百科全书,涵盖复杂系统领域的基本概念(持续完善中). 我们正在组织撰写翻译相应 ...
最新文章
- About Javascript MVC
- vc调试 main的参数
- Mybatis的一对多查询
- 精品教程---Android应用程序框架
- Git 之五 通信协议(HTTPS、SSH、Git)、使用远程仓库(GitHub、GitLab、Gitee等)
- mysql32位主从复制安装包,MySQL安装-主从复制(5)
- java sqlserver 遍历_mysql和sqlserver循环插入数据
- Python入门--以主程序的方式运行,if __name__==‘__main__‘
- 利用格拉布斯准则,剔除异常数据
- Linux的使用_尚硅谷视频学习笔记
- ax200蓝牙驱动linux,AX200蓝牙驱动
- 两台计算机传输文件速度,两台电脑间如何快速传输几百个G的文件?使用这2个方法,方便极了...
- mysql默认字符核对_【sql查询与优化】5.使用字符串
- ios开发---URL Schemes 使用详解-app协议
- Salesforce的V2MOM工作法:明确企业在做什么
- 便利贴--14{GIF录制工具}
- F. 1.小W 的质数(prime)[欧拉筛再理解]
- 机器人操作系统ROS学习实战篇之------让小乌龟画矩形
- 2015 奇妙的数字
- qt designer 建qrc文件供Eric6使用步骤
热门文章
- Hadoop集群datanode磁盘不均衡的解决方案
- 谈谈我开发过的几套语音通信解决方案
- java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory解决方案
- ubuntu下连接mysql出现Access denied for user ‘rose‘@‘localhost‘ (using password: NO)的解决方法
- 如何在TypeScript中删除数组项?
- WebKit与event.layerX和event.layerY有关的问题
- Machine.Config在哪里?
- 如何检查Bash中是否设置了变量?
- 计算机操作系统(八)---虚拟存储器
- BZOJ5319 洛谷4559 LOJ2551:[JSOI2018]军训列队——题解