置信度

这里的置信度指的是T分布上临界值对应的置信度，通过相关系数和自由度求临界值的公式为：
t=rn−21−r2t=\frac{r \sqrt{n-2}}{\sqrt{1-r^{2}}} t=1−r2rn−2
其中n-2是自由度，r是相关系数，t是t分布的临界值。

T分布

数据

数据大概是这样的，共有F0-F308这些组数据，8万多行，对每组数据的两列求相关系数，再通过相关系数求出t的临界值，得出相关系数对应的置信度。

代码

// An highlighted block
# -*- coding: utf-8 -*-
"""
Created on Fri Oct 18 11:06:15 2019@author: ChenW
"""import math
import pandas as pd
import numpy as np
from scipy.stats import t
#T分布的临界值
percents = [0.200,0.150,0.100, 0.050, 0.025, 0.020, 0.010, 0.005, 0.0025,0.001,0.0005]
tfb = np.array([t.isf(percents, df=i) for i in range(0, 10000)])
#print (t)
dft = pd.DataFrame(tfb,columns=['60%','70%','80%', '90%','95%','96%','98%','99%','99.5%',"99.8%","99.9%"])
#dft.to_csv('T-distribution.csv',index = None) def confidence(r,n):                    return (r*(math.sqrt(n-2))/(math.sqrt(1-r*r)))path = r'C:\Users\gxn-pc\Desktop\correlation\new308\newdata308.csv'
file = open (path,'rb+')
df = pd.read_csv(file,index_col='JoinTXT')
#print(df)
df['count'] = 0
df['correlation'] = 0.0000
for i in range(0,327):filename = "F%d"%iprint(i)j = 0for index,row in df.iterrows():        if index == filename:j += 1A = df.loc[filename]['TR_LST'] B = df.loc[filename]['TR_EVI']ab = np.array([A, B]) dfab = pd.DataFrame(ab.T,columns=['A', 'B'])c = dfab.A.corr(dfab.B) df.loc[filename,'correlation'] = cdf.loc[filename,'count'] = j
#            print(j)
#            print(c)else:pass
df2 = df['count']
df3 = df['correlation']
#print(df2)
df3 = pd.concat([df2,df3], axis=1)
if df3.duplicated:dataF=df3.drop_duplicates()
print(dataF)
n = dataF['count']
r = dataF['correlation']
t = [0 for x in range(0, 308)]
for i in range(0,308):t[i] = confidence(r[i],n[i])
print(t)
dataF['T'] = t
a3 = [0 for x in range(0, 308)]
j = 0
a4 = ['<=60%','70%','80%', '90%','95%','96%','98%','99%','99.5%',"99.8%","99.9%"]
for i in range(0,308):for index,row in dft.iterrows():if index == n[i]-2 :a1 = dft.ix[index,'60%':'99.9%']for j in range(0,11):if a1[j] >= abs(t[i]) and j!=0:print(j)j = a4[j-1]a3[i] = j                     breakif a1[10] < abs(t[i]) :a3[i] = a4[10]breakif a1[0]>=abs(t[i]):a3[i] = a4[0]breakelse:pass
dataF['P'] = a3
dataF.to_csv('XJG.csv',header=True,index=True)

结果

通过相关系数和自由度求置信度相关推荐

Matlab概率统计编程指南
Matlab概率统计编程指南第4章概率统计本章介绍MATLAB在概率统计中的若干命令和使用格式,这些命令存放于MatlabR12\Toolbox\Stats中. 4.1 随机数的产生 4.1.1 ...
假设检验2_t分布的应用
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮 ...
特征选择：概述与方法
不知各位读者是否遇到这种情形:在一项机器学习工作中,千方百计地变换模型并调整参数,但收效甚微:后经高人指点,对进入模型的特征做了一些修改后,即使用了最基础的模型,其效果也有如脱胎换骨.这似乎在暗示我们 ...
推断统计python化(参数估计，假设检验与 t检验)
目录 1.参数估计 1.1 点估计 1.2 区间估计 1.2.1 区间估计概述 1.2.2 区间估计的方法 1.3 进行区间估计的Python函数 2. 案例分析 3. 假设检验 3.1 假设检验概述 ...
基于PCA的故障诊断方法（matlab）
1. PCA原理分析 PCA的原理主要是将原始数据进行降维.其具体工作原理参照:CodingLabs - PCA的数学原理 2. 数据预处理训练数据集(只有正样本)为维数据,即有n个采样值,每个采样 ...
【程序员眼中的统计学（12）】相关与回归：我的线条如何？ (转)
阅读目录目录 1 算法的基本描述 2 算法的应用场景. 3算法的优点和缺点 4 算法的输入数据.中间结果以及输出结果 5 算法的代码参考 6 共享相关与回归:我的线条如何? 作者白宁超 2015 ...
python 卡方分箱算法_python实现二分类的卡方分箱示例
解决的问题: 1.实现了二分类的卡方分箱: 2.实现了最大分组限定停止条件,和最小阈值限定停止条件: 问题,还不太清楚,后续补充. 1.自由度k,如何来确定,卡方阈值的自由度为分箱数-1,显著性水平 ...
正态分布概率表_三、统计概率思维
一.误差思维(只要有估计,就会有误差) 1.误差永远存在,并且不可避免. 2.多次测量用平均值的统计方式取得结果,尽量避免偶然因素的影响. 二.置信区间(误差范围) 1.统计学最核心思想:用样本信息估 ...
灰色关联与TOPSIS法 —— python
目录 1.简介 2.算法详解 2.1 指标正向化及标准化 2.2 找到最大最小参考向量 2.3 计算与参考向量的相关系数 2.4 求评分 3.实例分析 3.1 读取数据 3.2 数据标准化 3.3 得 ...
灰色关联与TOPSIS法 —— matlab
目录 1.简介 2.算法详解 2.1 指标正向化及标准化 2.2 找到最大最小参考向量 2.3 计算与参考向量的相关系数 2.4 求评分 3.实例分析 3.1 读取数据 3.2 数据标准化 3.3 得 ...

通过相关系数和自由度求置信度

通过相关系数和自由度求置信度

相关系数

置信度

T分布

数据

代码

结果

通过相关系数和自由度求置信度相关推荐

最新文章

热门文章