一致性检验 -- Kappa 系数

一、Kappa 检验方法

在做数据分析时，我们经常会面临一致性检验问题，即判断不同的模型或者分析方法在预测结果上是否具有一致性、模型的结果与实际结果是否具有一致性等。另外，一致性检验在临床实验中也有着广泛的应用。对于两个或多个医务工作者对同一病人给出的诊断结论进行一致性检验，英文叫 interrater reliability; 对同一医务工作者多次诊断结论的一致性检验，英文叫 intrarater reliability。

摘自：http://wenku.baidu.com/view/f1061c165f0e7cd18425361d.html

二、计算方法

Kappa 系数有带加权和不带加权两种计算方法，分别对应 SAS 的简单Kappa系数和加权Kappa系数（Simple Kappa Coefficient, Weighted Kappa Coefficient）。

先看不带加权的公式：

带加权的公式：

注：线性权重和平方权重分别对应SAS中的Cicchetti-Allison权重和Fleiss-Cohen权重，默认情况下使用Cicchetti-Allison权重。

以上公式来自 http://www.physther.org/content/85/3/257.full（英文资料，介绍地比较全面）

三、统计检验方法

Kappa 只是一个统计量，存在抽样误差。 Kappa/ASE 近似服从标准正态分布，据此可以得出 Kappa 统计量的置信区间。

四、如何使用 SAS 做 Kappa 分析？

1）两种评测方法评分范围一致的情况

data equalranges;
input  rater1    rater2;
datalines;
  1         1
  1         2
  1         2
  1         1
  2         2
  2         2
  2         1
  2         2
;
run;

proc freq data=equalranges;
tables rater1*rater2/agree nopercent nocol norow;
run;

输出结果：

注：对于 2*2 的列联表，加权Kappa系数等于简单Kappa系数。SAS FREQ 过程步只有当列联表大于2*2表时才显示加权Kappa系数。

（For 2*2 tables, the weighted kappa coefficient equals the simple kappa coefficient. PROC FREQ displays the weighted kappa coefficient only for tables larger than 2*2.）

2）两种评测方法评分范围不一致的情况 -- 使用 Weight 语句加 zeros 选项（请参考 UCLA 大学的网站：http://www.ats.ucla.edu/stat/sas/faq/kappa.htm）

data unequalranges;
input  rater1    rater2;
datalines;
  1         1
  1         1
  1         1
  1         1
  2         2
  2         2
  2         2
  2         2
  3         2
  3         2
  3         2
  3         2
;
run;

data unequalranges;
  if _n_=1 then do;
  rater1 =3;
  rater2 = 3;
  weight = 0;
  output;
  end;
  set unequalranges;
  weight = 1;
  output;
run;

proc freq data=unequalranges;
tables rater1*rater2;
test kappa;
weight weight / zeros;
run;

输出结果：

SAS 的 FREQ 过程步可用于 Kappa 一致性检验，代码共有两种写法，数值都一样，只是分析结果的展现形式不太一样。

TEST KAPPA 语句

proc freq data= unequalranges;
  tables rater1*rater2;
  test kappa;
  weight weight / zeros;
run;

输出结果：

TABLES 语句中的 AGREE 选项
proc freq data= unequalranges;
tables rater1*rater2/agree nopercent nocol norow;
weight weight / zeros;
run;

输出结果：

下面的代码仅用于手算验证简单KAPPA系数的计算结果（理解任何一种计算公式的最好办法是手算一遍，当然要基于小数据来计算）：
ods output simplekappa = simplekappa;
proc freq data= unequalranges;
tables rater1*rater2/agree nopercent nocol norow;
weight weight / zeros;
run;

data kappa_diy;
set simplekappa(keep=label1 nvalue1);
where label1='ASE';
po=(4+4)/12;
pe=(4*4+8*4)/12**2;
kappa = (po-pe)/(1-pe);
kappa_lower = kappa+probit(0.025)*nvalue1;
kappa_upper = kappa+probit(0.975)*nvalue1;
put _all_;
run;

输出结果：

Label1=ASE nValue1=0.155902

po=0.6666666667

pe=0.3333333333

kappa=0.5

kappa_lower=0.1944369283
kappa_upper=0.8055630717

下面介绍一下如何将 Kappa 统计量保存在 SAS 数据集中便于后续的分析和使用。

1) 保存简单Kappa系数

ods output SimpleKappa = SimpleKappa;

2) 保存加权Kappa系数
ods output WeightedKappa = WeightedKappa;

代码如下：

ods output SimpleKappa = SimpleKappa;
ods output WeightedKappa = WeightedKappa;
proc freq data= unequalranges;
  tables rater1*rater2;
  test kappa;
  weight weight / zeros;
run;

五、经验

1） Weighted kappa penalizes disagreements in terms of their seriousness, whereas unweighted kappa treats all disagreements equally. Unweighted kappa, therefore, is inappropriate for ordinal scales.

2） Landis and Koch45 have proposed the following as standards for strength of agreement for the kappa coefficient:

and .81–1=almost perfect.

六、参考资料

http://www.cis.udel.edu/~carberry/CIS-885/Papers/DiEugenio-Kappa-Second-Look.pdf

http://www.agreestat.com/research_papers/kappa_statistic_is_not_satisfactory.pdf

http://www.chestx-ray.com/statistics/kappa.html

http://david.abcc.ncifcrf.gov/helps/linear_search.html

http://rss.acs.unt.edu/Rdoc/library/epicalc/html/kap.html （R，我这里就不介绍了，大家有兴趣的自己看看）

一致性检验 -- Kappa 系数相关推荐

Kappa系数简单介绍
kappa系数是统计学中度量一致性的指标, 值在[-1,1]. 对于评分系统, 一致性就是不同打分人平均的一致性; 对于分类问题,一致性就是模型预测结果和实际分类结果是否一致. kappa系数的计算是 ...
CSDN ARIMA R语言_R语言实现Fleiss#39; Kappa系数处理多个观察者一致性检验
Fleiss' kappa系数.该检验适用于分析重复测量3次及以上且测量结果是无序分类变量的重测一致性或观察者一致性检验.SPSS没有内置操作模块,但可以通过拓展包输出结果.Fleiss' kappa ...
（笔记）Kappa系数混淆矩阵
遥感图像的分类解译结果往往需要一定的精度评价指标进行精度验证,只有进行精度验证,我们才能知道分类解译的结果是否准确可靠. Kappa系数就经常被用于影像分类的空间一致性检验,是一种衡量分类精度的指标. ...
每日一学 kappa系数
1.定义 Kappa系数用于一致性检验 ,也可以用于衡量分类精度 ,kappa系数的计算是基于混淆矩阵的. 2.具体例子 3.具体指标的分析 kappa计算结果为-1~1,但通常kappa是落在 ...
使用cohen kappa系数衡量分类精度
在诊断试验中,研究者希望考察不同诊断方法在诊断结果上是否具有一致性.如评价两个医务工作者对同一组病人的诊断结论的一致性.同一医务工作者对同一组病人前后进行两次观察作出诊断的一致性.1960年Cohen ...
kappa系数---学习笔记
kappa系数是一个用于一致性检验的指标,也可用于衡量分类的效果对于分类问题,所谓一致性就是模型预测结果和实际分类结果是否一致.kappa系数的计算是基于混淆矩阵的,取值为-1到1之间,通常大于0. ...
分类的性能度量（准确率、精确度、召回率、F1值、Kappa系数）
在运用机器学习或深度学习进行数据分类时,通常会用一些性能的指标来度量分类的效果.在这里我们介绍最常用的几种分类的性能度量指标(准确率.精确度.召回率.F1值.Kappa系数). 对于二分类问题,我们的 ...
[机器学习] 混淆矩阵和kappa系数
两篇非常非常优秀的博客 4.4.2分类模型评判指标(一) - 混淆矩阵(Confusion Matrix) Kappa系数
kappa系数在评测中的应用
◆版权声明:本文出自胖喵~的博客,转载必须注明出处. 转载请注明出处:http://www.cnblogs.com/by-dream/p/7091315.html 前言最近打算把翻译质量的人工评测好 ...
遥感影像单目标提取精度评价指标kappa系数的计算公式
原理介绍 1. kappa系数为一种精度评价指标,其计算公式为k=(p0-pe)/(1-pe) p0是每一类正确分类的样本数量之和除以总样本数,也就是总体分类精度 pe是各类真实样本个数与预测出来的 ...

一致性检验 -- Kappa 系数

一致性检验 -- Kappa 系数相关推荐

最新文章

热门文章