原标题：数据集相似度度量之KL&JS散度

一、KL散度

1、什么是KL散度

KL散度又叫相对熵，是描述两个概率分布差异的一种方法，有人将KL散度称为KL距离，但实际上它不满足距离概念中的两个条件，a、对称性，即D(P||Q)=D(Q||P); b、三角不等式；

2、有什么样的作用

模型效果好不好，在数据划分上大有讲究，如果训练集与测试集数据分布不满足同分布，模型表现必然不会太好，因此划分数据集之后对于两个数据分布验证变得非常重要，针对分类任务验证概率质量相似度，针对回归问题验证两者的概率密度相似度，两者分布越相似，相对熵越接近于0；

3、实现方式

a、离散性标签，各标签概率及相应对数求和操作

b、连续型标签，针对x的无个数区间概率及对数积分操作

fromsklearn importdatasets

fromcollections importCounter

importnumpy asnp

random_state= 32

defgetData(n_classes ,weights ,n_features ,n_samples):

train ,label=datasets.make_classification( n_classes=n_classes ,class_sep= 2,weights=weights ,n_features=n_features ,n_samples=n_samples ,random_state=random_state)

returntrain ,label

defcomputePdotLnP(p ,q ,I= True):

ifI:

returnp*np.log(p/q)

else:

returnp*np.log(p/q)* 0.01

defcomputeKL(train_label:np.array ,test_label:np.array):

KlValue= 0.0

n_train_label=Counter(train_label)

n_test_label=Counter(test_label)

forkey ,value inn_train_label.items():

p=value/train_label.shape[ 0]

q=n_test_label[key]/test_label.shape[ 0]

KlValue+=computePdotLnP(p ,q ,True)

returnKlValue

defcomputeSplitValue(label ,splitValue):

maxValue = np.max(label) + 0.1

minValue = np.min(label)

splitvalue = [i fori innp.arange(minValue ,maxValue ,splitValue)]

returnsplitvalue

defdataDiscretization(train_label ,label:np.array ,splitValue):

splitvalue=computeSplitValue(train_label ,splitValue)

splitDict={}

forrow inlabel:

fori inrange( len(splitvalue)- 1):

ifrow>=splitvalue[i] androw

ifsplitvalue[i] insplitDict:

splitDict[splitvalue[i]]+= 1

else:

splitDict[splitvalue[i]]= 1

returnsplitDict

defcomputeK_L(train_label:np.array ,test_label:np.array):

n_train_label=dataDiscretization(train_label ,train_label ,0.01)

n_test_label=dataDiscretization(train_label ,test_label ,0.01)

KlValue= 0.0

forkey ,value inn_train_label.items():

try:

p=value/train_label.shape[ 0]

q = n_test_label[key] / test_label.shape[ 0]

KlValue += np.abs(computePdotLnP(p ,q ,False))

except:

pass

return KlValue

train ,label_train=getData( n_classes= 2,weights=[ 0.1,0.9] ,n_features= 10,n_samples= 3000)

test ,label_test=getData( n_classes= 2,weights=[ 0.6,0.4] ,n_features= 10,n_samples= 3000)

print( "分类标签的KL散度",computeKL(label_train ,label_test))

label_train_value=np.random.rand( 100)

label_test_value=np.random.rand( 100)

print( "连续标签的KL散度",computeK_L(label_train_value ,label_test_value))

二、JS散度

1、JS散度与KL散度

之前有写过KL散度，KL散度由于不符合距离中的对称性，所以在KL散度的基础上进行了改进，形成了JS散度，

KL散度计算公式：KL(P||Q)=sum(P(i)*log(P(i)/Q(i))

JS散度计算公式：JS(P||Q)=0.5*KL(P||(P+Q)/2)+0.5*KL(Q||(P+Q))

2、Python实现(离散变量)

fromsklearn importdatasets

fromcollections importCounter

importnumpy asnp

random_state= 32

defgetData(n_classes ,weights ,n_features ,n_samples):

train ,label=datasets.make_classification( n_classes=n_classes ,class_sep= 2,weights=weights ,n_features=n_features ,n_samples=n_samples ,random_state=random_state)

returntrain ,label

defcomputePdotLnP(p ,m ,I= True):

ifI:

returnp*np.log(p/m)

else:

returnp*np.log(p/m)

defcomputeJS(train_label:np.array ,test_label:np.array):

KlValue= 0.0

n_train_label=Counter(train_label)

n_test_label=Counter(test_label)

forkey ,value inn_train_label.items():

p=value/train_label.shape[ 0]

q=n_test_label[key]/test_label.shape[ 0]

m=(p+q)/ 2

KlValue+= 0.5*computePdotLnP(p ,m ,True)+ 0.5*computePdotLnP(q ,m ,True)

returnKlValue

train ,label_train=getData( n_classes= 2,weights=[ 0.6,0.4] ,n_features= 10,n_samples= 3000)

test ,label_test=getData( n_classes= 2,weights=[ 0.6,0.4] ,n_features= 10,n_samples= 3000)

print( "分类标签的JS散度",computeJS(label_train ,label_test))

由于水平有限，请参照指正~返回搜狐，查看更多

责任编辑：