python计算矩阵的散度_python 3计算KL散度（KL Divergence）

KL Divergence

KL( Kullback–Leibler) Divergence中文译作KL散度，从信息论角度来讲，这个指标就是信息增益(Information Gain)或相对熵(Relative Entropy)，用于衡量一个分布相对于另一个分布的差异性，注意，这个指标不能用作距离衡量，因为该指标不具有对称性，即两个分布PP和QQ，DKL(P|Q)DKL(P|Q)与DKL(Q|P)DKL(Q|P)计算的值一般不相等，若用作距离度量，一般需要对公式加以修改，后文讲到。

KL Divergence的计算公式为

对于离散分布

DKL(P|Q)=∑iP(i)logP(i)Q(i)

DKL(P|Q)=∑iP(i)log⁡P(i)Q(i)

对于连续分布

DKL(P|Q)=∫∞−∞p(x)logp(x)q(x)dx

DKL(P|Q)=∫−∞∞p(x)log⁡p(x)q(x)dx

程序

利用python 3计算

import numpy as np

import scipy.stats

# 随机生成两个离散型分布

x = [np.random.randint(1, 11) for i in range(10)]

print(x)

print(np.sum(x))

px = x / np.sum(x)

print(px)

y = [np.random.randint(1, 11) for i in range(10)]

print(y)

print(np.sum(y))

py = y / np.sum(y)

print(py)

# 利用scipy API进行计算

# scipy计算函数可以处理非归一化情况，因此这里使用

# scipy.stats.entropy(x, y)或scipy.stats.entropy(px, py)均可

KL = scipy.stats.entropy(x, y)

print(KL)

# 编程实现

KL = 0.0

for i in range(10):

KL += px[i] * np.log(px[i] / py[i])

# print(str(px[i]) + ' ' + str(py[i]) + ' ' + str(px[i] * np.log(px[i] / py[i])))

print(KL)

---------------------

作者：hfut_jf

来源：CSDN

原文：https://blog.csdn.net/hfut_jf/article/details/71403741

python计算矩阵的散度_python 3计算KL散度（KL Divergence）相关推荐

python计算矩阵对角线之和_Python练习题 028：求3*3矩阵对角线数字之和
[Python练习题 028] 求一个3*3矩阵对角线元素之和 ----------------------------------------------------- 这题解倒是解出来了,但总觉得 ...
python科学计算是什么意思_Python科学计算和数据分析（NumPy详细介绍）
本文介绍的科学计算.数据分析必备基础知识. 本文全文约2600字,阅读时间约15分钟,请你耐心观看. 本文使用的开发环境是Python3.8,Numpy版本是1.19,本文的例子全部经过验证,你可以直 ...
python矩阵sin计算器_Python科学计算工具
Python科学计算工具-Numpy入门 2017.07.02 20:29:14字数 1,404阅读 2,509 一:前言学了中国大学mooc的Python数据分析与展示课程感觉挺不错的,记录下来以 ...
python计算矩阵对角线之和_Python练习实例38 | 求3*3矩阵主对角线元素之和
刚拿到这道题,可能还有不少的小伙伴们不知道3*3主对角元素是哪几个. 其实很简答,就是3*3矩阵当中的第1个.第5个以及第9个的元素之和. 矩阵.jpg 接下来,show code! # 求3*3矩阵 ...
python的科学计算库有哪些_Python科学计算库-Numpy
NumPy 是 Python 语言的一个扩充程序库.支持高级大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库,也是学习 python 必学的一个库. 1. 读取文件 numpy.gen ...
python科学计算模块有什么_Python科学计算—numpy模块总结（1）
作为一个本科学数学专业,目前研究非线性物理领域的研究僧.用什么软件进行纯科学计算好,Fortran永远是第一位的:matlab虽然很强大,可以很容易的处理大量的大矩阵,但是求解我们的模型(有时可能是几 ...
python中符号计算输出数学_Python科学计算与数据处理—符号运算库.doc
Python 科学计算与数据处理 - 符号运算库符号运算库目录从示例开始欧拉恒等式球体体积数学表达式符号数值运算符和函数符号运算表达式转换和简化方程目录微分方程积分其他函数符号运算库. 它的目标 ...
python时间差转换成天数_Python实现计算两个时间之间相差天数的方法
本文实例讲述了Python实现计算两个时间之间相差天数的方法.分享给大家供大家参考,具体如下: #-*- encoding:UTF-8 -*- from datetime import date im ...
python判断正负的函数_Python |在计算操作的函数内将负数转换为正数？
我一直在寻找将负数转换为正数,我发现了一些东西,但没有成功.. 这是一个来自在线Python页面的练习,我正在学习Python. 我希望你明白这一点. 这是去洛杉矶旅行,我用功能计算钱,但现在有一个问 ...

python计算矩阵的散度_python 3计算KL散度（KL Divergence）

python计算矩阵的散度_python 3计算KL散度（KL Divergence）相关推荐

最新文章

热门文章