条件互信息（conditional mutual information，CMI）

2024-04-16 19:34:06

文章目录

定义
see also

定义

条件互信息 I ( X , Y ∣ Z ) I(X, Y|Z) I(X,Y∣Z)定义如下：
I ( X , Y ∣ Z ) = ∑ z ∈ Z p Z ( z ) ∑ y ∈ Y ∑ x ∈ X p X , Y ∣ Z ( x , y ∣ z ) log ⁡ p X , Y ∣ Z ( x , y ∣ z ) p X ∣ Z ( x ∣ z ) p Y ∣ Z ( y ∣ z ) I(X, Y|Z)=\sum_{z\in Z}p_Z(z)\sum_{y \in Y}\sum_{x \in X} p_{X,Y|Z}(x,y|z)\log \frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)} I(X,Y∣Z)=z∈Z∑pZ(z)y∈Y∑x∈X∑pX,Y∣Z(x,y∣z)logpX∣Z(x∣z)pY∣Z(y∣z)pX,Y∣Z(x,y∣z)
也有：
I ( X , Y ∣ Z ) = ∑ z ∈ Z ∑ y ∈ Y ∑ x ∈ X p X , Y , Z ( x , y , z ) log ⁡ p Z ( z ) p X , Y ∣ Z ( x , y ∣ z ) p X , Z ( x , z ) p Y , Z ( y , z ) I(X, Y|Z)=\sum_{z\in Z}\sum_{y \in Y}\sum_{x \in X} p_{X,Y,Z}(x,y,z)\log \frac{p_{Z}(z)p_{X,Y|Z}(x,y|z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)} I(X,Y∣Z)=z∈Z∑y∈Y∑x∈X∑pX,Y,Z(x,y,z)logpX,Z(x,z)pY,Z(y,z)pZ(z)pX,Y∣Z(x,y∣z)

see also

集智百科：条件互信息

条件互信息（conditional mutual information，CMI）相关推荐

概率机器学习中的互信息（Mutual Information）
1.Mutual Information概念互信息是信息论中用以评价两个随机变量之间的依赖程度的一个变量 2.信息论的基础概念信息量: 是对某个时间发生的概率的度量,通常来讲一个事件发生的概率越低 ...
互信息（Mutual Information）
本文根据以下参考资料进行整理: 1.维基百科:https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 2.新浪博客:http://blog. ...
互信息（Mutual Information）介绍
在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度.不同于相关系数,互信息并不局限于实值随 ...
双目立体匹配经典算法之Semi-Global Matching（SGM）概述：匹配代价计算之互信息（Mutual Information，MI）...
半全局立体匹配算法Semi-Global Matching,SGM由学者Hirschmüller在2005年所提出1,提出的背景是一方面高效率的局部算法由于所基于的局部窗口视差相同的假设在很多情况 ...
互信息（Mutual Information）的介绍
互信息,Mutual Information,缩写为MI,表示两个变量X与Y是否有关系,以及关系的强弱. 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: No ...
信息熵、条件熵、联合熵、互信息和条件互信息
目录 1. 信息熵 2. 联合熵 3. 条件熵 4. 互信息 5. 条件互信息 6. 参考文章 1. 信息熵信息熵是用于度量信息量大小的指标. 设 XXX 是一个随机变量,则 XXX 的信息熵定义为 ...
特征选择方法详解Part2-卡方检验、互信息(Mutual Information)
Content 1. 单变量分析 1.1 卡方检验 1.1.1 原理 1.1.2 使用示例 1.2 互信息(Mutual Information) 1.2.1 原理 1.2.1.1 互信息(Mutua ...
信息论领域内的计算方法仿真，Mutual Information，互信息；
Mutual Information,互信息: 互信息,刻画的是两个变量间的相互作用: 公式如下: 要理解互信息,首先得搞懂什么是条件熵. ------ 条件熵,指的是: 条件熵的基础是,条件概率.条 ...
计算两个向量的互信息(Mutual Information) matlab程序
互信息,Mutual Information,缩写为MI,用来计算两个变量X与Y是否有关系,以及关系的强弱 function [Ixy,lambda]=MutualInfo(X,Y) %% % Est ...

最新文章

热门文章