信息论知识——基础梳理

一条信息的信息量与其不确定性有着直接的关系，想要量化这种不确定性，需要引入信息论的相关概念，通常来说：
（1）非常可能发生的事件信息量要比较少
（2）较不可能发生的事件具有更高的信息量
（3）独立事件应具有增量的信息（成倍增加）
下面，我们定义一个事件的自信息为：

I(x)=-logP(x).

用来衡量单一事件发生时所包含的信息量多少（log的底数可以取e或2，对应单位不同，但二者结果相差常数倍。那么自然会想到是否有互信息呢？当然，互信息可用来衡量两个随机事件的相关性。假定有随机事件X和Y，互信息定义为：

该式反映了H(X)，H(X|Y)两者间的差异。通俗来讲，互信息是在了解其中一个Y的前提下，对消除另一个X不确定性所提供的信息量。当二者独立时，取值为0，当X和Y完全相关时，该式取的最大值，即事件A的自信息量。
下面，我们详细介绍H(X)，H(X|Y)是什么。
进一步，如果我们需要衡量正个概率分布中的不确定性呢？使用的工具便是信息熵（又叫香农熵）了，定义如下：

该式给出了某分布所产生的期望信息总量，对应着对依据概率分布P生成的符号进行编码所需的比特数在平均意义上的下界。
H(X|Y)被称作条件熵，反映了在知道随机事件Y条件下，随机事件X的不确定性，定义为：

H(X,Y)为联合熵，定义为：

若果想要对同一变量x的两个单独的概率分布P(x)和Q(x)，可以使用KL散度(又叫相对熵)来衡量两个分布的差异

由公式不难发现，相对熵是不对称的，即D_KL (P||Q) ≠D_KL (Q||P)。关于该式，我们只需明白相对熵的用途，并且其结果的大小随着比较函数差异的增大而变大。
一个和KL散度密切联系的是交叉熵，可以用来衡量模型分布与真实分布之间的差异，定义为
该式和KL散度很像，只是缺少了左边一项，针对Q最小化交叉熵等价于最小化KL散度

信息论知识——基础梳理相关推荐

Java SE 基础知识体系梳理
## Java SE 基础知识体系梳理 ----------day01------------- (1)计算机的体系结构 (2)Java语言的概述 (3)开发环境的搭建和使用 1.计算机的体系结构(常 ...
HTML5的基础知识的梳理及常用标签
HTML5的基础知识的梳理及常用标签 1.HTML5的介绍前端:展示页面.与用户交互 - HTML 后端:数据的交互和传递 - JavaEE/JavaWeb 1.前端开发的工作模式网页的组成部分( ...
Docker | Docker技术基础梳理(五) - Docker网络管理
Docker | Docker技术基础梳理(五) - Docker网络管理链接: 原文链接原文链接: https://gitbook.cn/books/5b8f3c471966b44b00d265 ...
【机器学习】ICA 原理以及相关概率论，信息论知识简介
看完了sparse coding,开始看ICA模型,本来ng的教程上面就只有一个简短的介绍,怎奈自己有强迫症,爱钻牛角尖,于是乎就搜索了一些ICA的介绍文章(都是从百度文库中搜来的),看完之后感觉这个 ...
前端Q知识体系梳理与面试准备直播回顾
PS:关注前端Q公众号,回复直播 ,可获得直播所有资料及录播视频- PS:体系图中对应的知识点可以直接链接过去的地址为:https://github.com/LuckyWinty/blog,点击阅读 ...
python的知识体系_最新Python知识体系梳理
课程目录 Day01 Python教程:01.前提概要.wmv Python教程:02.Python基础复习.wmv Python教程:03.Python基础复习.wmv Python教程:04.Py ...
2019软件测试工程师技能树知识全面梳理
https://mp.weixin.qq.com/s/V9wT3yIX1zysDqh3ODL08A 2019软件测试工程师技能树知识全面梳理 Batkid2018 51Testing软件测试网软件测 ...
计算机二级公共基础知识2017,2017年计算机二级公共基础知识基础试题
2017年计算机二级公共基础知识基础试题随着微处理机的迅速发展,计算机广泛应用于工业.农业.文化教育.卫生保健.服务行业.社会公用事业等.yjbys小编收集了一些关于计算机二级公共基础知识基础试题, ...
python基本程序结构有几种_python基础梳理（一）（推荐）
一.python程序的组成表达式:建立并且处理数据对象且能返回数据对象的引用关系示例:1 + 2 系统会产生1和2俩个对象,并且进行处理生产对象3,将对象3返回回去. 二.核心的数字类型 1.整型 ...

信息论知识——基础梳理

信息论知识——基础梳理相关推荐

最新文章

热门文章