信息论的基本概念和熵的计算

最近学习过信息论，想分享下个人学习得一些对知识和理解同时希望能够帮助下需要帮助的同学

1 基本概念

信号：信号是消息的物理体现，为了在信道上传输消息，就必须把消息转换成信号，比如：电信号、光信号、声信号。

消息：在电话、广播、电视等中传输的是各种各样的消息。消息是指包含有信息的语言、文字和图像等，能被人们的感觉器官所感知。消息描述的是某事物状态的具体内容。

信息：表示事物的运动状态和状态变化的方式，是抽象的意识或者知识，是看不见、摸不着的。得到消息后，人在大脑中形成自己的理解，自己的感受，就是信息。

2、什么叫信息，信息的作用是什么？

信息就是我们日常获取的东西，常常对一件事情的判断存在不确定性，那如何来衡量我们获取的信息量的大小呢，可以通过信息量的大小来衡量

原先的不确定性全部被消除了，就表示获得了全部的信息，不存在不确定性了

不确定性和可能性是有联系的，可能性大就意味着不确定性小；可能性小就意味着不确定性大，

概率越小——不确定性越大——所获得信息量大

概率越大——不确定性越小——所获得信息量小（说明对信息掌握少）

举个栗子：明天太阳从西边出来，当我们看到这样的消息时，我们所获得的信息量就越大，因为发生的概率小，或者说巴西赢得世界杯冠军，听到这则消息，我们获取的信息量反而小，因为它赢球的概率大，所以不确定性小。

所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。

自信息量的大小的计算：有个计算公式，公式：I(x0)= −log(p(x0))，计算自信息量的时候，通常题目会给出概率p(x0),直接带入进行求对数，就可以求出自信息量的大小，这里的log是以2为底对数。在后面的学习还会出现其它的底数例如：

自信息量的单位（取决于对数的底）底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”；底为10，单位为“哈特（hat）

3、消息、信息与信号的区别

消息（message）指的是信号要传递的内容是本质。消息是指包含有信息的语言、文字、和图像。

信号（shusignal）是是消息传递的形式，比如是电信号、光信号等，是载体。

信息（information）是指传达给人的消息，能消除受信者的某些不确定性（让它对事情有更好的了解）。信息是指各个事物运动的状态及状态变化的方式。

4、联系

消息是信息的形式，信息是消息的内容，而信号则是消息的表现形式。

信息论中的一个基本术语是熵。“熵”代表了一个系统的无序程度。在信息论中，熵告诉我们观察到的事件x中包含的信息量。事件的概率为p（x），信息以位为单位进行存储，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。

5、熵的单位

单位取决于定义用到对数的底。当b =2，熵的单位是bit；当b =e，熵的单位是nat；而当b =10,熵的单位是 Hart。

这个图在第一章和后面的学习都很重要，主要是理解它的运算和含义，对于熵的基本性质，大家可以自行去学习，下面说说对这个图的理解

左边的H(X)表示的是左边这个大圆，表示的是H(X)的熵，右边的H(Y)表示的是右边这个大圆，表示的是H(Y)的熵。H(XY)表示的是联合熵，它们的是圆圈区域范围是两个圆圈，I(X;Y)表示的是两者相交的区域，H(X|Y）,H(Y|X）都是表示条件熵，H(X|Y）则表示在已知Y的条件下求X的，已知Y后，从Y上得到了一些关于X的信息，从而使X的不确定度下降。H(Y|X）则表示在已知X的条件下求Y,从而Y的不确定度下降.常见的计算如下

从图中可以看出，条件熵求解有两种方法：

①可以通过联合熵 - 熵（ H(X|Y) = H(X, Y) - H(Y) ）表示，

②也可以通过熵 - 互信息（ H(X|Y) = H(X) - I(X; Y) ）表示。

信息论的基本概念和熵的计算相关推荐

java计算信息熵_熵的计算
1.什么是熵,这里只谈计算机领域的信息熵 2.举例,以做选择题为例 3.代码,用Java代码来计算熵,还是计算上图的例子 package net.highersoft.ml; public class ...
热力学的核心概念——能量熵
** 热力学的核心概念--能量熵 ** 热力学是研究物质在温度.压力.体积和能量等宏观条件下的热现象和功学现象的一门学科.在热力学中,能量熵是一个非常重要的物理量,是描述系统混乱程度的量度.它不仅在热 ...
信息论常见概念：熵、互信息、KL散度和信息增益
文章目录信息论在机器学习中的常见概念 1. 信息量 2. 熵 3. 联合熵 4. 条件熵 5. 相对熵 6. 互信息 7. 信息增益公式与推导信息论在机器学习中的常见概念信息的不确定度表示. ...
网络布线的概念和IP的计算
网络布线与IP计算一.IP的基本概念 1.什么是子网? 2.什么是主机位? 3.子网的计算公式 4.主机位的计算公式 5.可用IP的公式二.网络布线 1.双绞线 2.双绞线的分类 3.双绞线的标准 ...
信息论复习—信息论的基本概念
信息的概念: 古代的信息技术: 现代的信息技术信息与消息的关系: 消息:用文字.符号.数据.语言.音符.图片.图像等能够被人们感觉器官所感知的形式,把客观物质运动和主观思维活动的状态表达出来就称为消 ...
用Python实现城市方向熵的计算
引言第一次写CSDN的博客,就先给大家介绍如何安装osmnx模块(让人很头疼),以及利用osmnx和geopandas采集openstreetmap上的城市街道数据并且计算和可视化街道的方向熵,教程 ...
【高项备考】挣值计算概念、公式、计算学习
推荐阅读 CSDN主页 GitHub开源地址 Unity3D插件分享简书地址我的个人博客 QQ群:1040082875 一.前言最近准备备考信息系统项目管理师,将学习的东西总结一下. 总是学了就 ...
纹理特征描述之灰度差分统计特征（平均值对比度熵）计算和比较两幅纹理图像的灰度差分统计特征 matlab代码实现
灰度差分统计特征有: 平均值: 对比度: 熵: i表示某一灰度值,p(i)表示图像取这一灰度值的概率 close all;clear all;clc; % 纹理图像的灰度差分统计特征 J = imre ...
[例题详解]真值机器数概念 | 原码反码补码移码概念及加减计算
目录真值和机器数原码反码补码移码对比记忆 | 原反补移码加减法 | 原码补码结语 | 大学生学习复习资料真值和机器数真值:-5.+10 机器数(带符号数)(= 符号位 [0 ...
matlab程序图像灰度差分,纹理特征描述之灰度差分统计特征（平均值对比度熵）计算和比较两幅纹理图像的灰度差分统计特征 matlab代码实现...
灰度差分统计特征有: 平均值: 对比度: 熵: i表示某一灰度值,p(i)表示图像取这一灰度值的概率 close all;clear all;clc; % 纹理图像的灰度差分统计特征 J ...

信息论的基本概念和熵的计算

信息论的基本概念和熵的计算相关推荐

最新文章

热门文章