信息技术与计算科学（二）信息的度量

2024-04-17 00:04:58

关与作者更多博客请访问云里云外开源社区

文章目录

一、信息
- 自信息量：
- 信息熵：
- - 城市天气情况信息熵
  - 中英文字符的信息量（汉语才是真正的言简意赅呢）
- 案例答案

一、信息

信息就是不确定性的消除量香农<美>

显著特性：信息与概率有关

eg. 猜测2022年世界杯冠军球队（一共32只球队）

二分法，1/2,1/4,1/8,1/16，1/32。一共猜五次
将夺冠概率高的四队放入一组，其他所有球队放入另一组。猜3次

自信息量：

随机事件x,发生概率的对数的相反数。或者随机事件x带给我们的信息量。用I(x)表示，单位是bit 比特。

例如，事件x；掷骰子，六点朝上。概率P(x)=1/6。 $I(x_{i})=-log_{2}p(x_{i})$ 。I(x)=2.58(bit)以2为底，表示二进制（两种状态）。注意，下列计算结果均为近似值，这里以等号表示

事件y；小明今天吃饭了。P(x)=99.99%. I(y)=0.00015(bit)

事件z：某沿海地区发生海啸 P(z) = 0.01% I(z)=13.288(bit)

有关系式可以得出，概率与信息量呈负相关关系。一件事发生的概率越小，其信息量越大。在现实生活中也是一样，比如有人对你说，你们明天放长假，你肯定会想，这个信息量有点大。

信息熵：

设随机变量X取值于 $\left \{x _{i}|i=1,2,...,n \right \}$ , $x_{i}$ 出现的概率为 $p(x_{i})$ ， $\sum_{i=1}^{n}p(x_{i})=1$
那么所有可能事件 $x_{i}$ ，的自信息量 $I(x_{i})$ 的加权平均定义为随机变量X的信息熵，简称熵，记为H（X）。即：
$H(X)=\sum_{i=1}^{n}p(x_{i})I(x_{i})=-\sum_{i=1}^{n}p(x_{i})log_{2}p(x_{i})$
为方便起见，约定 $p(x_{i})=0$ 时， $p(x_{i})$ $log_{2}p(x_{i})=0$ 。

城市天气情况信息熵

城市/天气晴天阴天雨天
太原 0.8 0.15 0.05
晋中 0.4 0.3 0.3

设事件A为太原天气情况的事件，事件B为晋中天气情况的事件。那么其各自的信息熵是多少呢？大家动手试一试吧！答案在文末。

中英文字符的信息量（汉语才是真正的言简意赅呢）

我们常用的汉字有2500+，那么每个汉字的自信息量是I(汉字出现) = ㏒2 2500 = 11.3bit。而英文字母有26个， I(英文字母) = ㏒2 26 = 4.7bit。

而相同的表达含义，总信息量相等。字数上的差异为，字数 = 总信息量/每个字的信息量。早上好—Good morning

汉语表达比英语更加简洁

案例答案

H(A) = 0.884

H(B) = 1.571

信息技术与计算科学（二）信息的度量相关推荐

信息技术与计算科学（三）阿兰.图灵
关与作者更多博客请访问云里云外开源社区文章目录一.阿兰·麦席森·图灵二.图灵机三.图灵测试四.默默无闻的英雄信息技术革命历经四个阶段,数千年时间最终来到了计算机的时代.也是我们如今所处的时 ...
计算机科学与技术和信息与计算科学区别,信息与计算科学和计算机科学与技术有什么区别...
技校网专门为您推荐的类似问题答案问题1: 大学计算机专业与技校大专计算机学的有什么区别我的建议是,中专不如职高技校,虽然录取的分高,但其实很不合适的.中专的专业都很别扭,什么金融啦,会计啦,计算机 ...
信息与计算科学要学c语言吗,专业科代表 | 信息与计算科学到底是学什么的？...
本期有识之士三只猫信息与计算科学专业信息与计算科学专业,大部分人听到这个名字都会以为是学计算机的,要么就是电子信息一类的专业.然而,我们是根正苗红的数学系专业! 信息与计算科学原名为" ...
计算机类和信息与计算科学专业有什么区别,信息与计算科学专业主要学什么
信息与计算科学专业是近年来的热门专业,那么信息与计算科学专业主要学什么呢,以下是小编整理的信息与计算科学专业相关内容,供您参考与阅读. 信息与计算科学专业主要学什么信息与计算科学专业主要学习的课程有 ...
计算机专业可以考航空航天专业研究生吗,我是信息与计算科学专业的大二学生，想考北京航空航天计算机专业方向的研究生，那么从现在起我该做些什么...
我是信息与计算科学专业的大二学生,想考北京航空航天计算机专业方向的研究生,那么从现在起我该做些什么答案:4 信息版本:手机版解决时间 2019-10-05 23:10 已解决 2019-10-0 ...
中北大学计算机与信息技术学院,中北大学信息与计算科学专业
信息与计算科学(本科理工类学制四年) 培养目标:本专业培养具有良好的数学基础和数学思维能力,掌握信息科学.计算科学.运筹与控制论方面的基础知识和基本技能,受到科学研究的初步训练,能解决信息技术或科学与 ...
职业生涯规划计算机专业作文,信息与计算科学专业大学生职业生涯规划范文
信息与计算科学专业为理科专业,包括信息科学与计算数学两个方面.方向一是以计算机科学方面为主,数学方面为辅;方向二是以数学方面为主,计算机科学方面为辅. 一.自我分析 (1).我的性格特点我是一个时动 ...
信息与计算机科学是学什么的,信息与计算科学：你猜我是学计算？还是计算机？...
对于很多男生来说,学计算机专业是第一选择,这当中的原因大抵有两个:一是男生思维活跃,与电子产品打交道很容易:二是现在学技术很吃香,懂一门技术就等于就吃喝不愁了.但小编想,应该还有一个原因,那就是计算机 ...
【调剂】杭州电子科技大学圣光机计算科学与智能控制研究中心2022年考研预调剂信息公告...
公众号[计算机与软件考研]每天都会发布最新的计算机考研调剂信息! 点击公众号界面左下角的调剂信息或者公众号回复"调剂"是计算机/软件等专业的所有调剂信息集合,会一直更新的. 杭州电 ...

最新文章

热门文章