我就不信看完这篇你还搞不懂信息熵
我就不信看完这篇你还搞不懂信息熵
https://mp.weixin.qq.com/s/7NrB0UtmELXD3UNO3C6jGA
让我们说人话!好的数学概念都应该是通俗易懂的。
信息熵,信息熵,怎么看怎么觉得这个“熵”字不顺眼,那就先不看。
我们起码知道这个概念跟信息有关系。而它又是个数学模型里面的概念,一般而言是可以量化的。所以,第一个问题来了:信息是不是可以量化?
起码直觉上而言是可以的,不然怎么可能我们觉得有些人说的废话特别多,“没什么信息量”,有些人一语中的,一句话就传达了很大的信息量。
信息量与什么有关?
为什么有的信息量大有的信息量小?
有些事情本来不是很确定,例如明天股票是涨还是跌。如果你告诉我明天NBA决赛开始了,这两者似乎没啥关系啊,所以你的信息对明天股票是涨是跌带来的信息量很少。但是假如NBA决赛一开始,大家都不关注股票了,没人坐庄股票有99%的概率会跌,那你这句话信息量就很大,因为本来不确定的事情变得十分确定。
而有些事情本来就很确定了,例如太阳从东边升起,你再告诉我一百遍太阳从东边升起,你的话还是丝毫没有信息量的,因为这事情不能更确定了。
所以说信息量的大小跟事情不确定性的变化有关。
那么,不确定性的变化跟什么有关呢?
一、跟事情的可能结果的数量有关;二、跟概率有关。
先说一。
例如我们讨论太阳从哪升起。本来就只有一个结果,我们早就知道,那么无论谁传递任何信息都是没有信息量的。当可能结果数量比较大时,我们得到的新信息才有潜力拥有大信息量。
二,单看可能结果数量不够,还要看初始的概率分布。例如一开始我就知道小明在电影院的有15*15个座位的A厅看电影。小明可以坐的位置有225个,可能结果数量算多了。可是假如我们一开始就知道小明坐在第一排的最左边的可能是99%,坐其它位置的可能性微乎其微,那么在大多数情况下,你再告诉我小明的什么信息也没有多大用,因为我们几乎确定小明坐第一排的最左边了。
信息量应满足的特点
那么,怎么衡量不确定性的变化的大小呢?怎么定义呢?这个问题不好回答,但是假设我们已经知道这个量已经存在了,不妨就叫做信息量,那么你觉得信息量起码该满足些什么特点呢?
一,起码不是个负数吧,不然说句话还偷走信息呢~
二,起码信息量和信息量之间可以相加吧!假如你告诉我的第一句话的信息量是3,在第一句话的基础上又告诉我一句话,额外信息量是4,那么两句话信息量加起来应该等于7吧!难道还能是5是9?
三,刚刚已经提过,信息量跟概率有关系,但我们应该会觉得,信息量是连续依赖于概率的吧!就是说,某一个概率变化了0.0000001,那么这个信息量不应该变化很大。
四,刚刚也提过,信息量大小跟可能结果数量有关。假如每一个可能的结果出现的概率一样,那么对于可能结果数量多的那个事件,新信息有更大的潜力具有更大的信息量,因为初始状态下不确定性更大。
那有什么函数能满足上面四个条件呢?负的对数函数,也就是-log(x)!底数取大于1的数保证这个函数是非负的就行。前面再随便乘个正常数也行。
a. 为什么不是正的?因为假如是正的,由于x是小于等于1的数,log(x)就小于等于0了。第一个特点满足。
b. 咱们再来验证一下其他特点。三是最容易的。假如x是一个概率,那么log(x)是连续依赖于x的。done
c。四呢?假如有n个可能结果,那么出现任意一个的概率是1/n,而-log(1/n)是n的增函数,没问题。
d。最后验证二。由于-log(xy) = -log(x) -log(y),所以也是对的。学数学的同学注意,这里的y可以是给定x的条件概率,当然也可以独立于x。
By the way,这个函数是唯一的(除了还可以多乘上任意一个常数),有时间可以自己证明一下,或者查书。
ok,所以我们知道一个事件的信息量就是这个事件发生的概率的负对数。
回到信息熵
最后终于能回到信息熵。
信息熵是跟所有可能性有关系的。每个可能事件的发生都有个概率。信息熵就是平均而言发生一个事件我们得到的信息量大小。所以数学上,信息熵其实是信息量的期望。(表达式参考下方)
至于为什么用“熵”这个怪字?大概是当时翻译的人觉得这个量跟热力学的熵有关系,所以就用了这个字,君不见字里头的火字旁?
而热力学为什么用这个字?这个真心不知道。。。
据 @林杰威 的说法:熵最早是由热力学定义的一个函数,是普朗克来中国讲学的时候引入的。英文是“entropy”这个字,中文词汇中没有相关的字眼。当时是一个有名的姓胡的学者作为普朗克的翻译。因为这个熵“S”是定义为热量Q与温度的比值,所以当时他翻译是立刻创造出熵这个字,从火,从商。
欢迎讨论指正。
来自:
滴水 - 知乎 - 信息熵是什么?
https://www.zhihu.com/question/22178202/answer/49929786
我就不信看完这篇你还搞不懂信息熵相关推荐
- 看完这篇文章还能不懂Flask这种Web框架吗?
2019独角兽企业重金招聘Python工程师标准>>> Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeu ...
- python装饰器原理-看完这篇文章还不懂Python装饰器?
原标题:看完这篇文章还不懂Python装饰器? 1.必备 2.需求来了 初创公司有N个业务部门,1个基础平台部门,基础平台负责提供底层的功能,如:数据库操作.redis调用.监控API等功能.业务部门 ...
- 看完这篇你还敢说分不清 Java 类 对象 实例 变量间的区别?
看完这篇你还敢说分不清 Java 类 对象 实例 变量间的区别? 什么是类? 什么是对象? 什么是变量? 对象和类的关系: Java中的类: Java中的对象 Java中的变量 Java 中调用 对象 ...
- 收藏!最详细的Python全栈开发指南 看完这篇你还不会Python全栈开发 你来打我!!!
Python Web全栈开发入门实战教程教程 大家好,我叫亓官劼(qí guān jié ),这个<Python Web全栈开发入门实战教程教程>是一个零基础的实战教程,手把手带你开 ...
- 程序异常异常代码: 0xc0000005_Java基础:看完这篇你还怕碰到异常吗?
前言 在日常的开发以及平时的学习练习中,异常相信对于大家来讲并不陌生,但是对于异常的具体使用.底层实现以及分类等等可能并不是很了解.今天我就抽出了一点时间系统的整理了异常的各个知识点,希望能够帮助到大 ...
- 大写的服,看完这篇你还不懂RocketMQ算我输
目录 RocketMQ介绍 RocketMQ概念 为什么要用RocketMQ? 异步解耦 削峰填谷 分布式事务最终一致性 数据分发 RocketMQ架构 RocketMQ消息类型 普通消息 顺序消息 ...
- mq幂等mysql_膜拜!看完这篇你还不懂RocketMQ算我输
RocketMQ 介绍 Apache RocketMQ 是一款 低延迟.高并发.高可用.高可靠的分布式消息中间件.消息队列 RocketMQ 可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备 ...
- 【JVM系列3】方法重载和方法重写原理分析,看完这篇终于彻底搞懂了
深入分析Java虚拟机中方法执行流程及方法重载和方法重写原理 前言 思考 栈帧 局部变量表(Local Variables) 操作数栈(Operand Stacks) 动态连接(Dynamic Lin ...
- MySQL的MVCC机制看完这篇你还不懂,算我输
前言 MySQL中大名鼎鼎的MVCC机制想必大家都有所耳闻吧,虽然在平时MySQL使用过程中基本上用不到,但是面试中出场率十分高,而且作为架构师的你也是需要知道它的工作机制.那么你对MVCC机制了解多 ...
最新文章
- DevXpress 控件: 第一篇: 将 Master_Details 关系进行到底--XtraPivotGridControl控件
- python class 属性是什么_python class 的属性
- c语言仿ce内存搜索工 源代码_C语言函数库:动态库和静态库优缺点比较
- 重写数组的方法(改变原数组)
- Cocoa Touch 层
- Jenkins+GitHub+Xcode+fir搭了一个持续集成环境
- http://www.cnblogs.com/ITtangtang/archive/2012/05/21/2511749.html
- 【初级04】JVM线程模型
- 虚控件在GUI编程中的应用
- 求生之路2服务器无线跳,求生之路连跳宏 | 手游网游页游攻略大全
- r 选取从小到大的数据_r 选取表格的一列数据库
- Problem L: 卡拉兹猜想
- C语言:窗口控制台颜色改变(不断换色)
- QT 带 进度条 解压缩文件方法 - QuaZip
- chromium中的GN构建系统
- ELM饿了么获取COOKIE教程附吃货豆脚本
- 强烈给大家推荐一款简单好用免费的甘特图项目进度管理工具-进度猫
- 程序人生 - 为什么下载,经常会卡在99%?
- python机器人编程 乐高_孩子还能加分?少儿编程可以实现!编程机器人和编程有什么区别?...
- 注册会计师考试让用计算机,注册会计师考试让不让带计算器?能带什么样的?...
热门文章
- 直播活动丨BMMeetup第2期:大模型计算加速技术,2场特邀和7位青年学者技术报告联袂上演...
- 今天,向 6 女性程序员先驱致敬
- 番茄工作法发明人作序推荐《番茄工作法图解》
- 【干货书】Python金融分析,714页pdf掌握数据驱动金融
- 李飞飞AI100报告提出14大AI机遇与挑战(附pdf)
- Linux 批量kill死进程
- 斩获“卡脖子”领域世界冠军!这支华科战队全网刷屏,平均年龄24岁
- 免高考!2021清华北大保送名单公布,五大学科竞赛260人获保送资格
- 谷歌正式开源Model Search!自动优化并识别AI模型,最佳模版唾手可得
- 【顶会资源汇总】2020最新视觉描述生成文献大列表