负熵(看了好久，竟然这么简单,哎！…

今天看数据挖掘建立判定树的部分，被熵折磨得很痛苦，看了这篇博客稍微懂了一些，数学不好还是码农的孩纸桑不起啊！文章转载自chl033http://blog.csdn.net/chl033/article/details/4795154

首先明确一下熵的概念，虽然它是一个热力学度量，但是现在已经广泛应用在了数据分析的方方面面。

熵（ectropy）指的是体系的混乱程度，是体系的转台函数，其值与达到状态的过程无关（所以才可以用来预测啊），下面是正经的了

【概率与信息】

事件A的概率P(A)是A发生可能性的大小的度量。

P(A)越大，则A发生带来的信息越少；反之，P(A)越小，则A发生带来的信息越大。(点睛之笔啊,hoho)

例子:有人对你说“某日巴西足球队战胜了中国队”，你觉得他没有给你多少信息，因为这件事发生的概率非常大，结果几乎在预料当中。但如果他说巴西负于某个亚洲队，你会感觉得到的信息不少。

猜想

1. 事件A发生所带来的信息量H(A)应该是它发生的概率P(A)的严格减函数，而且A是必然事件时H(A)=0（“巴西队战胜中国队”）。

2. 若事件A与事件B相互独立，则A与B都发生带来的信息量应该是H(A)与H(B)之和，即H(AB)=H(A)+H(B)

【引理】

设Ｈ（ｕ）是（0,1）上的严格减函数，H(1)=0，则为了满足H(uv)=H(u)+H(v)，对于一些的00，使得H(u)=-c*ln(u)(c是一个正的常数，它的大小涉及信息量的单位，为了简单起见，一般取c=1)

定义1——信息量表示

设事件A的概率是P(A),P(A)>0,则称H(A)=-lnP(A)为A带来的信息量；

定义2——完备事件组的熵

设A1到An（n>=2）是条件S下的完备事件组，P(Ai)>0,对i=1，…n，则称P(A1,…An)=sumP（Ai）lnP(Ai)，为完备事件组A1…An的熵。（Very Important）

【定理】

设A1到An（n>=2）是完备事件组，则当且仅当P(A1)=…P(An)时熵最大。

即，若条件S下可能发生的互不相容的事件至少有两个，则当且仅当这些事件有相等的概率的时候结果的不确定性最大。

负熵(看了好久，竟然这么简单,哎！…相关推荐

恢复网站降权的方法！某宝花200块买的，方法竟然这么简单？
大家好,我是王听风相信很多人都知道网站降权了,收录低,权重低真的脑壳痛,对于网站降权我之前才做网站的时候花200买的经验,今天无偿分享给大家,有不有用大家可以参看这个思路. 恢复网站降权的方法!某宝花 ...
基于python的界面自动化测试-Python实现性能自动化测试竟然如此简单
一.思考❓❔ 1.什么是性能自动化测试? 性能系统负载能力超负荷运行下的稳定性系统瓶颈自动化测试使用程序代替手工提升测试效率性能自动化使用代码模拟大批量用户让用户并发请求多页面多用户并发请求采集参数, ...
怎么自学python自动化测试-Python实现性能自动化测试竟然如此简单
一.思考❓❔ 1.什么是性能自动化测试? 性能系统负载能力超负荷运行下的稳定性系统瓶颈自动化测试使用程序代替手工提升测试效率性能自动化使用代码模拟大批量用户让用户并发请求多页面多用户并发请求采集参数, ...
python自动化测试-Python实现性能自动化测试竟然如此简单
一.思考❓❔ 1.什么是性能自动化测试? 性能系统负载能力超负荷运行下的稳定性系统瓶颈自动化测试使用程序代替手工提升测试效率性能自动化使用代码模拟大批量用户让用户并发请求多页面多用户并发请求采集参数, ...
看电影经常遇到的简单口语
看电影经常遇到的简单口语 Absolutely!-- 绝对正确! Adorable! -- 可爱极了! Amazing! -- 太神了! Anytime! -- 随时吩咐! Almost! -- 差不 ...
99%的程序员都在用Lombok，原理竟然这么简单？我也手撸了一个！|建议收藏！！！...
世界上只有一种英雄主义,就是看清生活的真相之后依然热爱生活. 对于 Lombok 我相信大部分人都不陌生,但对于它的实现原理以及缺点却鲜为人知,而本文将会从 Lombok 的原理出发,手撸一个简易版的 ...
99%的程序员都在用Lombok，原理竟然这么简单？
作者 | 老王责编 | 郭芮对于 Lombok 我相信大部分人都不陌生,但对于它的实现原理以及缺点却鲜为人知,而本文将会从 Lombok 的原理出发,手撸一个简易版的 Lombok,让你理解这个热 ...
用UPUPW配置服务器环境竟然这么简单
多年没有配置服务器了,为了开发一个项目,不想让别人看代码,就自己用UPUPW在三丰云免费云服务器[ www.sanfengyun.com],开始以为会费周章,会有许多参数设置.可没想到会这么简单. 第 ...
动态代理竟然如此简单！
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 这篇文章我们来聊一下 Java 中的动态代理. 动态代理在 ...

负熵(看了好久，竟然这么简单,哎！…

负熵(看了好久，竟然这么简单,哎！…相关推荐

最新文章

热门文章