http://leijun00.github.io/2014/07/information-theory/

https://www.cnblogs.com/fantasy01/p/4581803.html

相对熵就是KL散度，表示q分布和p分布有多接近，越小越接近，就是p，q两者之间的交叉熵减去p自己的熵要越小，说明p，q两者之间的交叉熵就相当于是p自己的熵。p，q相同，则就相当于是p一个分布的熵。

H(p,q)即为交叉熵

表示2个函数或概率分布的差异性：差异越大则相对熵越大，差异越小则相对熵越小，特别地，若2者相同则熵为0。注意，KL散度的非对称性。

https://blog.csdn.net/u014465639/article/details/71637477

互信息

互信息其实就是所说的信息增益。

https://blog.csdn.net/tsyccnh/article/details/79163834

http://www.cnblogs.com/ooon/p/5707889.html

等有时间再彻底整理一下

【机器学习基础知识】各类熵总结相关推荐

机器学习基础知识之概率论的随机变量及其分布
❤️机器学习基础知识❤️之概率论的❤️随机变量及其分布❤️ 文章目录 ❤️机器学习基础知识❤️之概率论的❤️随机变量及其分布❤️ 一.随机变量以及其分布 1.连续变量 2.离散变量 3.概率密度二. ...
机器学习——基础知识
机器学习--基础知识机器学习概述机器学习(Machine Learning,ML) 是使用计算机来彰显数据背后的真实含义,它为了把无序的数据转换成有用的信息.是一门多领域交叉学科,涉及概率论.统 ...
机器学习基础知识之概率论的Matlab描述概率的图像（一）
机器学习基础知识之概率论的Matlab描述概率的图像(一) (由于有很多的分布,而且还有一维分布以及多维分布,因此,我们一篇博文写下来的话内容量太大,文章太长,因此,我们分三次写完所有的基本的一维以及 ...
一次性掌握机器学习基础知识脉络 | 公开课笔记
来源 | AI科技大本营在线公开课嘉宾 | 张相於整理 | suiling 本次公开课AI科技大本营邀请到了阿里巴巴的高级算法专家张相於,他将从数据的概率分布开始介绍机器学习核心概念之间的有机关系 ...
什么是 ML.NET？应该如何理解机器学习基础知识？
ML.NET 是一个免费的开源跨平台机器学习框架,可用于生成自定义机器学习解决方案并将其集成到 .NET 应用程序. 借助 ML.NET API,可以使用你已有的 .NET 技能将 AI 结合到应用中 ...
独家 | 机器学习基础知识梳理，新手必备！（附链接）
翻译:吴金笛校对:丁楠雅本文约4000字,建议阅读16分钟. 本文介绍了机器学习以及几个易与其混淆的术语,并给出了几个机器学习的应用. 介绍在过去的几年里,人们对机器学习重新产生了兴趣. 这种复 ...
一次性掌握机器学习基础知识脉络 | 百万人学AI
我们这次分享的题目叫做<机器学习第二次入门>.我先简单自我介绍一下,我现在在做算法工作,在阿里做高级算法专家,主要关注的领域是在推荐系统.机器学习.金融风控这些方面. 本次分享包括三个内容 ...
今晚直播 | 一次性掌握机器学习基础知识脉络
机器学习第二次入门 AI科技大本营在线公开课第15期主题:机器学习第二次入门时间:9月6日(今晚) 20:00-21:00 入群福利:讲师交流+PPT分享+抽奖送书扫码添加小助手,备注:机器学习 ...
机器学习基础知识总结！
机器学习定义机器学习(Machine Learning)本质上就是让计算机自己在数据中学习规律,并根据所得到的规律对未来数据进行预测. 机器学习包括如聚类.分类.决策树.贝叶斯.神经网络.深度学习( ...
5分钟就能轻松入门的机器学习基础知识
机器学习定义机器学习(Machine Learning)本质上就是让计算机自己在数据中学习规律,并根据所得到的规律对未来数据进行预测. 机器学习包括如聚类.分类.决策树.贝叶斯.神经网络.深度学习( ...

【机器学习基础知识】各类熵总结

http://leijun00.github.io/2014/07/information-theory/

互信息

【机器学习基础知识】各类熵总结相关推荐

最新文章

热门文章