机器学习中的距离/散度/熵
一、信息量
- 定义:用一个信息的编码长度。
- 性质:编码长度与出现的概率成负相关。(如:哈夫曼编码)
- 公式(0/1编码)
I=log2(1p(x))=−log2(p(x))I=\log_2(\frac{1}{p(x)})=-\log_2(p(x))I=log2(p(x)1)=−log2(p(x))
二、信息熵
- 定义:一个分布的信息量。(编码的平均长度/信息量的均值)
- 公式
H(p)=∑xp(x)log2(1p(x))=−∑xp(x)log2(p(x))H(p)=\sum_x{p(x)log_2(\frac{1}{p(x)})}=-\sum_x{p(x)\log_2(p(x))}H(p)=x∑p(x)log2(p(x)1)=−x∑p(x)log2(p(x))
三、交叉熵 cross-entropy
- 定义:用猜测的分布(p)(p)(p)的编码方式 编码 真实的分布(q)(q)(q),得到的平均编码长度/信息量均值。
因为参考的博客公式推导有冲突,有人认为p为真实分布,我暂且认为q为真实分布。\color{red}{因为参考的博客公式推导有冲突,有人认为p为真实分布,我暂且认为q为真实分布。}因为参考的博客公式推导有冲突,有人认为p为真实分布,我暂且认为q为真实分布。 - 公式
Hp(q)=∑xq(x)log2(1p(x))H_p(q)=\sum_x{q(x)\log_2(\frac{1}{p(x)})}Hp(q)=x∑q(x)log2(p(x)1) - 意义:不同分布之间的距离度量。
- 应用:最后的损失函数。(交叉熵 本质上相当于衡量两个编码方式之间的差值,只有当猜测的分布约接近于真实分布,其值越小)
具体说明,详见 信息量,信息熵,交叉熵,KL散度和互信息(信息增益),没太懂,以后遇到再细看\color{red}{没太懂,以后遇到再细看}没太懂,以后遇到再细看。
四、KL散度(相对熵)
- 别名:KL距离、相对熵。(D(q∣∣p)、Dq(p):q对p的相对熵D(q||p)、D_q(p):q对p的相对熵D(q∣∣p)、Dq(p):q对p的相对熵)
- 公式(相对熵=交叉熵-信息熵)
Dq(p)=Hq(p)−H(p)=∑xp(x)log2(p(x)q(x))D_q(p)=H_q(p)-H(p)=\sum_x{p(x)\log_2(\frac{p(x)}{q(x)})}Dq(p)=Hq(p)−H(p)=x∑p(x)log2(q(x)p(x)) - 意义:同一随机事件+不同分布 间的距离度量。
- 图示
- 性质(非负性):Dq(p)≥0D_q(p)\geq0Dq(p)≥0。
四、联合信息熵和条件信息熵
公式
a. 联合信息熵
H(X,Y)=∑x,yp(x,y)log2(1p(x,y))H(X,Y)=\sum_{x,y}p(x,y)\log_2(\frac{1}{p(x,y)})H(X,Y)=x,y∑p(x,y)log2(p(x,y)1)
b. 条件信息熵
H(Y∣X)=H(X,Y)−H(X)H(Y|X)=H(X,Y)-H(X)H(Y∣X)=H(X,Y)−H(X)
=∑xp(x)∑yp(y∣x)log2(1p(y∣x))=\sum_xp(x)\sum_yp(y|x)\log_2(\frac{1}{p(y|x)})=x∑p(x)y∑p(y∣x)log2(p(y∣x)1)
=∑x,yp(x,y)log2(1p(y∣x))=\sum_{x,y}p(x,y)\log_2(\frac{1}{p(y|x)})=x,y∑p(x,y)log2(p(y∣x)1)意义:联合分布是 同一个分布中 两变量相互影响的关系。
图示
五、互信息(信息增益)
- 定义:一个联合分布中 两个信息的纠缠程度/相互影响那部分的信息量
- 公式
I(X,Y)=H(X)+H(Y)−H(X,Y)I(X,Y)=H(X)+H(Y)-H(X,Y)I(X,Y)=H(X)+H(Y)−H(X,Y)
=H(Y)−H(Y∣X)=H(Y)-H(Y|X)=H(Y)−H(Y∣X) - 性质(非负性):I(X,Y)≥0I(X,Y)\geq0I(X,Y)≥0。
- 图示
- 应用:决策树。
六、variation of information
- 定义:联合分布(即同一个分布)两个变量相互影响的关系 。
- 公式
V(X,Y)=H(X,Y)−I(X,Y)V(X,Y)=H(X,Y)-I(X,Y)V(X,Y)=H(X,Y)−I(X,Y) - 意义:度量 不同随机变量间的差别。
V(X,Y)=0V(X,Y)=0V(X,Y)=0:说明这两个变量完全一致。
V(X,Y)V(X,Y)V(X,Y)值越大 说明两个变量越独立。
参考:
信息量,信息熵,交叉熵,KL散度和互信息(信息增益)
KL散度、JS散度、Wasserstein距离
一文搞懂散度(KL,MMD距离、Wasserstein距离)
机器学习中的距离/散度/熵相关推荐
- 机器学习中使用的交叉熵(cross entropy)透彻分析
从字面分析交叉熵,1是交叉.2是熵(熵与信息量有关):首先交叉熵涉及信息论里面的东西,想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解. (1)信息量 衡量信息量可以用大小或者多少来 ...
- 机器学习中的距离和损失函数
文章目录 13.1 距离度量 13.2 损失函数 13.1 距离度量 距离函数种类:欧式距离.曼哈顿距离.明式距离(闵可夫斯基距离).马氏距离.切比雪夫距离.标准化欧式距离.汉明距离.夹角余弦等 常用 ...
- 机器学习中的距离公式
1. 欧氏距离,最常见的两点之间或多点之间的距离表示法,又称之为欧几里得度量,它定义于欧几里得空间中,如点 x = (x1,...,xn) 和 y = (y1,...,yn) 之间的距离为: (1)二 ...
- 转载 漫谈机器学习中的距离和相似性度量方法
ref http://blog.jobbole.com/84876/ 转载于:https://www.cnblogs.com/jiajiaxingxing/p/4530037.html
- 一文总览机器学习中各种【熵】的含义及本质
https://www.toutiao.com/a6681435530564993544/ 2019-04-19 11:02:15 机器学习领域有一个十分有魅力的词:熵.然而究竟什么是熵,相信多数人都 ...
- 机器学习中的损失函数(交叉熵损失、Hinge loss)
损失函数 文章目录 损失函数 1 交叉熵损失 1.1 从最大似然估计到交叉熵损失 概率论中的MLE 机器学习中的MLE 交叉熵损失 1.2 多分类的交叉熵损失函数 1.3 比较 2. Hinge lo ...
- 一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉
关于交叉熵在loss函数中使用的理解 交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距.以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用起 ...
- 机器学习中的分类距离
https://www.toutiao.com/a6710061523777094151/ 生活中,距离通常是用于形容两个地方或两个物体之间的远近.在人工智能机器学习领域,常使用距离来衡量两个样本之间 ...
- 机器学习中的数学——距离定义(二十):相对熵(Relative Entropy)/KL散度(Kullback-Leibler Divergence)
分类目录:<机器学习中的数学>总目录 相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
- 机器学习中的数学——距离定义(九):测地距离(Geodesic Distance)
分类目录:<机器学习中的数学>总目录 相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
最新文章
- php 判断上传的是否是图片,php图片上传检测是否为真实图片格式
- 【正则表达式】值匹配汉字的正字表达式
- 第7章 PCA与梯度上升法
- php sockent通信
- Mirantis Certification summary
- 【移植驱动到Linux3.4.2内核之一】移植DM9000C网卡驱动
- python用http协议传数据_《Python网络爬虫》1.3 HTTP协议基础知识
- C#.Net工作笔记014---C#中internal的意思
- Microsoft Data Access Components(MDAC) 结构以及一些连接SQL数据库的架构基础
- 编程实现激光雷达点云数据提取道路特征
- c语言图书管理实验报告,图书管理系统c语言程序设计实验报告
- puttygen convert ppk file to xshell key file
- Winform程序多种语言切换
- Python实现Pollard rho 算法用来求解离散对数问题
- dubbo中 provider和 comsumer端timeout的设置区别
- sql cast 和convert用法详解
- 共享充电宝投放餐饮行业收益如何?
- 免费体验,快速对接身份证实名认证API接口说明
- 小米平板5pro修改全比例、90帧率和1080p画质
- phpts以及nts版本到底该怎么选择
热门文章
- android sh 指令_Android ADB Shell命令解析
- 基于数据报套接字的服务器回射程序设计_套接字Socket的常见面试题及答案
- 【渝粤教育】国家开放大学2018年春季 0706-21T行政管理学导论 参考试题
- pku2406 Power Strings(kmp字符匹配,next数组)
- Baxter实战 (一)ubuntu14.04安装ROS-Indigo
- 【ABAP系列】SAP ABAP 总结常用术语简称解析
- 【转】IT从业人员必看的10个论坛
- 对MVC设计模式的理解
- System.ComponentModel.Win32Exception (0x80004005):拒绝访问。——解决办法
- 微信支付需要证书认证时报“出现了内部错误”