点互信息PMI（Pointwise Mutual Information）
点互信息PMI（Pointwise Mutual Information）
记录看论文遇到的一个知识点Pointwise Mutual Information
PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性（比如两个词）。
其原理很简单，公式如下：
在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x,y)就相比于p(x)p(y)越大。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度，这里的越相关是指越正相关！ 因为条件概率越大，关联性就越高（指正相关）。上面这句话可以这样理解，如果在条件y发生的情况下，x发生的概率为1，那么就说明x事件包含了y事件（注意不能是y事件包含了x事情，两者正相关。如果如果在条件y发生的情况下，x发生的概率为0，那么是不是x和y就互斥。
这里的log来自于信息论的理论，可以简单理解为，当对p(x)取log之后就将一个概率转换为了信息量（要再乘以-1将其变为正数），以2为底时可以简单理解为用多少个bits可以表示这个变量。
点互信息PMI其实就是从信息论里面的互信息这个概念里面衍生出来的。其衡量的是两个随机变量之间的相关性，即一个随机变量中包含的关于另一个随机变量的信息量。所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和，而点互信息只是对其中两个点进行相关性判断。因此，点互信息这个名字还是很形象的。
互信息即：
例子
点互信息例子
点互信息PMI（Pointwise Mutual Information）相关推荐
- 机器学习中的数学——距离定义（二十九）：点间互信息（Pointwise Mutual Information, PMI）
分类目录:<机器学习中的数学>总目录 相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
- 机器学习特征筛选：互信息法（mutual information）
机器学习特征筛选:互信息法(mutual information) 互信息法多为分类问题的分类变量的筛选方法 经典的互信息也是评价定性自变量对定性因变量的相关性的,为了处理定量数据,最大信息系数法被提 ...
- 条件互信息（conditional mutual information，CMI）
文章目录 定义 see also 定义 条件互信息 I ( X , Y ∣ Z ) I(X, Y|Z) I(X,Y∣Z)定义如下: I ( X , Y ∣ Z ) = ∑ z ∈ Z p Z ( z ...
- 【词的分布式表示】点互信息PMI和基于SVD的潜在语义分析
学习心得 (1)为了解决高频词误导计算机结果的问题(如"我"."."与其他词的共现频次很高,以至于有些木有关系的词语之间也会产生联系,即相似度)--用PMI ( ...
- NLP之【点互信息PMI】——衡量两变量之间的相关性
点互信息PMI--衡量两变量之间的相关性 绪论 一.PMI的基本概念 二.调用Python nltk来计算两个词的PMI 三.根据词语的共现频次表自定义PMI函数计算 附录:nltk.download ...
- 互信息（Mutual Information）的介绍
互信息,Mutual Information,缩写为MI,表示两个变量X与Y是否有关系,以及关系的强弱. 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: No ...
- Mutual Information
今天挺paper reading的时候,听到了最大化互信息,还不清楚互信息是个什么东东,google了一下,从 http://en.wikipedia.org/wiki/Mutual_informat ...
- 点互信息(PMI)预测utterance关键词
PMI(Pointwise Mutual Information) 机器学习相关文献中,可以看到使用PMI衡量两个变量之间的相关性,比如两个词,两个句子.原理公式为: 在概率论中,如果x和y无关,p( ...
- 论文解读（GMI）《Graph Representation Learning via Graphical Mutual Information Maximization》
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/cou ...
- 互信息（Mutual Information）
本文根据以下参考资料进行整理: 1.维基百科:https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 2.新浪博客:http://blog. ...
最新文章
- Xamarin.Forms教程下载安装JDK配置环境变量
- No module named import_export.admin
- python中exit的作用_python __enter__ 与 __exit__的作用，以及与 with 语句的关系
- 物联网第一台设备是烤面包机？
- 如何成为云原生时代的卓越架构师
- 视觉SLAM十四讲学习笔记-第四讲-李代数求导与扰动模型
- 链表查找java_Java 实例 – 链表元素查找
- 希尔排序java代码_希尔排序及希尔排序java代码
- 港澳台手机号正则表达式，区号+手机
- maccms10自动播放下一集
- 用VB打造个人版恺撒密码转换器
- springboot项目配置视图解析器无效的问题
- 鸿蒙系统，鸿蒙app简易登录界面，界面开发教程
- 你也还在找程序员外包平台吗？有这几个就足够了！
- 接口自动化测试之接口测试基础
- AndroBench手机性能测试【转】
- Android模拟Windows10,windows10模拟器
- mysql服务器手册_MySQL手册
- 利用jsp写输入表单制作简历
- Mysql utf8mb3 utf8mb4 与UTF8 字符集参数（character_set_system）的说明