1. 最大熵原理的定义

最大熵原理是概率模型学习的一个准则。

朴素表述：不要把所有的鸡蛋放在一个篮子里
严谨表述：在满足约束条件的模型集合中选取熵最大的模型

投资角度：风险最小
信息论角度：保留最大的不确定性，熵最大

2. 最大熵模型的定义

3. 模型求解

3.1 优化问题

3.2 模型学习：极大似然估计

最大熵模型的学习归结为对偶函数的极大化（极大似然估计：对数似然函数极大化）。

在约束最优化问题中，常常利用拉格朗日对偶性，将原始问题转换为对偶问题，通过求解对偶问题而得到原始问题的解。

通过将最大熵模型的学习问题转换为具体求解对数似然函数极大化或对偶函数极大化的问题后，最大熵模型可以写成更一般的形式：

3.3 模型学习的最优化算法

目标函数（对数似然函数）是光滑的凸函数，因此多种最优化的方法都适用。

常用的最优化算法有：改进的迭代尺度法、梯度下降法、牛顿法、拟牛顿法等。

参考教程

李航《统计学习方法》

【ML小结13】最大熵模型相关推荐

机器学习---最大熵模型（MEM）小结
当我们想要得到一个随机事件的概率分布时,如果没有足够的信息来完全确定其概率分布,那么最为保险的方法就是选择一个使得熵最大的分布. 最大熵模型 1.信息论知识 1.1信息熵的概念 1.2.条件熵 1 ...
95行代码实现最大熵模型训练
关于最大熵模型的介绍请看:http://www.cnblogs.com/hexinuaa/p/3353479.html 以下是GIS训练算法的python实现,代码不到100行. from colle ...
【机器学习基础】数学推导+纯Python实现机器学习算法22：最大熵模型
Python机器学习算法实现 Author:louwill Machine Learning Lab 最大熵原理(Maximum Entropy Principle)是一种基于信息熵理论的一般原理,在 ...
ANN：ML方法与概率图模型
一.ML方法分类: 产生式模型和判别式模型假定输入x,类别标签y - 产生式模型(生成模型)估计联合概率P(x,y),因可以根据联合概率来生成样本:HMMs - 判别式模型(判别 ...
【机器学习】LR与最大熵模型的关系
逻辑回归与最大熵模型MaxEnt的关系? 逻辑回归跟最大熵模型到底有啥区别呢? 简单粗暴的回答是:逻辑回归跟最大熵模型没有本质区别.逻辑回归是最大熵对应类别为二类时的特殊情况,也就是当逻辑回归类别扩 ...
【机器学习】最大熵模型（Maximum Entropy Model）
最大熵模型(Maximum Entropy Model,以下简称MaxEnt),MaxEnt 是概率模型学习中一个准则,其思想为:在学习概率模型时,所有可能的模型中熵最大的模型是最好的模型:若概率模型 ...
十、最大熵模型与EM算法
一.最大熵模型 1.熵联合熵和条件熵相对熵交叉熵互信息总结 2.最大熵模型二.EM算法(期望最大化算法) 三.GMM 一.最大熵模型 lnx<=x−1lnx<=x−1 lnx ...
06_LR和最大熵模型_统计学习方法
文章目录一.理解LR模型 1. 对数几率 2.函数映射 3.概率解释二.LR模型参数估计梯度下降求解最优参数多项逻辑斯谛回归(multi-nominal logistic regression ...
最大熵模型介绍及实现
转自:http://www.cnblogs.com/hexinuaa/p/3353479.html http://blog.csdn.net/hexinuaa/article/details/2471 ...
python3实现maxent 最大熵模型
使用python实现最大熵模型,在原来作者的基础上重写了predict, 增加了predict_proba()方法原作者:blog.csdn.net/slx_share/article/detail ...

【ML小结13】最大熵模型