http://blog.csdn.net/pipisorry/article/details/52788947

对数线性模型log linear model

对数线性模型有：最大熵模型和逻辑斯谛回归。

特征和指示特征

对数线性模型的一般形式

[概率图模型原理与技术]

某小皮

对数线性模型的不同形式

因子图

将因子转换到对数空间，成为对数线性模型。

[PGM：无向图模型：马尔可夫网：对数线性模型]

最大熵模型

[最大熵模型The Maximum Entropy：模型] [最大熵模型：学习]

逻辑斯谛回归Logistic Regression

多类分类的LR模型生成的推导：（两类分类更简单，直接类比嘛）

lz：这里ak是对数表示的，而给定类条件概率密度p(x|ck)如高斯分布时，ak是通常是线性表示的，所以才叫对数线性模型吧。

因为ak通常可以使用线性表示，所以多类LR模型使用判别式直接定义成：

lz: 就是把一般形式中的feature特征fi(Di)定义为ak了。

LR模型的导出

lz也不知道LR模型怎么来的，不过lz总结了几种都可以解释的方面：

1 回归模型+logistic函数直接得到

2 最大熵模型的特例，即直接将特征f(x, y)设为X=x（即在所有X=x的值上搞一个权重w）。

3 广义线性模型导出[对数线性模型之一(逻辑回归), 广义线性模型学习总结]

4 生成式模型+高斯形式的类条件概率分布得到

from: http://blog.csdn.net/pipisorry/article/details/52788947

ref:

对数线性模型：逻辑斯谛回归和最大熵模型相关推荐

机器学习理论《统计学习方法》学习笔记：第六章逻辑斯谛回归与最大熵模型
机器学习理论<统计学习方法>学习笔记:第六章逻辑斯谛回归与最大熵模型 6 逻辑斯谛回归与最大熵模型 6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布 6.1.2 二项逻辑斯蒂回归模型 ...
《统计学习方法》—— 逻辑斯谛回归与最大熵模型的介绍以及详细推导
前言在<统计学习方法>第二版的第6章,作者将逻辑斯谛回归与最大熵这两个模型放在一起讲,初看令人困惑.但是看到后面才明白,这是作者为了介绍以似然函数为目标函数的最优化问题的解法. 当一个最 ...
最大熵阈值python_李航统计学习方法（六）----逻辑斯谛回归与最大熵模型
本文希望通过<统计学习方法>第六章的学习,由表及里地系统学习最大熵模型.文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法,并制作了可视化动画.针对最大熵,提供一份简明的G ...
logit模型应用实例_第六章逻辑斯谛回归与最大熵模型（第1节逻辑斯谛回归模型）...
逻辑斯谛回归(logistic regression)是经典的分类方法. 最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型(maximum entropy model). 逻辑斯谛回归 ...
Logistic回归与最大熵模型
Logistic回归与最大熵模型算法介绍逻辑斯谛分布二项logistic回归模型最大熵模型习题6.1 习题6.2 算法介绍 1.逻辑斯谛回归(logistic regression)是统计学 ...
【机器学习】对数线性模型之Logistic回归、SoftMax回归和最大熵模型
来源 | AI小白入门作者 | 文杰编辑 | yuquanle 完整代码见:原文链接 1. Logistic回归分类问题可以看作是在回归函数上的一个分类.一般情况下定义二值函数,然而二值函数 ...
MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）
发表于 2009年04月25号由 52nlp 自然语言处理:最大熵和对数线性模型 Natural Language Processing: Maximum Entropy and Log-linea ...
MIT自然语言处理第五讲：最大熵和对数线性模型
MIT自然语言处理第五讲:最大熵和对数线性模型(第一部分) 自然语言处理:最大熵和对数线性模型 Natural Language Processing: Maximum Entropy and Log ...
广义线性模型_算法小板报(四)——初探广义线性模型和最大熵模型
一.简介 1948年信息论的创始人香农借鉴物理学中熵的概念,正式提出了信息熵,从数学上解决了"不确定性"的量化问题,开启了信息论研究的先河.在物理学中有熵增加定理,一切孤立物理系统 ...
逻辑斯谛回归模型（ Logistic Regression，LR）最大熵模型（Max Entropy，ME）
文章目录 1. Logistic Regression 模型 1.1 logistic 分布 1.2 二项逻辑斯谛回归模型 1.3 模型参数估计 1.4 多项逻辑斯谛回归 1.5 Python代码 2 ...

对数线性模型：逻辑斯谛回归和最大熵模型