判别式模型和生成式模型的区别（discriminative model and generative model）

本博客转载自：
http://blog.csdn.net/amblue/article/details/17023485
在NLP和机器学习中经常会遇到这两种显著不同的模型，在学习阶段（训练阶段）和评估阶段（测试阶段）都有不同的表现
总结一下它们之间的区别，欢迎补充：
1. 二者最本质的区别是建模对象不同
假设有样本输入值（或者观察值）x，类别标签（或者输出值）y
判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模，生成式模型评估对象是最大化联合概率p(x,y)并对其建模。
其实两者的评估目标都是要得到最终的类别标签Y，而Y=argmax p(y|x)，不同的是判别式模型直接通过解在满足训练样本分布下的最优化问题得到模型参数，主要用到拉格朗日乘算法、梯度下降法，常见的判别式模型如最大熵模型、CRF、LR、SVM等；
而生成式模型先经过贝叶斯转换成Y = argmax p(y|x) = argmax p(x|y)*p(y)，然后分别学习p(y)和p(x|y)的概率分布，主要通过极大似然估计的方法学习参数，如NGram、HMM、Naive Bayes。
2. 判别式模型更加灵活
主要体现在特征选择上，生成式模型一般需要将特征加入马尔可夫链，而判别式模型加入任意特征进行组合
3. 判别式模型需要有指导训练，生成式模型可以无指导训练
上文提到生成式模型主要通过极大似然估计进行参数学习，EM算法可以在状态值未知的情况下求得极大似然估计的局部最优解
两个链接中也详细讲解了两种模型的区别：
[1]https://www.zhihu.com/question/20446337
[2]https://www.cnblogs.com/fanyabo/p/4067295.html

判别式模型和生成式模型的区别（discriminative model and generative model）相关推荐

监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE（生成样本）
文章目录一.监督学习中的判别式模型和生成式模型 1.1 判别式模型(线性回归.SVM.NN) 1.2 生成式模型(朴素贝叶斯.HMM) 1.3 两种模型的小结二.无监督学习中的生成式模型(生成样本 ...
判别式模型和生成式模型的区别
其实机器学习的任务是从属性X预测标记Y,即求概率P(Y|X). 判别式模型对于判别式模型来说求得P(Y|X),对未见示例X,根据P(Y|X)可以求得标记Y,即可以直接判别出来,如上图的左边所示,实际 ...
【机器学习】：判别式模型与生成式模型
目录问题引出基本概念举个例子优缺点模型实例参考文献问题引出来源:牛客网以下几种模型方法属于判别式模型(Discriminative Model)的有() 1)混合高斯模型 2)条件随 ...
机器学习--判别式模型与生成式模型
原文地址为:机器学习--判别式模型与生成式模型一.引言本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练 ...
机器学习中的判别式模型和生成式模型
首发于人工智能写文章机器学习中的判别式模型和生成式模型 Microstrong 微信公众号:Microstrong,人工智能算法工程师已关注 78 人赞同了该文章目录: 基本概念用例子说明概 ...
谈谈判别式模型与生成式模型
判别式模型与生成式模型是机器学习领域中的基本概念,今天将两者的特点总结一下,如下表所示: 对比判别式模型生成式模型特点寻找不同类别之间的最优分类面,反映异类数据之间的差异以统计的角度表示数据 ...
BAT面试题9：谈谈判别式模型和生成式模型？
BAT面试题9:谈谈判别式模型和生成式模型? https://mp.weixin.qq.com/s/X7zWJCMN7gbCwqskIIpLcw 判别方法:由数据直接学习决策函数 Y = f(X),或 ...
【机器学习】判别式模型和生成式模型
问题判别式模型和生成式模型是机器学习中很重要的两个概念,也是笔试面试中很可能出现的问题,这里整理一遍是为了让自己更好地理解和区分这两者之间的不同. 概念假设可观测到的变量集合为X,其他变量集合为Z ...
判别式模型和生成式模型分别是什么？判别式模型和生成式模型的优缺点？
判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点? 目录判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点? 判别式模型和生成式模型分别是什么?

判别式模型和生成式模型的区别（discriminative model and generative model）

判别式模型和生成式模型的区别（discriminative model and generative model）

判别式模型和生成式模型的区别（discriminative model and generative model）相关推荐

最新文章

热门文章