判别模型和生成模型的区别

20210703

https://www.zhihu.com/question/20446337
机器学习“判定模型”和“生成模型”有什么区别？
重点

https://mp.weixin.qq.com/s/arAWD6_ipFWvNysNqumxmQ
判别模型和生成模型总结与对比：

20210511

判别:熟悉湖畔大学

生成模型和判别模型的区别

1.监督学习分为生成模型和判别模型
有监督机器学习方法可以分为生成方法和判别方法（常见的生成方法有混合高斯模型、朴素贝叶斯法和隐形马尔科夫模型等，常见的判别方法有SVM、LR等），生成方法学习出的是生成模型，判别方法学习出的是判别模型。叛徒洛基(英雄)

2.生成模型
生成模型主要是求解联合概率密度，比如我们有数据集：（C，X），其中（c,x）表示其中一个样本，c为类别，x为特征。那么对于生成模型来说我们需要求解p(x,c)的联合概率密度，根据贝叶斯概率，p(x,c) = p(x|c)*p©,所以我们的任务变成了求解p(x|c)的类别条件概率，和p©的类别先验概率。

生成模型的求解思路是：联合分布——->求解类别先验概率和类别条件概率

综上：

条件分布——>模型参数后验概率最大——->（似然函数\cdot 参数先验）最大——->最大似然
4.生成模型和判别模型的优缺点
生成模型：
优点：

1）生成给出的是联合分布，不仅能够由联合分布计算条件分布（反之则不行），还可以给出其他信息，比如可以使用来计算边缘分布。如果一个输入样本的边缘分布很小的话，那么可以认为学习出的这个模型可能不太适合对这个样本进行分类，分类效果可能会不好，这也是所谓的outlier
detection。

2）生成模型收敛速度比较快，即当样本数量较多时，生成模型能更快地收敛于真实模型。

3）生成模型能够应付存在隐变量的情况，比如混合高斯模型就是含有隐变量的生成方法。

缺点：

1）天下没有免费午餐，联合分布是能提供更多的信息，但也需要更多的样本和更多计算，尤其是为了更准确估计类别条件分布，需要增加样本的数目，而且类别条件概率的许多信息是我们做分类用不到，因而如果我们只需要做分类任务，就浪费了计算资源。

2）另外，实践中多数情况下判别模型效果更好。

判别模型：
优点：

1）与生成模型缺点对应，首先是节省计算资源，另外，需要的样本数量也少于生成模型。

2）准确率往往较生成模型高。

3）由于直接学习，而不需要求解类别条件概率，所以允许我们对输入进行抽象（比如降维、构造等），从而能够简化学习问题。

缺点：

1）是没有生成模型的上述优点。

https://blog.csdn.net/algorithmPro/article/details/103625931
判别模型和生成模型总结与对比：

https://mp.weixin.qq.com/s/YwaNrjyUaMhS2r2FncuyMQ
理解生成模型与判别模型

https://mp.weixin.qq.com/s/J6XbAGyLE0toRZRMr5JfXg

https://mp.weixin.qq.com/s/xtx3ceq6GDO_h0iJcLAPag
机器学习基础 | 大话生成模型与判别模型
重点?
生成模型学习联合概率分布p(x,y)，然后根据贝叶斯理论预测条件概率p(y|x)，推导公式为：

判别模型直接学习条件概率分布P(y|x)或学习决策函数y=f(x)预测输出。由（1）式可知生成模型可以得到判别模型，但判别模型得不到生成模型。

生成模型与判别模型的特点比较

生成模型是学习联合概率分布图片，然后利用贝叶斯理论去预测条件概率分布图片。生成模型明确的反映了数据集的分布情况，根据数据集的分布情况去预测测试数据的分类情况，当数据量较少时，学习到的联合概率分布图片与真实的联合概率分布图片差异较大，因此生成模型适合在数据量很大的情况，当模型需要考虑隐变量时，仍可用生成模型方法，此判别方法不能用。

判别模型是直接学习判别函数f(x)或条件概率分布p(y|x)，它是根据训练数据不同类别之间的特征差异来学习决策边界，如支持向量机，逻辑斯蒂回归等模型。因此在数据量不多的情况下判别模型的分类结果要好于生成模型，但是判别模型不能反应数据集的真实分布情况。
8. 总结

生成模型和判别模型一般处理监督学习的问题，这两类模型都是通过预测条件概率分布p(y|x)进行分类（判别模型也可通过决策函数分类），只是方式不同：

生成模型思想：

学习联合概率分布p(x,y)；

贝叶斯理论计算条件概率p(y|x)；

判别模型思想：

直接通过训练数据估计条件概率分布P(y|x)或决策函数f(x)；

生成模型的分类器：

朴素贝叶斯

贝叶斯网络

马尔科夫随机场

隐马尔可夫模型

判别模型的分类器：

逻辑斯蒂回归

支持向量机

判别模型和生成模型的区别相关推荐

判别模型、生成模型与朴素贝叶斯方法
1.判别模型与生成模型上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率.形式化表示为,在参数确定的情况下,求解条件概率.通俗的解释为在给定特征后预测结果出现的概率. 比如说要确定一 ...
判别模型和生成模型(Discriminative Model Generative Model)【转】
又是碰到了一些简单的基本概念,但是仔细想想发现自己没有理解透彻,Search一下,总结如下: [摘要] - 生成模型:无穷样本==>概率密度模型 = 产生模型==>预测 - 判别模型:有限 ...
判别模型、生成模型和朴素贝叶斯模型
1判别模型与生成模型上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率.形式化表示为,在参数确定的情况下,求解条件概率.通俗的解释为在给定特征后预测结果出现的概率. 比如说要确定一只 ...
揭秘阿里小蜜：基于检索模型和生成模型相结合的聊天引擎 | PaperDaily #25
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
论文翻译-阿里小蜜，基于检索模型和生成模型相结合的聊天引擎
1.摘要阿里小蜜是一款开放领域的聊天机器人引擎,他结合了IR(检索)模型与带有注意力机制的seq2seq生成模型.从效果上来讲,阿里小蜜的表现明显优于只使用某一种单一模型的情况. 2.介绍近年来, ...
揭秘阿里小蜜：基于检索模型和生成模型相结合的聊天引擎
面向 open domain 的聊天机器人无论在学术界还是工业界都是个有挑战的课题,目前有两种典型的方法:一是基于检索的模型,二是基于 Seq2Seq 的生成式模型.前者回复答案可控但无法处理长尾问题 ...
机器学习判定模型与生成模型区别
作者:politer 链接:https://www.zhihu.com/question/20446337/answer/256466823 来源:知乎著作权归作者所有.商业转载请联系作者获得授权, ...
生成模型和判别模型_生成模型和判别模型简介
生成模型和判别模型 Intro 介绍 Recently I gave a presentation at work, where I explained how I solved some probl ...
有监督学习和无监督学习，判别模型和生成模型
有监督学习(Supervised learning)是从标签化训练数据集中推断出函数的机器学习任务. [1] 训练数据由一组训练实例组成.在监督学习中,每一个例子都是一对由一个输入对象(通常是一个向 ...

判别模型和生成模型的区别

判别模型和生成模型的区别相关推荐

最新文章

热门文章