生成模型与判别模型区别
概念理解
监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。
- 判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类;
- 生成模型:生成模型是学得各个类别各自的特征(即可看成学得多个模型),可用这些特征数据和要进行分类的数据进行比较,看新数据和学得的模型中哪个最相近,进而确定新数据属于哪一类。
举个例子:若分类目标是对图像中的大象和狗进行分类。判别方法学得一个模型,这个模型可能是判断图中动物鼻子的长度是否大于某一阈值,若大于则判断为大象,否则判断为狗;生成学习则分别构建一个大象的特征模型与狗的特征模型,来了一个新图像后,分别用大象模型与狗模型与其进行比较,若新图像与狗相似度更高则判断为狗,否则判断为大象。
相关数学理论
若已知某分类任务的生成模型,是可以求得该任务的判别模型,反之则不行。这和概率论中的全概率密度函数以及边沿概率密度函数是一致的(即已知全概率密度可求得边沿概率密度,但已知边沿概率密度不能求得全概率密度)。
例如:若现在已知一个二分类问题获得的5个训练数据为:(1,0),(1,0),(2,0),(2,1),(2,1)
1、全概率分布P(X,Y)如下表所示
X\Y | 0 | 1 |
---|---|---|
1 | 2/5 | 0 |
2 | 1/5 | 2/5 |
注意:根据全概率分布,可以推导出如下边沿概率分布P(Y|X)以及P(X)。
2、边沿概率分布P(Y|X)如下表所示
X\Y | 0 | 1 |
---|---|---|
1 | 1 | 0 |
2 | 1/3 | 2/3 |
注意:根据边沿概率分布,不可以推导出全概率分布。例如,此例中边沿概率分布对应的全概率分布可能如下:
X\Y | 0 | 1 |
---|---|---|
1 | 4/7 | 0 |
2 | 1/7 | 2/7 |
由上述例子可知,生成模型的信息比判别模型信息要更全一些。
两类方法的特点
生成方法通常需要无穷多样本,进而学习一个联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)=P(X,Y)/P(X)来对新输入的数据进行分类。
此类方法之所以成为生成方法,是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有:朴素贝叶斯法、马尔科夫模型、高斯混合模型。这种方法一般建立在统计学和Bayes理论的基础之上。
生成方法的特点:
- 从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度;
- 生成方法还原出联合概率分布,而判别方法不能;
- 生成方法的学习收敛速度更快、即当样本容量增加的时候,学到的模型可以更快地收敛于真实模型;
- 当存在隐变量时,仍然可以用生成方法学习,此时判别方法不能用
判别方法可以根据有限个样本获得一个判别函数(即判别模型),然后用它来对新数据进行分类。典型的判别模型包括:k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、boosting方法和条件随机场等。
判别方法的特点:
- 判别方法寻找不同类别之间的最优分类面,反映的是异类数据之间的差异;
- 判别方法利用了训练数据的类别标识信息,直接学习的是条件概率P(Y|X)或者决策函数f(X),直接面对预测,往往学习的准确率更高;
- 由于直接学习条件概率P(Y|X)或者决策函数f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题;
- 缺点是不能反映训练数据本身的特性。
两类方法的应用
根据所获取的数据,两类方法都有各自的用场。例如:我们若只有人的侧面数据,我们当然不知道这个人是否长得帅、美,但我们可做(男、女)、(有耳、无耳)分类。用生成模型来做的话,则表示这个人全部信息都有了,当然能做的分类更多了。
转载自:https://blog.csdn.net/quintind/article/details/77923147
转载于:https://www.cnblogs.com/xiaoshayu520ly/p/9079435.html
生成模型与判别模型区别相关推荐
- 生成模型与判别模型的区别
引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出.这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X). 监督学习方法又可以 ...
- 生成模型和判别模型直接的区别
作者:JasonDing 链接:https://www.jianshu.com/p/d195b887a32e 來源:简书 简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处. 概率图分 ...
- 生成模型与判别模型的区别与理解
一.判别方法与生成方法 监督学习方法可分为判别方法和生成方法. 判别方法(Discriminative approach) 由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型 ...
- 生成模型与判别模型详解
本篇会详细讲解生成模型和判别模型的区别,篇幅稍长 作者:zouxy09 来源:https://blog.csdn.net/zouxy09/article/details/8195017 决策函数Y=f ...
- 生成模型和判别模型学习
生成模型和判别模型 在机器学习中,一般将学习方式分为监督式学习和非监督式学习方式. 回忆一下,监督学习的任务就是从数据中学习一个模型,应用这一模型,对给定的输入X预测相应的输出Y.这个模型的一般形式为 ...
- 生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归
生成模型 VS. 判别模型 从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布. ...
- 理解生成模型与判别模型
其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造. 书的购买链接 书的勘误,优化,源代码资源 导言 我 ...
- [work] 生成模型和判别模型的理解
转载自:https://blog.csdn.net/zouxy09/article/details/8195017 https://blog.csdn.net/lk7688535/article/de ...
- 生成模型和判别模型_生成模型和判别模型简介
生成模型和判别模型 Intro 介绍 Recently I gave a presentation at work, where I explained how I solved some probl ...
最新文章
- [置顶] 安卓高手之路之 WindowManager
- python字符串写入excel-python 操作 Excel 之写入
- SpringAOP编程-传统基于JDK代理的AOP开发
- 1git命令的使用,查看git仓库状态,添加文件到git跟踪,git提交,查看git分支,查看git仓库日志信息,切换git分支,解决git分支合并后出现冲突的问题
- 【机器视觉】 dev_disp_text算子
- 【Poj1017】Packets
- Atitit 艾提拉博士带来“深度?广度?高度 人员的职业发展之路 ”的主题分享。 目录 1.1. 技术团队气氛的区别 开发架构模式	2 1.2. 技术人员的职业发展有哪些路线?	3 1.3. 主
- 基于C++、MySQL的图书销售管理系统
- win7 远程桌面连接
- js return加分号_js分号的重要性
- python数列的平方_python数组平方
- android项目epub格式电子书开源开发
- 浅谈Ambarella 的BOSS架构
- miui11升级鸿蒙,这就是MIUI 11的升级机型名单?还挺给力!
- jsp学生学籍信息管理系统
- 小米10至尊纪念版和华为Mate30pro哪个好
- 程序人生 - Python 攻克移动开发失败!
- Qt实现半透明、无边框、可自由移动、不规则的窗体
- P2242公路维修问题题解
- 苹果安装移动卡显示无服务器,sim卡没坏但苹果手机无服务
热门文章
- 黑马day14 过滤器概述amp;生命周期amp;运行过程
- centos7修改密码
- 在fedora23中安装virtualbox, 然后实现虚拟机irtualbox 或者 vmware 下的xp操作系统
- oracle 物化视图 ORA-23413: 表 xxx.xx 不带实体化视图日志
- 《编程之美》(Java实现) :让CPU占用率画直线和正弦曲线(Java实现)
- 微软职位内部推荐-SW Engineer II for WinCE
- 生吃蔬菜健康轻松瘦身 - 健康程序员,至尚生活!
- DebootstrapChroot
- Remote Data Access
- 有些时候,我们以为对的意见,往往在行家看来是比较幼稚之亲身经历