关于深度学习方面的一些概念
1、自学习（self-taught learning）与半监督学习
自学习(self-taughtlearning)是不要求未标注数据 X u X_u Xu和已标注数据 X l X_l Xl来自同样的分布。另外一种带限制性的方式也被称为半监督学习，它要求 X u X_u Xu和 X l X_l Xl服从同样的分布。下面通过例子解释二者的区别。
假定有一个计算机视觉方面的任务，目标是区分汽车和摩托车图像；也即训练样本里面要么是汽车的图像，要么是摩托车的图像。哪里可以获取大量的未标注数据呢？
最简单的方式可能是从互联网上下载一些随机的图像数据集，在这些数据上训练出一个稀疏自编码器，从中得到有用的特征。这个例子里，未标注数据完全来自于一个和已标注数据不同的分布（未标注数据集中，或许其中一些图像包含汽车或者摩托车，但是不是所有的图像都如此）。这种情形被称为自学习。
相反，如果有大量的未标注图像数据，要么是汽车图像，要么是摩托车图像，仅仅是缺失了类标号（没有标注每张图片到底是汽车还是摩托车）。也可以用这些未标注数据来学习特征。这种方式，即要求未标注样本和带标注样本服从相同的分布，有时候被称为半监督学习。
2、单任务学习与多任务学习
这篇博客讲的很好：https://blog.csdn.net/qq_41033011/article/details/127326744
其中多任务学习有两种主要方式：
- 基于参数的共享：例如，神经网络隐藏节点的共享，这种方法主要通过挖掘不同任务之间在浅层所共享的隐藏节点特征来达到任务之间相关性建模的目的。
例如：
Zhanpeng Zhang, Ping Luo, Chen Change Loy, and Xiaoou Tang. Facial landmark detection by deep multi-task learning, ECCV, 2014
在右侧有7个相关任务，它们在左侧共享同一个模型参数提取能够应用于不同任务的共享特征，这样就实现了通过神经网络的方式在浅层共享同一个参数为不同的任务服务，建立任务之间的相关性，挖掘它们之间的潜在共享信息的目的。在这个网络中，通过最后不同的输出层建立不同任务之间的差异性
- 基于正则化约束的共享：例如：均值约束、联合特征学习等，实际上就是在模型中引入一些正则化的先验，通过先验对模型的约束来建模不同任务之间的相关性。
关于深度学习方面的一些概念相关推荐
- 浅说深度学习(1)：核心概念
浅说深度学习(1):核心概念 原文来自Nvidia开发者社区:Deep Learning in a Nutshell: Core Concepts 作者:Tim Dettmers, Author at ...
- 关于深度学习的一些基础概念的简单梳理
目录 独立同分布independent and identically distributed (i.i.d.) BN(Batch Normalization)批规范化 正则化 损失函数 过拟合现象 ...
- Deep Learning | 深度学习介绍与基本概念
深度学习(Deep Learning) 深度学习是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的 ...
- 深度学习入门之数学基础概念
深度学习之线代复习 标量.向量.矩阵和张量 标量(scalar):一个标量就是一个单独的数. 向量:一个向量是一列数,这些数是有序排列的.我们可以把向量看作空间中的点,每个元素是不同坐标轴上的坐标. ...
- 深度学习中Map的概念
mAP定义及相关概念 P precision,即 准确率 . 解释:10张图片,每张都有狗.猫,识别到里面有狗也有猫,两者皆有,准确率就高 R recall,即 召回率 . 解释:10张图片,每张都有 ...
- 【机器学习】深度学习的三个概念：Epoch, Batch, Iteration
文章目录 含义解释 参考链接 含义解释 Epoch(时期): 当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一次>epoch.(也就是说,所有训练样本在神经网络中都进行了一次正 ...
- 深度学习 点积的概念
两个向量a = [a1, a2,-, an]和b = [b1, b2,-, bn]的点积定义为: a·b=a1b1+a2b2+--+anbn. 参考文章: 点积
- 深度学习中的IoU概念理解
1.什么是IoU(Intersection over Union) IoU是一种测量在特定数据集中检测相应物体准确度的一个标准.IoU是一个简单的测量标准,只要是在输出中得出一个预测范围(boundi ...
- 深度学习中感受野的概念
不同层输出的特征图,它们的感受野是不同的,一般情况下,随着下采样次数的增加,感受野在成倍数的放大
最新文章
- 装饰者模式 将子类当做构造器参数传递进去 ，并重写子类的方法同时增加子类的功能 调用调用重写的子类的方法...
- 【收藏】Vue+elementUI的this.$refs.对象名.方法名的理解
- Love2D游戏引擎制作贪吃蛇游戏
- Android分渠道打包（Python 3.4 实现）
- 微信模版消息 errmsg: 'invalid weapp pagepath hint: [OtU1OA0868a394]
- MyBatis-Plus_通用service
- 硬盘ext2/3文件系统superblock损坏修复试验
- 今天完成了一个真正意义上完整的gridview数据表操作
- Java创建mysql触发器
- 互联网大佬生存法则 如何防守周鸿祎
- C语言 · 求arccos值
- 自建私有云与公有云托管对比_云托管：利与弊
- 自定义devexprsss分页控件
- 视频剪辑用计算机,用于视频剪辑的笔记本电脑，我们都有哪些选择
- 关于ros中pcl_ros和ros链接问题Makefile:140的一种解决方案
- B1线条情感测评数据分析
- java web前台概览
- 摩拜获巨额融资，为何还被曝拖欠底层员工薪水？
- QQ显IP绝迹江湖了吗？
- 模式识别（十四）最小误判概率准则判决