模型汇总-12 深度学习中的表示学习

我们在前面的《模型汇总_9 深度学习网络的表达方式汇总及模型分类方法》这篇文章中，指出了深度学习中常用的三种表示数据的方式，即局部表达、稀疏表达和分布式表达。深度学习强大建模和知识抽取的能力，主要原因之一就是它对观测样本X采用了有效的表达方式。数据的表达方式为什么如此重要？有效的表达方式可以简化我们处理问题的难度。比如，在NLP领域中，采用word2vec把词语表示成向量（vector）形式，要比采用one-hot形式表示词语具有很多优势：

1、可以基于vector直接计算词与词之间的相似程度，one-hot表达形式不可以；

2、word2vec表示的向量可以描述词与词之间的依赖关系，one-hot表达形式也不可以；

3、vector不存在one-hot中的高纬问题，计算效率更高。

表示（表达）学习（Representation Learning）是什么？为什么表示的概念有助于深度学习框架的设计？

表示学习，又称学习表示。在深度学习领域内，表示是指通过模型的参数，采用何种形式、何种方式来表示模型的输入观测样本X。表示学习指学习对观测样本X有效的表示。

表示学习有很多种形式，比如CNN参数的有监督训练是一种有监督的表示学习形式，对自动编码器和限制玻尔兹曼机参数的无监督预训练是一种无监督的表示学习形式，对DBN参数-先进性无监督预训练，再进行有监督fine-tuning-是一种半监督的共享表示学习形式。

表示学习中最关键的问题是：如何评价一个表示比另一个表示更好？表示的选择通常通常取决于随后的学习任务，即一个好的表示应该使随后的任务的学习变得更容易。以基于CNN的图像分类任务为例。模型可以分为基于CNN的特征抽取和基于softmax回归的线性分类两个部分。通过模型参数有监督的训练，通过CNN，从线性不可分的图片里抽取出线性可分表示（特征），softmax线性分类器可以基于抽取的线性可分的表示进行分类。

表示学习中最有趣的一种形式是涉及多个任务的共享表示学习。为什么？

以无监督和有监督结合的共享表示学习为例。在深度学习任务中，我们通常有大量的无标签的训练样本和少量的有标签的训练样本。只在有限的有标签的训练样本上学习，会导致模型存在严重过拟合问题。共享表示具体来说，可以从大量无标签的观测样本中通过无监督的方法，学习出很好的表示，然后基于这些表示，采用少量有标签的观测样本来得到好的模型参数，缓解监督学习中的过拟合问题。

共享表示学习涉及多个任务，多个任务之间共享一定相同的因素，比如相同的分布（distribution）、观测样本X来自相同的领域（domain）等。共享表示学习有多种表示形式。假设共享表示学习中采用训练样本A进行无监督学习，训练样本B进行有监督学习。样本A和样本B可能来自相同的领域，也可能来自不同的领域；可能任务服从相同的分布，也可能服从不同的分布。

共享表示学习相关的机器学习技术有很多：迁移学习（Transfer Lear）、多任务学习（Multitask Learning）、领域适应性（Domain Adaptation）（One Shot Learning、Zero Shot learning）等。深度学习技术具有很强的特征抽取、知识表达的能力，是共享表示学习的利器，它可以有效抽取多个人任务之间共享的因素、知识或特征。因此，现在出现了很多将深度学习技术用于迁移学习、多任务学习技术中的研究。

下期预告：下一期将详细介绍迁移学习（Transfer Lear）、多任务学习（Multitask Learning）、领域适应性（Domain Adaptation）（One Shot Learning、Zero Shot learning）技术，以及它们之间的关系。

往期精彩内容推荐：

《纯干货-6》Stanford University 2017年最新《Tensorflow与深度学习实战》视频课程分享

<模型汇总-10> Variational AutoEncoder_变分自动编码器原理解析

<纯干货-5>Deep Reinforcement Learning深度强化学习_论文大集合

<模型汇总-9> VAE基础：LVM、MAP、EM、MCMC、Variational Inference（VI）

更多深度学习在NLP方面应用的经典论文、实践经验和最新消息，欢迎关注微信公众号“深度学习与NLP”或“DeepLearning_NLP”或扫描二维码添加关注。

模型汇总-12 深度学习中的表示学习_Representation Learning相关推荐

深度学习中的表示学习_Representation Learning
一.深度学习网络的表达方式汇总及模型分类方法人的大脑会对眼睛捕捉到的外界事物进行逐级抽象,逐渐提取出抽象的语义信息,以便为人脑所理解.深度学习从这一科学发现得到启发,通过网络的权值来捕捉外界输入模式 ...
『深度概念』度量学习中损失函数的学习与深入理解
『深度概念』度量学习中损失函数的学习与深入理解 0. 概念简介度量学习(Metric Learning),也称距离度量学习(Distance Metric Learning,DML) 属于机器学习的 ...
Nat. Mach. Intell. | 深度神经网络中的捷径学习
今天给大家介绍来自德国蒂宾根大学的Robert Geirhos和加拿大多伦多大学的Claudio Michaelis等人发表在Nature Machine Intelligence的文章"S ...
深度学习核心技术精讲100篇（八）-keras 实战系列之深度学习中的多任务学习(Multi-task learning)
多任务学习(Multi-task learning)简介多任务学习(Multi-task learning)是迁移学习(Transfer Learning)的一种,而迁移学习指的是将从源领域的知识( ...
深度学习中的强化学习和对抗学习
在人工智能中,有两个十分重要的内容,第一就是机器学习,第二就是深度学习.正是由于机器学习与深度学习,人工智能才能够帮助我们做出更多的事情.其实,深度学习也是有分类的.深度学习可以分为两种,一种是强化学 ...
深度学习中的多任务学习(一)
任务学习-Multitask Learning概述 Reference https://blog.csdn.net/u010417185/article/details/83065506 1.单任务学 ...
蒙特卡洛树搜索算法实现_蒙特卡洛树搜索实现实时学习中的强化学习
蒙特卡洛树搜索算法实现 In the previous article, we covered the fundamental concepts of reinforcement learning a ...
深度学习中的算法学习与记忆，利用故事联想帮助大家记忆，每个人都会
大家好,我是微学AI,大家看过我的文章,想必是对深度学习有了一定的了解了,但是对于初学者来说,深度学习中有很多名词和数学知识.原理还是不太清楚,记忆的不牢固,用起来不熟练,今天就给大家讲一个故事,让大 ...
【小样本基础】深度学习中的元学习：元学习的理解、经典MAML算法、用元学习解决具体问题的思路、元学习的分类
本篇博客主要是分享一篇22年11月出来的元学习综述,由于这一篇综述的篇幅很长,可能对于之前不了解元学习的同学们来说会很晦涩,因此我补充了一些调研资料和例子,希望通过这篇博客,能够让大家对元学习有一个基 ...

模型汇总-12 深度学习中的表示学习_Representation Learning

模型汇总-12 深度学习中的表示学习_Representation Learning相关推荐

最新文章

热门文章