Representation Learning 表示学习（简单笔记）

tips:作为知识漏洞，自己记录下笔记！

表示：为了提高机器学习系统的准确率，我们就需要将输入信息转换为有效的特征。

表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习（Representation Learning）．

（1）表示学习的关键是解决语义鸿沟（Semantic Gap）问题．语义鸿沟问题是指输入数据的底层特征和高层语义信息之间的不一致性和差异性．

比如：

给定一些关于“车”的图片，由于图片中每辆车的颜色和形状等属性都不尽相同，因此不同图片在像素级别上的表示（即底层特征）差异性也会非常大．但是我们理解这些图片是建立在比较抽象的高层语义概念上的．如果一个预测模型直接建立在底层特征之上，会导致对预测模型的能力要求过高．如果可以有一个好的表示在某种程度上能够反映出数据的高层语义特征，那么我们就能相对容易地构建后续的机器学习模型．

（2）在表示学习中，有两个核心问题：一是“什么是一个好的表示”；二是“如何学习到好的表示”．

局部表示有两个优点：1）这种离散的表示方式具有很好的解释性，有利于人工归纳和总结特征，并通过特征组合进行高效的特征工程；2）通过多种特征组合得到的表示向量通常是稀疏的二值向量，当用于线性模型时计算效率非常高．但局部表示有两个不足之处：1）one-hot向量的维数很高，且不能扩展．如果有一种新的颜色，我们就需要增加一维来表示；2）不同颜色之间的相似度都为0，即我们无法知道“红色”和“中国红”的相似度要高于“红色”和“黑色”的相似度．

例子（embedding）：

总结：要学习到一种好的高层语义表示（一般为分布式表示），通常需要从底层特征开始，经过多步非线性转换才能得到．连续多次的线性转换等价于一次线性转换．深层结构的优点是可以增加特征的重用性，从而指数级地增加表示能力．因此，表示学习的关键是构建具有一定深度的多层次特征表示。

注：（内容来自邱锡鹏老师开源书籍《深度学习和神经网络》）

Representation Learning 表示学习（简单笔记）相关推荐

（转）Predictive learning vs. representation learning 预测学习与表示学习
Predictive learning vs. representation learning 预测学习与表示学习 When you take a machine learning class, ...
什么是表示学习(representation learning)表征学习表达学习
机器学习算法的成功与否不仅仅取决于算法本身,也取决于数据的表示.数据的不同表示可能会导致有效信息的隐藏或是曝露,这也决定了算法是不是能直截了当地解决问题.表征学习的目的是对复杂的原始数据化繁为简,把原 ...
李宏毅Reinforcement Learning强化学习入门笔记
文章目录 Concepts in Reinforcement Learning Difficulties in RL A3C Method Brief Introduction Policy-base ...
Linux——进程管理学习简单笔记
基本概念:进程和程序的区别 :1.程序是静态概念,本身作为一种软件资源长期保存:而进程是程序的执行过程,它是动态概念,有一定的生命期,是动态产生和消亡的.2.程序和进程无一一对应关系.一个程序可以由多 ...
Linux——系统引导流程学习简单笔记
开启电源: 固件 firmware(CMOS/BIOS) → POST 加电自检对硬件就行检查 ↓ 自举程序 BootLoader(GRUB) → 载入内核 ↓ 载入内核 Kernel 1:驱动硬件 ...
Word学习简单笔记（2）文档排版与设计
[1]设置段落格式 1.设置首行缩进正文的每个段落需要缩进两个字符,选择开始选项中的"段落",在缩进选项中设置"缩进 2字符". 2.设置段落间距选择开始选 ...
Word学习简单笔记（3）应用及保护
[1]应用 1.设计文档封面封面可以自定义也可以用系统提供的模板. 打开"插入"菜单栏,在最左边选择封面选项,选择需要的模板,即可在文章中插入带有模板图片的封面页,根据需要更改文 ...
Yoshua Bengio——《Deep Learning》学习笔记1
版权声明:此为Yoshua Bengio的新书<Deep Learning>学习笔记,本文为博主在研究工作中经验分享,包括学习笔记.摘录.研究成果,以便以后工作参考之用,欢迎交流和批评:其 ...
【论文笔记】半监督的多视图学习：Semi-supervised Multi-view Deep Discriminant Representation Learning
[论文笔记]Semi-supervised Multi-view Deep Discriminant Representation Learning 1. 概念多视图学习(Multiview Lea ...
【图表示学习】Graph Representation Learning 读书笔记（一）
Graph Representation Learning (William Hamil)本书还没有正式推出. Chapter 1:Introduction 首章主要简要讲解图的定义和机器学习在图数据 ...

Representation Learning 表示学习（简单笔记）

Representation Learning 表示学习（简单笔记）相关推荐

最新文章

热门文章