深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning

这个主题我很喜欢，嘿嘿~
1. 无监督特征学习
用稀疏自编码器从大量无标注数据中学习好的特征描述。
2. 数据预处理
无监督特征学习前，要对数据进行预处理。如均值标准化，PCA，PCA白化，ZCA白化。但是需要记录下训练时的参数，即均值和U，在后面训练时要使用相同的参数。
3. 无监督特征学习的术语
自学习：不要求无标注数据和已标注的数据来自相同的分布。比如可以用汽车图像提取的W，用于摩托车的特征提取。
半监督学习：要求无标注数据和已标注的数据来自相同的分布。即要提取摩托车的特征，只能用摩托车的图像学习。
4. 把学习到的特征（W*data+b)输入到Softmax中训练model，就可以进行分类啦。
5. 教程练习
（1）读取MINIST（手写数字库），包括图片和labels，进行如下划分：
数字0~4的图片作为有标签数据（其中一半trainData用于训练softmax模型，另一半testData用于测试）
数字5~9的图片作为无标签数据(unlabeledData)，用于学习特征。
——自学习哦！
（2）程序结构
第一部分：训练
a. 把unlabeledData输入到稀疏自编码器，训练参数W1,b1。
b. 把trainData进行变换：W1*trainData+b1
得到提取的特征trainFeature.
c. 把trainFeature和对应label输入到softmax，得参数theta
现在稀疏自编码器和softmax模型都有了，下面就开始测试了!
第二部分：测试
a. 把testData进行变换：W1*testData+b1
得到提取的特征testFeature.
b. theta*testFeature，就可以进行预测了！
##后记
对稀疏自编码器提取特征的理解：在实验中能看到稀疏自编码得到的W1可视化后是一些笔画特征，有些地方称W1就是提取的特征。可以认为W1是从图像中提取出的基本组成部分，如这里的笔画；对于一个给定的图像从稀疏自编码中提取特征就是sigmoid(W1*inputData+b1)，即隐藏层的激活值——这才是给定图像提取出的特征，然后把此特征送入分类器进行分类。而图像提取出的特征的每一维都可以看成是W1这些基本特征的某个线性组合运用非线性激活函数激活后的结果。

深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning相关推荐

吴恩达深度学习笔记——结构化机器学习项目（Structuring Machine Learning Projects）
深度学习笔记导航前言传送门结构化机器学习项目(Machine Learning Strategy) 机器学习策略概述正交化(orthogonalization) 评价指标数字评估指标的单一性 ...
深度学习笔记（转载）
目录: 一.概述二.背景三.人脑视觉机理四.关于特征 4.1.特征表示的粒度 4.2.初级(浅层)特征表示 4.3.结构性特征表示 4.4.需要有多少个特征? 五.Deep Learning的基 ...
《繁凡的深度学习笔记》前言、目录大纲一文让你完全弄懂深度学习所有基础（DL笔记整理系列）
<繁凡的深度学习笔记>前言.目录大纲 (DL笔记整理系列) 一文弄懂深度学习所有基础 ! 3043331995@qq.com https://fanfansann.blog.csdn.ne ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络
TensorFlow 深度学习笔记 TensorFlow实现与优化深度神经网络转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnote ...
深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经 ...
下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
33万字！深度学习笔记在线版发布!
吴恩达老师的深度学习课程(deeplearning.ai),可以说是深度学习入门的最热门课程,我和志愿者编写了这门课的笔记,并在 github 开源,为满足手机阅读的需要,我将笔记做成了在线版,可以在 ...
简单入门——深度学习笔记（Part II）
更多深度文章,请关注:https://yq.aliyun.com/cloud 作者介绍:Deepak Shah Deepak Shah毕业于德克萨斯奥斯汀分校,徒步旅行爱好者,目前是深度学习\数据科学 ...

深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning

深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning相关推荐

最新文章

热门文章