深度学习课程记录

自编码分类器神经网络记录
- 1.Train the autoencoder by using unlabeled data
- - 训练1(fail)
  - 训练2(fail)
  - 训练3(fail)
  - 训练4(fail)
  - 训练5
  - 训练5-1
- 2.Training the network by using the new training data set
- 3.combine the two networks
- 4.test the network with the testing set
- - 训练1

自编码分类器神经网络记录

本人于2019年秋季参加了学校开设的深度学习相关课程，在大作业中遇到的困难在此记录一二(part of pictures from Doc.ZhangYi)，整体思路如下：

1.Train the autoencoder by using unlabeled data

Read and prepare the data. Train the autoencoder by using unlabeled data (the unlabeled set). Remove the layers behind sparse representation layer after training

数据集数量：7800数据集内容：猫狗图片单个样本大小：300*400

自编码惩罚函数

加入稀疏优化注意事项

训练1(fail)

max_iter = 600mini_batch = 40alpha = 0.01data：80x80x200

% 神经网络结构
layer_size = [input_size 10000 20000 5000 20000 input_size];
% 激活函数设计
fs = {[], relu, relu, relu, relu, relu, relu, relu};
dfs = {[], drelu, drelu, drelu, drelu, drelu, drelu, drelu};
% 权值初始化
w{l} = (rand(layer_size(l+1, 2), sum(layer_size(l, :)))*2-1) * 0.01;
% 定义cost function
J_y = [J_y 1/2/mini_batch*sum((a{L}(:)-y(:)).^2)];

左图为误差曲线、w{1-4}的均值与方差(rgbk)，右图为w{1-4}的最终分布

最后一轮a{1-5}的分布

效果不容乐观啊

训练2(fail)

max_iter = 800mini_batch = 40alpha = 0.2data：80x80x200

% 神经网络结构
layer_size = [input_size 10000 20000 5000 20000 input_size];
% 激活函数设计
fs = {[], sigm, sigm, sigm, sigm, sigm, sigm, sigm};
dfs = {[], dsigm, dsigm, dsigm, dsigm, dsigm, dsigm, dsigm};
% 权值初始化
w{l} = (randn(layer_size(l+1, 2), sum(layer_size(l, :)))*2-1) *  sqrt(6/( layer_size(l+1, 2) + sum(layer_size(l,:)) ));
% 定义cost function
J_y = [J_y 1/2/mini_batch*sum((a{L}(:)-y(:)).^2)];

训练3(fail)

max_iter = 600mini_batch = 40alpha = 0.2data：80x80x200layer_size: input+1000(0);2000;1000;500;1000;2000;outputw: (2*randn()-1)*sqrt(6/(n{l}+n{l+1}))sigmoidJ: 0.5/mini_batch*Σ(a{L}-y)

训练4(fail)

max_iter = 600mini_batch = 50alpha = 0.3data：80x80x200layer_size: input+1000(0);2000;500;30;500;2000;outputw: randn()*sqrt(6/(n{l}+n{l+1}))sigmoidJ: 0.5/mini_batch*Σ(a{L}-y)

emmmm，再来600轮（上面的a和w少了几张）

训练5

max_iter = 900mini_batch = 40alpha = 0.3data：80x80x1000layer_size: input+1000(0);2000;500;2000;outputw: randn()*sqrt(6/(n{l}+n{l+1}))sigmoidJ: 0.5/mini_batch*Σ(a{L}-y)

这次看上去像是要成功，结果断断续续训练了7个小时左右matlab犯病了...看来以后不能开这么多图了。实际经过1000+轮后误差降到1左右。

训练5-1

上接train5-1…max_iter = 900beta= 0.1
emmm，采用训练5所得的权值接着进行稀疏优化，可能beta还是0.1好一些

2.Training the network by using the new training data set

Form a new data set in sparse representation layer by using the labeled data set (the trianing set). Form a new training data set for supervised network (the encoded training set and its labels). Training the network by using the new training data set

3.combine the two networks

4.test the network with the testing set

训练1

max_iter = 400mini_batch = 40alpha = 0.05data：500x320layer_size: input(500)+0;126;32;8;2w: randn()*sqrt(6/(n{l}+n{l+1}))sigmoidJ: 0.5/mini_batch*Σ(a{L}-y)

【深度学习】深度学习实验记录--自编码+分类器相关推荐

NLP实验记录——事件编码表征方法探索
NLP实验记录--事件编码表征方法探索 1. 原有方案简介 2. 参考方案 3. 实验部分 3.1 基本结构 3.2 样本构建 3.3 模型选择 1. 原有方案简介前段时间在做事件共指相关的工作,做 ...
【课程作业】表达学习人脸图像复原实验记录
Face Recovery Using Sparse Representation Prepared Algorithm 范数 OMP(正交匹配跟踪算法) SVD(奇异值分解) K-SVD Exper ...
【深度学习】图像匹配Siamese网络实验记录
图像匹配Siamese网络实验记录 Ⅰ. Siamese 网络介绍 Ⅱ. 数据集 AT&T 分拣行李匹配图像 Ⅲ. 实验记录 A. 模型1 1. 实验1 2. 实验2 3. 实验3 B. 模型 ...
【深度学习】【U-net】医学图像(血管)分割实验记录
医学图像分割实验记录 U-net介绍数据集实验记录实验1 实验2(fail) 实验3(fail) 实验4(fail) 实验5(fail) 实验6(fail) 本项目仅用于大创实验,使用pytor ...
深度学习去燥学习编码_我们问了15,000个人，他们是谁，以及他们如何学习编码
深度学习去燥学习编码 More than 15,000 people responded to the 2016 New Coder Survey, granting researchers an u ...
深度学习CTR模型粗略记录
深度学习CTR模型粗略记录 RoadMap FM:Factorization Machines DNN:Embedding+MLP WND:Wide & Deep Learning for R ...
深度学习的学习记录（二）
目录任务 python基础知识数学公式的输入 tensorflow的安装 AttributeError: 'Tensor' object has no attribute 'numpy' 补沐神的 ...
深度学习去燥学习编码_请学习编码
深度学习去燥学习编码 This morning I woke up to dozens of messages from students who had read an article titled ...
深度学习去燥学习编码_通过编码学习编码
深度学习去燥学习编码 "Teach Yourself to program in 10 years." That's how Peter Norvig - a Berkeley p ...

【深度学习】深度学习实验记录--自编码+分类器