MATLAB深度学习代码详细分析(一)_

NNFF为神经网络前向传播的运算函数代码如下：

function nn = nnff(nn, x, y)

%NNFF performs a feedforward pass NNFF为前向传播运行过程

% nn = nnff(nn, x, y) returns an neural network structure with updated %函数输入为（网络架构，数据集，数据标签）

% layer activations, error and loss (nn.a, nn.e and nn.L)%函数前向更新每层的参数

n = nn.n;%nn.n为网络层数比如（784,25,10），则n为3
m = size(x, 1);%将数据集的行数赋值给m，

x = [ones(m,1) x];%ones()产生全1数组。
nn.a{1} = x;

%feedforward pass %前向传播
for i = 2 : n-1
switch nn.activation_function %根据输入判断激活函数
case 'sigm'
% Calculate the unit's outputs (including the bias term)%使用sigmod激活函数，其中已包含偏执。
nn.a{i} = sigm(nn.a{i - 1} * nn.W{i - 1}');
case 'tanh_opt'
nn.a{i} = tanh_opt(nn.a{i - 1} * nn.W{i - 1}');%使用tanh_opt激活函数
end

%dropout%进行dropout处理
if(nn.dropoutFraction > 0)%用在训练隐含层中，随机将激活值按比例清零（清零后权值不起作用）
if(nn.testing)
nn.a{i} = nn.a{i}.*(1 - nn.dropoutFraction);
else
nn.dropOutMask{i} = (rand(size(nn.a{i}))>nn.dropoutFraction);
nn.a{i} = nn.a{i}.*nn.dropOutMask{i};
end
end

%calculate running exponential activations for use with sparsity
if(nn.nonSparsityPenalty>0) %在nnbp中用的到
nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1);
end

%Add the bias term%添加与bias相乘的1，等于加上偏执
nn.a{i} = [ones(m,1) nn.a{i}];
end
switch nn.output %输出层的激活函数
case 'sigm'
nn.a{n} = sigm(nn.a{n - 1} * nn.W{n - 1}');
case 'linear'
nn.a{n} = nn.a{n - 1} * nn.W{n - 1}';
case 'softmax'
nn.a{n} = nn.a{n - 1} * nn.W{n - 1}';
nn.a{n} = exp(bsxfun(@minus, nn.a{n}, max(nn.a{n},[],2)));
nn.a{n} = bsxfun(@rdivide, nn.a{n}, sum(nn.a{n}, 2));
end

%error and loss %真实值减去预测值
nn.e = y - nn.a{n};

switch nn.output %调用不同的损失函数
case {'sigm', 'linear'}
nn.L = 1/2 * sum(sum(nn.e .^ 2)) / m;
case 'softmax'
nn.L = -sum(sum(y .* log(nn.a{n}))) / m;
end
end

MATLAB深度学习代码详细分析(一)__nnff.m相关推荐

【MATLAB深度学习工具箱】学习笔记--体脂估计算例再分析：拟合神经网络fitnet里面的数据结构】
原文链接如下 [MATLAB深度学习工具箱]学习笔记--体脂估计Body Fat Estimation_bear_miao的博客-CSDN博客介绍本示例展示一个函数拟合神经网络如何根据解剖学测量结果估 ...
【MATLAB深度学习工具箱】学习笔记--体脂估计算例再分析：拟合神经网络fitnet里面的函数】
介绍上一篇 [MATLAB深度学习工具箱]学习笔记--体脂估计算例再分析:拟合神经网络fitnet里面的数据结构]_bear_miao的博客-CSDN博客原文链接如下[MATLAB深度学习工具箱]学 ...
MATLAB深度学习（1） --- 想要做好深度学习？数据集是第一步
MATLAB深度学习(1) --- 想要做好深度学习?数据集是第一步创作目的项目简介本期重点---数据集构建本文所使用数据集简介用table来搭建训练集总结创作目的大家好,这里是微信公 ...
(转)Matlab深度学习工具试玩手册一：基本操作与迁移学习
原贴博客:https://blog.csdn.net/zfrycw/article/details/80633979 目录前言一.利用现成网络进行分类二.构建简单的分类网络三.迁移学习前言 ...
从TensorFlow到DL4J——主流深度学习框架对比分析
从TensorFlow到DL4J--主流深度学习框架对比分析 2022年2月22日极链AI云官网地址点击注册更多AI小知识,关注<极链AI云>公众号文章目录从TensorFlo ...
Matlab深度学习-手写体数字识别
Matlab深度学习文章目录 Matlab深度学习前言一.MNIST手写体数字数据二.用到的深度学习框架-LeNet5 2-0 LeNet5的网络架构 2-1 框架实现-通过Matlab GU ...
【深度学习】EfficientNetV2分析总结和flops的开源库
[深度学习]EfficientNetV2分析总结和flops的开源库 1 EfficientNetV1中存在的问题 2 EfficientNetV2中做出的贡献 3 NAS 搜索 4 Efficien ...
CSDN技术主题月----“深度学习”代码笔记专栏
from: CSDN技术主题月----"深度学习"代码笔记专栏 2016-09-13 nigelyq 技术专题 Hi,各位用户 CSDN技术主题月代码笔记专栏会每月在CODE博客为 ...
深度学习在情感分析中的应用
然语言情感分析简介情感分析无处不在,它是一种基于自然语言处理的分类技术.其主要解决的问题是给定一段话,判断这段话是正面的还是负面的.例如在亚马逊网站或者推特网站中,人们会发表评论,谈论某个商品.事件 ...
深度学习笔记——情感分析
很早之前就想写一篇关于用深度学习做情感分析的文章,一直拖到现在,拖延症啊.... 什么是情感分析? 情感分析(Sentiment analysis)是自然语言处理(NLP)领域的一个任务,又称倾向性分 ...

MATLAB深度学习代码详细分析(一)__nnff.m

MATLAB深度学习代码详细分析(一)__nnff.m相关推荐

最新文章

热门文章