神经网络-多层前馈神经网络

神经网络-反向传播算法
神经网络-激活函数

神经网络是将许多个神经元按一定的层次结构连接起来的网络结构。不同的层次结构会产出不同类型神经网络，比如前馈神经网络和递归神经网络。

神经元

神经元是神经网络最重要的组成部分，下图为一个神经元的示意图，箭头的方向就是数据运行的方向。 $(a_1,a_2,...,a_n)$ 为神经元接受的输入向量a， $(w_1,w_2,...,w_n)$ 为输入向量各个分量的权重w；b为偏置项bias，该条连接的输入固定为1。它可以让建模能力更强，更灵活。红色圆圈内为一个神经元处理信息的过程，里面又包括了SUM和f两部分。SUM为一个线性函数，将输入向量和权重向量的内积，输出的结果再传入激活函数f，最后输出结果t。

一个神经元的功能是求得输入向量与权重向量的内积后，经过一个非线性函数也就是激活函数得到一个标量结果。

$t = f(aw+b)$

它会把一个n维向量空间用一个超平面分割成两部分，给定一个输入向量，神经元可以判断出这个向量位于超平面的哪一边。所以一个神经元就相当于做了一个二分类。(做回归任务的时候，神经元也相当于一个二分类吗？)

我们主要讲多层前馈神经网络。

多层前馈神经网络

多层前馈神经网络是由输入层，若干个隐藏层和输出层组成的全连接网络，不存在环或回路。。每一层都由多个神经元组成，神经元和输入向量全连接，但是神经元和神经元之间没有连接，也不存在跨层连接。每一层的输出结果会作为下一层的输入向量，比如hidden layer1的输出向量为hidden layer2的输入向量。输入层不会对数据进行处理，只是代表整个神经网络最开始的输入向量，也就是样本的特征向量。神经网络的输入为向量，最后的输出也是向量。输出向量的维度取决于输出层神经元的个数。

多层前馈神经网络可以看作是非线性复合函数，它的学习过程就是将输入沿着网络结构的方向一层，一层的正向传播直到输出层，然后再通过反向传播算法 (BP) 对权重和偏置项进行跟更新。然后循环整个过程，直到满足最大迭代次数或者在验证集上的错误率变化不大。

当问题是回归问题时，损失函数为均方误差:

$L(y,\widehat{y})=\frac{1}{2}\sum_{i}^{n}(\widehat{y_i}-y_i)^2$

当问题是分类问题时，损失函数多为交叉熵，最后一层的激活函数为softmax函数:

$\widehat{y}=softmax(z)$ , z为上一层神经元的输出

$L(y,\widehat{y})=-y^Tlog\widehat{y}$

参考链接：https://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C

https://blog.csdn.net/qq_22690765/article/details/75050943

https://www.leiphone.com/news/201711/MWEDFvRMdOyN7Evm.html

神经网络-多层前馈神经网络相关推荐

什么是多层前馈神经网络,多层前馈神经网络原理
前馈神经网络.BP神经网络.卷积神经网络的区别与联系一.计算方法不同1.前馈神经网络:一种最简单的神经网络,各神经元分层排列.每个神经元只与前一层的神经元相连.接收前一层的输出,并输出给下一层．各层 ...
多层前馈神经网络实例——R语言
数据集准备这里使用一个宏观数据集,因变量是Y,一共有六个自变量,共计228条记录.数量有点少,不过凑合着用用吧. > head(data_csdn)Y X1 X2 X3 X4 X5 X6 1 ...
常见的五种神经网络(1)-前馈神经网络
转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thi ...
几种主要的神经网络----全连接神经网络、前馈神经网络、卷积神经网络、循环神经网络
几种主要的神经网络一.全连接神经网络二.前馈神经网络(Feedforward neural network,FNN) 三.卷积神经网络(Convolutional Neural Network,C ...
卷积神经网络与前馈神经网络
常见的人工神经网络结构人工神经网络是一类由人工神经元组成的网络,常见的神经网络结构包括: 前馈神经网络(Feedforward Neural Network,FNN):最简单的神经网络结构,由一个输 ...
人工神经网络基础——前馈神经网络
什么是人工神经网络? 人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物 ...
深度学习1：神经网络基础前馈神经网络Feedforward Neural Network（基于Python MXNet.Gluon框架）
目录神经网络背景常用的深度学习框架机器学习的三个基本要素模型学习准则损失函数 0-1损失函数 0-1 Loss Function 平方损失函数 Quadratic Loss Functio ...
神经网络基础-前馈神经网络
深度学习基础知识和各种网络结构实战 ... 神经网络基础-补充深度学习前言一.基于MNIST数据集前馈神经网络总结前言一.基于MNIST数据集前馈神经网络 # 开发时间 :2021/6/ ...
【Matlab】基于多层前馈网络BP神经网络实现多分类预测（Excel可直接替换数据）
[Matlab]基于多层前馈网络BP神经网络实现多分类预测(Excel可直接替换数据) 1.算法简介 1.1 算法原理 1.2 算法流程 2.测试数据集 3.替换数据 4.混淆矩阵 5.对比结果 6. ...

神经网络-多层前馈神经网络

神经网络-多层前馈神经网络相关推荐

最新文章

热门文章