2.1 全连接神经网络

2.1.1 全连接神经网络的定义

全连接网络：网络层的每一个结点都与上一层的所有结点相连。

2.1.2 对于每一个神经元

每一个神经元都可以分为两部分：求和函数、激活函数部分
1：求和函数
z=w1Tx1+w2Tx2+⋯+wnTxnz=w_1^{\rm T}x_1+w_2^{\rm T}x_2+\cdots+w_n^{\rm T}x_nz=w1Tx1+w2Tx2+⋯+wnTxn
2:激活函数
y=f(z)y=f(z)y=f(z)

2.1.3 激活函数带来了什么？

如果没有激活函数，我们的求和函数拟合能力均为线性的：

而激活函数的作用在于，为我们的模型提供了非线性的拟合能力。

激活函数的实例：

2.1.4 常见激活函数举例

阶跃函数

step(x)={1x>00x<0step(x)=\begin{cases}1\;\;\;x>0\\0\;\;\;x<0\end{cases}step(x)={1x>00x<0
sigmoid函数

sigmoid(x)=11+e−xsigmoid(x)=\frac{1}{1+e^{-x}}sigmoid(x)=1+e−x1
tanh函数

tanh(x)=ex−e−xex+e−xtanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x
relu函数

2.1.5 交叉熵损失

CrossEntropy=−∑i=1N∑j=1Cyijln⁡(yij^)CrossEntropy=-\sum_{i=1}^N\sum_{j=1}^Cy_{ij}\ln(\hat{y_{ij}})CrossEntropy=−i=1∑Nj=1∑Cyijln(yij^)

其中，yijy_{ij}yij是真实值，yij^\hat{y_{ij}}yij^是预测值（取值范围为0-1），NNN为样本总量，CCC是类别数

2.1.6 权重初始化

均匀分布初始化：生成的数据服从均匀分布w∼U(−limit,limit)w\sim U(-limit,limit)w∼U(−limit,limit)，limitlimitlimit为人为设定
高斯分布初始化：生成的数据服从高斯分布w∼N(0,σ2)w\sim N(0,\sigma^2)w∼N(0,σ2)，标准差σ\sigmaσ人为设定。

注：以上都是针对权重www的初始化，截距bbb一般会设置常数000来初始化。

2.1 全连接神经网络相关推荐

深蓝学院第二章：基于全连接神经网络(FCNN)的手写数字识别
如何用全连接神经网络去做手写识别??? 使用的是jupyter notebook这个插件进行代码演示.(首先先装一个Anaconda的虚拟环境,然后自己构建一个自己的虚拟环境,然后在虚拟环境中安装ju ...
PyTorch基础入门五：PyTorch搭建多层全连接神经网络实现MNIST手写数字识别分类
)全连接神经网络(FC) 全连接神经网络是一种最基本的神经网络结构,英文为Full Connection,所以一般简称FC. FC的准则很简单:神经网络中除输入层之外的每个节点都和上一层的所有节点有连 ...
使用tensorflow实现全连接神经网络的简单示例，含源码
看别人的代码和自己写代码,两种的难度和境界真是不一样.昨天和今天尝试着写一个简单的全连接神经网络,用来学习一个基本的模型,在实现的过程中遇到了不少的坑,虽然我已经明白了其中的原理. 我想了一个教材上面 ...
Tensorflow【实战Google深度学习框架】全连接神经网络以及可视化
文章目录 1 可视化神经网络的二元分类效果 2 全连接神经网络 3 TensorFlow搭建一个全连接神经网络 3.1 读取MNIST数据 3.2 建立占位符 3.3 建立模型 3.4 正确率 3. ...
图像识别python cnn_MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（一）...
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 全连接神经网络是深度学习的基础,理解它就可以掌握深度学习的核心概念:前向传播.反向误差传递.权重.学习 ...
简单的全连接神经网络(tensorflow实现)
简单的全连接神经网络,网络结构为2-2-1 代码如下: #encoding='utf-8' """ created on 2018-08-10 @author wt &q ...
TF之DNN：TF利用简单7个神经元的三层全连接神经网络【2-3-2】实现降低损失到0.000以下
TF之DNN:TF利用简单7个神经元的三层全连接神经网络实现降低损失到0.000以下(输入.隐藏.输出层分别为 2.3 . 2 个神经元) 目录输出结果实现代码输出结果实现代码 # -*- c ...
基于PyTorch框架的多层全连接神经网络实现MNIST手写数字分类
多层全连接神经网络实现MNIST手写数字分类 1 简单的三层全连接神经网络 2 添加激活函数 3 添加批标准化 4 训练网络 5 结论参考资料先用PyTorch实现最简单的三层全连接神经网络,然后 ...
MINIST深度学习识别：python全连接神经网络和pytorch LeNet CNN网络训练实现及比较（三）...
版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 在前两篇文章MINIST深度学习识别:python全连接神经网络和pytorch LeNet CNN网 ...
全连接神经网络_【模型解读】从“局部连接”回到“全连接”的Non-Local神经网络...
文章首发于<有三AI> [模型解读]从"局部连接"回到"全连接"的神经网络mp.weixin.qq.com 这是深度学习模型解读第9篇,本篇我们简 ...

2.1 全连接神经网络

2.1 全连接神经网络

2.1.1 全连接神经网络的定义

2.1.2 对于每一个神经元

2.1.3 激活函数带来了什么？

2.1.4 常见激活函数举例

2.1.5 交叉熵损失

2.1.6 权重初始化

2.1 全连接神经网络相关推荐

最新文章

热门文章