深度学习（4）基础4 -- 神经网络架构激活函数过拟合处理
目录
一、神经网络架构
1、结构与意义
2、过程
1、输入数据，得到输入层
2、得到隐藏层1
3、得到隐藏层2
4、得到输出层
二、激活函数
激活函数概念
激活函数的选择
1、阶跃函数
2、Sigmoid函数
3、ReLU函数
三、过拟合处理
一、神经网络架构
1、结构与意义
神经网络一层一层地处理。
输入层（input layer）有多少个圈，代表输入数据多少。
隐层没有特定的含义，它只是一个数值，便于计算机更好地认识，隐层和每个输入层全连接。
2、过程
1、输入数据，得到输入层
2、得到隐藏层1
先输入数据，通过输入层[1*3]，经过权重参数矩阵w1[3*4]（3个参数变4个），把输入层的数据转转换一下。
3、得到隐藏层2
再经过w2[4*4]，把隐藏层1的结果再进行一次转换，得到w3
4、得到输出层
再经过w3[4,1]，把隐藏层2的结果再进行一次转换，得到最终的输出层（output layer）
注：该过程为非线性计算，每一步需要单独进行操作，不能一步到位。（如果w4=w1*w2*w3，不能用w4直接代替w1、w2、w3的过程，需要一步一步组合：即分别把输入和w1组合，再把结果和w2组合、再把结果和w3组合，得到结果）
二、激活函数
激活函数概念
首先，前向传播和反向传播都需要激活函数。
作用：在于决定如何激活输入信号的总和。
激活函数的选择
必须是非线性函数。
反例：（线性函数）
线性变换的话， 本质上没太大变化，还是一元一次函数。
1、阶跃函数
2、Sigmoid函数
梯度消失：
当x<-10或x>10时，其导数很小，当层数很多的时候，容易产生梯度消失现象。
3、ReLU函数
该函数是当前最常用的激活函数，既能解决梯度消失的情况，求导又比较简单。
三、过拟合处理
有时候会出现过拟合现象，是我们不希望看到的情况。
比如=0.001就是过拟合的情况：
在那个红圈的范围内，是绿色的可能性会更大。
要看的不是训练集，而是测试集的效果，我们希望它泛化能力越强越好。
过拟合解决方法：
1、正则化。
2、DROP-OUT：训练阶段损失一部分的神经元，防止过拟合。
（训练阶段每层抽取一部分神经元，测试不用管）
DROP-OUT：
深度学习（4）基础4 -- 神经网络架构激活函数过拟合处理相关推荐
- 【深度学习技术】卷积神经网络常用激活函数总结
本文记录了神经网络中激活函数的学习过程,欢迎学习交流. 神经网络中如果不加入激活函数,其一定程度可以看成线性表达,最后的表达能力不好,如果加入一些非线性的激活函数,整个网络中就引入了非线性部分,增加了 ...
- 【深度学习】华为轻量级神经网络架构GhostNet再升级，GPU上大显身手的G-GhostNet（IJCV22）...
作者丨Ziyang Li 编辑丨极市平台 导读 本文围绕网络部署时面临的内存和资源问题,分享了如何从可视化和大量实验结果中得到Ghost特征的思想.作者设计出相比C-Ghost更适用于GPU等设备的G ...
- 深度学习——02、深度学习入门——经典卷积神经网络架构实例——RNN
RNN 对比 传统神经网络 递归神经网络 RNN网络的特点:能够实现记忆功能 RNN的正向传播和反向传播 缺陷:储存量巨大,信息有冗余. 应用:自然语言处理
- 深度学习——02、深度学习入门——经典卷积神经网络架构实例——VGGNet
Case Study:VGGNet
- 深度学习——02、深度学习入门——经典卷积神经网络架构实例——AlexNet
Case Study:AlexNet
- 深度学习原理-----全连接神经网络
系列文章目录 深度学习原理-----线性回归+梯度下降法 深度学习原理-----逻辑回归算法 深度学习原理-----全连接神经网络 深度学习原理-----卷积神经网络 深度学习原理-----循环神经网 ...
- 【深度学习入门基础】一、从线性代数和微积分的角度看神经网络
[深度学习入门基础]从线性代数和微积分的角度看神经网络 这是深度学习入门系列文章,我们企图用最简洁的语言.最干净的表达,让读者快速获取到他所想要的.本系列文章持续更新.一些网上能查到的基础知识,诸如激 ...
- 深度学习-Tensorflow2.2-卷积神经网络{3}-卷积神经网络CNN基础-11
CNN 简介 实现对图像的高准确率识别离不开一种叫做卷积神经网络的深度学习 技术. 卷积神经网络主要应用于计算机视觉相关任务,但它能处理的任务并 不局限于图像,其实语音识别也是可以使用卷积神经网络. ...
- 浅谈深度学习的基础——神经网络算法(科普)
浅谈深度学习的基础--神经网络算法(科普) 神经网络算法是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助 ...
最新文章
- 祝51CTO 生日快乐
- CISCO CCNA RIP
- 怎样更好地使用快捷键？
- python 计算算术平方根
- python真的越来越重要吗-为什么现在越来越多人的想学习python,你也是吗，未来到底怎样？...
- C语言编写扫雷小游戏
- CUDA编程中内存管理机制
- python 批量修改密码
- mysql 逗号金额比较,如何使用MySQL比较两个逗号分隔的字符串列表
- 中移动飞信2010Beta1.0体验版
- 拼图java监听器,Android 简单的实现滑块拼图验证码功能
- 分布式缓存系统 Memcached 【转载】
- 个性化推荐从入门到精通（附推荐产品经理修炼秘籍）
- 计算机刻录光盘不显示,为什么我的CD刻录光盘的容量在
- 为Eureka Server添加用户认证
- c语言bim的题目,BIM考试选择题精选
- 编码浅析 ASCII EASCII GBK系列 Uincode UTF-8/16/32
- F28335的ePWM模块
- 攻防世界 Reverse logmein
- pada aws configuration