理解深度神经网络——DNN(Deep Neural Networks)
深度神经网络——DNN 是深度学习的基础。
要理解DNN最好先搞清楚它的模型。本篇博文主要对DNN的模型与前向传播算法做一个易于理解的总结。
1.从感知机到神经网络的理解。
感知机是这么一种模型:一个有若干输入和一个输出的模型。看下图:
输出和输入之间学习到一个线性关系,得到中间输出结果:
接着是一个神经元激活函数:
从而得到想要的结果1或者-1.
这个模型只能用于二元分类,且无法学习比较复杂的非线性模型,因此在工业界无法使用。
而神经网络则在感知机的模型上做了扩展,总结下主要有三点:
1. 加入了隐藏层,隐藏层可以有多层,增强模型的表达能力,如下图实例,当然增加了这么多隐藏层模型的复杂度也增加了好多。
2. 输出层的神经元也可以不止一个输出,可以有多个输出,这样模型可以灵活的应用于分类回归,以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图,输出层现在有4个神经元了。
2. 对激活函数做扩展,感知机的激活函数是sign(z)虽然简单但是处理能力有限,因此神经网络中一般使用的其他的激活函数,比如我们在逻辑回归里面使用过的Sigmoid函数,即:
还有后来出现的tanx, softmax,和ReLU等。通过使用不同的激活函数,神经网络的表达能力进一步增强。以后会有专门的激活函数专栏。
2.DNN的基本结构
神经网络是基于感知机的扩展,而DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东西,DNN有时也叫做多层感知机(Multi-Layer perceptron,MLP)。
从DNN按不同层的位置划分,DNN内部的神经网络层可以分为三类,输入层,隐藏层和输出层,如下图示例,一般来说第一层是输入层,最后一层是输出层,而中间的层数都是隐藏层。
层与层之间是全连接的,也就是说,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂,但是从小的局部模型来说,还是和感知机一样,即一个线性关系:
由于DNN层数多,则我们的线性关系系数w和偏倚b的数量也就是很多了。具体的参数在DNN是如何定义的呢?
3 DNN前向传播算法数学原理
4 DNN前向传播算法
所谓的DNN前向传播算法就是利用若干个权重系数矩阵W,偏倚向量b来和输入值向量x进行一系列线性运算和激活运算,从输入层开始,一层层的向后计算,一直到运算到输出层,得到输出结果为值。
输入: 总层数L,所有隐藏层和输出层对应的矩阵W,偏倚向量b,输入值向量x
输出:输出层的输出。
5 DNN反向传播算法要解决的问题
6 DNN反向传播算法的基本思路
在进行DNN反向传播算法前,我们需要选择一个损失函数,来度量训练样本计算出的输出和真实的训练样本输出之间的损失。
DNN可选择的损失函数有不少,为了专注算法,这里使用最常见的均方差来度量损失。
即对于每个样本,我们期望最小化下式:
损失函数有了,用梯度下降法迭代求解每一层的w,b。
7 DNN反向传播算法过程
由于梯度下降法有批量(Batch),小批量(mini-Batch),随机三个变种,为了简化描述,这里我们以最基本的批量梯度下降法为例来描述反向传播算法。实际上在业界使用最多的是mini-Batch的梯度下降法。区别仅仅在于迭代时训练样本的选择。
8 均方差损失函数+Sigmoid激活函数的问题
在讲反向传播算法时,我们用均方差损失函数和Sigmoid激活函数做了实例,首先我们就来看看均方差+Sigmoid的组合有什么问题。
首先我们回顾下Sigmoid激活函数的表达式为:
9 交叉熵损失函数+Sigmoid激活函数改进DNN算法收敛速度
理解深度神经网络——DNN(Deep Neural Networks)相关推荐
- 【机器学习网络】神经网络与深度学习-6 深度神经网络(deep neural Networks DNN)
目录 深度神经网络(deep neural Networks DNN) DNN的底层原理 深度学习网络的问题: 案例1:书写数字识别(梯度下降法详解) 男女头发长短区分案例(为什么隐藏层追求深度): ...
- 深度神经网络DNN的多GPU数据并行框架 及其在语音识别的应用
http://www.csdn.net/article/2014-07-11/2820628-DNN 深度神经网络(Deep Neural Networks, 简称DNN)是近年来机器学习领域中的研究 ...
- TensorFlow2.0(四)--Keras构建深度神经网络(DNN)
Keras构建深度神经网络(DNN) 1. 深度神经网络简介 2. Kerase搭建DNN模型 2.1 导入相应的库 2.2 数据加载与归一化 2.3 网络模型的构建 2.4 批归一化,dropout ...
- 如何正确理解深度学习(Deep Learning)的概念
现在深度学习在机器学习领域是一个很热的概念,不过经过各种媒体的转载播报,这个概念也逐渐变得有些神话的感觉:例如,人们可能认为,深度学习是一种能够模拟出人脑的神经结构的机器学习方式,从而能够让计算机具有 ...
- 什么是深度学习?45分钟理解深度神经网络和深度学习 刘利刚教授
什么是深度学习? - 45分钟理解深度神经网络和深度学习 刘利刚 中国科学技术大学图形与几何计算实验室 http://staff.ustc.edu.cn/~lgliu [绪言] 近年来,人工智能(Ar ...
- [译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)...
译自:http://sebastianruder.com/multi-task/ 1. 前言 在机器学习中,我们通常关心优化某一特定指标,不管这个指标是一个标准值,还是企业KPI.为了达到这个目标,我 ...
- 文献分享:利用深度神经网络和单导联心电信号Detection of sleep apnea using deep neural networks and single-lead ECG signals
原文链接:Detection of sleep apnea using deep neural networks and single-lead ECG signals - ScienceDirect ...
- Deep Neural Networks for YouTube Recommendations 双语译文+理解
目录 Deep Neural Networks for YouTube Recommendations Abstract 摘要 INTRODUCTION 1 引言 2 SYSTEM OVERVIEW ...
- 吴恩达深度学习笔记——卷积神经网络(Convolutional Neural Networks)
深度学习笔记导航 前言 传送门 卷积神经网络(Convolutional Neural Networks) 卷积神经网络基础(Foundations of Convolutional Neural N ...
最新文章
- 快速排序 python菜鸟教程-1.6 快速排序
- 1、操作系统基础概念
- QT的QVectorIterator类的使用
- docker入门之容器网络
- 【Sublime】使用 Sublime 工具时运行python文件
- 码农回忆刚毕业工作的那年
- python generator
- 多行文本溢出显示省略号
- 拓端tecdat|R语言文本挖掘使用tf-idf分析NASA元数据的关键字
- 刘强东案章泽天首发声;科大讯飞回应 AI 同传造假;新 iPhone 被指存缺陷 | 极客头条...
- html5跳转页面接收参数,HTML页面跳转及参数传递问题
- 用MATLAB沉降观测实验,观测沉降论文,关于建筑物沉降观测数据处理相关参考文献资料-免费论文范文...
- Google I/O 2021:在重要时刻提供帮助
- 给女友定时发送睡前小故事
- JAVA线上故障排查招式
- 【剑桥摄影协会】色彩管理之概述
- python基础3---循环和字符串列表
- Signal Processing投稿经历
- 苹果手机白屏_安卓卡顿苹果闪退,手机换代的动力原来是这些
- ubuntu启动后一直黑屏
热门文章
- Java程序获取和修改.wav音频文件的内部结构
- X must be 1D: shape is (1440, 1)
- Cubase中MIDI设备的如何创建面板
- 笔记本电脑同时连接内外网亲测有效
- gitlab合并分支后需要提交吗_Gitlab合并了两个分支
- unity 摄像头跟着鼠标移动_unity第三视角移动,摄像机跟随
- 速腾雷达录包方法(32线)
- Robosense速腾激光雷达使用坐标变换功能
- TPS Motion(CVPR2022)视频生成论文解读
- 最新版HBuilderx + 夜神模拟器 模拟器调试设置