DNN(深度神经网络)

深度神经网络（Deep Neural Networks，以下简称DNN）

神经网络发展

第一代神经网络又称为感知器，由科学家Frank Rosenblatt发明于1950至1960年代，它的算法只有两层，输入层输出层，，主要使用的是一种叫做sigmoid神经元（sigmoid neuron）的神经元模型，主要是线性结构。它不能解决线性不可分的问题，如异或操作。
为了解决第一代神经网络的缺陷，在1980年左右提出第二代神经网络多层感知器（MLP）。和第一代神经网络相比，第二代在输入输出层之间有增加了隐含层的感知机，引入一些非线性的结构，解决了之前无法模拟异或逻辑的缺陷。第二代神经网络让科学家们发现神经网络的层数直接决定了它对现实的表达能力，但是随着层数的增加，优化函数愈发容易出现局部最优解的现象，由于存在梯度消失的问题，深层网络往往难以训练，效果还不如浅层网络。
2006年Hinton采取无监督预训练（Pre-Training）的方法解决了梯度消失的问题，使得深度神经网络变得可训练，将隐含层发展到7层，有一个预训练的过程。使用微调技术作为反向传播和调优手段。减少了网络训练时间，并且提出了一个新的概念叫做"深度学习，
直到2012年，在ImageNet竞赛中，Hinton教授的团队，使用以卷积神经网络为基础的深度学习方案，他们训练的模型面对15万张测试图像时，预测的头五个类别的错误率只有 15.3%，而排名第二的日本团队，使用的SVM方法构建的模型，相应的错误率则高达 26.2%。从此一战成名！2012年后深度学习就成为主流。

DNN

DNN是一个很广的概念，CNN（卷积神经网络）、RNN（递归神经网络）等都属于其范畴之内。CNN多用于网络结构数据类型的任务，如图像；RNN多用于时间序列类型的任务，如音频、文本（NLP）等

DNN神经网络的组成：

输入层：神经网络的第一层，原始的样本数据
隐藏层：除了输入层，输出层，中间的都是隐藏层
输出层：神经网络的最后一层，最终的计算结果

神经网络的特点：

每个连接都有个权值
同一层神经元之间没有连接
最后的输出结果对应的层也称之为全连接层

由于DNN层数多，权重系数w和偏置b的数量很多。在DNN是如何定义的呢？
以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为w³₂₄。上标3代表w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4，输入层是没有w参数的

偏置b，以这个三层的DNN为例，第二层的第三个神经元对应的偏置定义为b²₃上标2代表所在的层数，下标3代表偏置所在的神经元的索引。输入层是没有偏置参数b的。

DNN(深度神经网络)相关推荐

DL之ANN/DNN：人工神经网络ANN/DNN深度神经网络算法的简介、应用、经典案例之详细攻略
DL之ANN/DNN: 人工神经网络ANN/DNN深度神经网络算法的简介.应用.经典案例之详细攻略相关文章 DL:深度学习(神经网络)的简介.基础知识(神经元/感知机.训练策略.预测原理).算法分类 ...
【预测模型】基于DNN深度神经网络实现minist数据集预测matlab源码
一.DNN深度神经网络介绍神经网络简史神经网络技术起源于上世纪五.六十年代,当时叫感知机(perceptron),拥有输入层.输出层和一个隐含层.输入的特征向量通过隐含层变换达到输出层,在输出层得 ...
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构有什么区别？...
2019独角兽企业重金招聘Python工程师标准>>> 科言君每周六提供一份高质量回答. 首先,我感觉不必像 @李Shawn 同学一样认为DNN.CNN.RNN完全不能相提并论.从 ...
CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的内部网络结构区别...
神经网络技术起源于上世纪五.六十年代,当时叫感知机(perceptron),拥有输入层.输出层和一个隐含层.输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果.早期感知机的推动者是Rosen ...
深度神经网络实践：车牌识别
深度神经网络实践:车牌识别任务描述: 深度神经网络(DNN) 数据集介绍 1.数据准备 2.定义模型 3.训练模型 4.模型评估 5.使用模型 5.1对车牌图像进行预处理 5.2 对标签进行转换 5 ...
神经网络深度神经网络,深度神经网络应用实例
深度学习在现实生活中到底有什么作用?会给生活带来什么变化? 其实咱们的实际生活中已经有很多应用深度学习技术的案例了. 比如电商行业,在浏览淘宝时,页面中有很多都是符合你的爱好并且最近有意向购买的商品, ...
卷积神经网络和深度神经网络的区别是什么？
作者:飘哥链接:https://www.zhihu.com/question/29366638/answer/864113705 DNN是指深度神经网络,它是一个很广的概念,某种意义上CNN.RNN ...
dnn神经网络_OpenCV3.3深度神经网络(DNN)模块
今天,甜菇凉整理了一下电脑里面OpenCV深度神经网络(DNN)模块-应用视频教程,这个是贾志刚老师的视频,学习视觉的同学应该都知道贾志刚老师吧,他的视频很适合想要入门计算机视觉图像处理的小白学习,那 ...
Keras入门（一）搭建深度神经网络（DNN）解决多分类问题
Keras介绍 Keras是一个开源的高层神经网络API,由纯Python编写而成,其后端可以基于Tensorflow.Theano.MXNet以及CNTK.Keras 为支持快速实验而生,能够把 ...

DNN(深度神经网络)

深度神经网络（Deep Neural Networks，以下简称DNN）

DNN

DNN(深度神经网络)相关推荐

最新文章

热门文章

DNN(深度神经网络)

深度神经网络（Deep Neural Networks， 以下简称DNN）

DNN

DNN(深度神经网络)相关推荐

最新文章

热门文章

深度神经网络（Deep Neural Networks，以下简称DNN）