　　和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。

1. DNN的L1&L2正则化

　　　　想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。

　　　　而DNN的L2正则化通常的做法是只针对与线性系数矩阵WW,而不针对偏倚系数bb。利用我们之前的机器学习的知识，我们很容易可以写出DNN的L2正则化的损失函数。

　　　　假如我们的每个样本的损失函数是均方差损失函数,则所有的m个样本的损失函数为：

J(W,b)=12m∑i=1m||aL−y||22J(W,b)=12m∑i=1m||aL−y||22

　　　　则加上了L2正则化后的损失函数是：

J(W,b)=12m∑i=1m||aL−y||22+λ2m∑l=2L||w||22J(W,b)=12m∑i=1m||aL−y||22+λ2m∑l=2L||w||22

　　　　其中,λλ即我们的正则化超参数，实际使用时需要调参。而ww为所有权重矩阵WW的所有列向量。

　　　　如果使用上式的损失函数，进行反向传播算法时，流程和没有正则化的反向传播算法完全一样，区别仅仅在于进行梯度下降法时，WW的更新公式。

　　　　回想我们在深度神经网络（DNN）反向传播算法(BP)中，WW的梯度下降更新公式为：

Wl=Wl−α∑i=1mδi,l(ax,

深度神经网络（DNN）的正则化相关推荐

dnn神经网络_OpenCV3.3深度神经网络(DNN)模块
今天,甜菇凉整理了一下电脑里面OpenCV深度神经网络(DNN)模块-应用视频教程,这个是贾志刚老师的视频,学习视觉的同学应该都知道贾志刚老师吧,他的视频很适合想要入门计算机视觉图像处理的小白学习,那 ...
深度神经网络DNN的多GPU数据并行框架及其在语音识别的应用
http://www.csdn.net/article/2014-07-11/2820628-DNN 深度神经网络(Deep Neural Networks, 简称DNN)是近年来机器学习领域中的研究 ...
TensorFlow2.0(四)--Keras构建深度神经网络(DNN)
Keras构建深度神经网络(DNN) 1. 深度神经网络简介 2. Kerase搭建DNN模型 2.1 导入相应的库 2.2 数据加载与归一化 2.3 网络模型的构建 2.4 批归一化,dropout ...
讯飞输入法将深度神经网络DNN技术应用于语音识别达到业界领先水平
10月20日,以"语见更好的我们"为主题的"讯飞输入法10周年 A.I.输入沙龙"在北京举办.记者从活动现场了解到,自2010年10月上线至今,讯飞输入法的日语 ...
理解深度神经网络——DNN(Deep Neural Networks)
深度神经网络--DNN 是深度学习的基础. 要理解DNN最好先搞清楚它的模型.本篇博文主要对DNN的模型与前向传播算法做一个易于理解的总结. 1.从感知机到神经网络的理解. 感知机是这么一种模型:一个 ...
多层感知器及常见激活函数-深度神经网络DNN及计算推导
多层感知器在之前的博客中,我们了解到,感知器(指单层感知器)具有一定的局限--无法解决异或问题,即线性不可分的问题. 将多个单层感知器进行组合,就可以得到一个多层感知器(MLP--Multi-Lay ...
贾志刚OpenCV3.3深度神经网络DNN模块应用学习笔记
OpenCV3.3深度神经网络DNN模块应用全套视频.课程配套PPT的PDF版本和配套源码全套例程源码.用到的模型文件.图片和视频素材整理在线观看实例1:读取单张PNG文件(opencv3.3环 ...
深度神经网络DNN的理解
1.从感知机到神经网络上图是一个感知机模型,有若干个输入和一个输出(输出的结果只可以是1或-1) 输入和输出有一个线性关系: 神经元激活函数:(二分类) 由于这个简单的感知机只可以进行二分类,则对于 ...
dnn神经网络_【李宏毅机器学习笔记】深度神经网络(DNN)
当我们训练网络的时候,通常会出现如下两种情况: 第一种情况:训练数据表现不好,这种时候通常可以使用新的激活函数,或者调整学习率. 第二种情况:训练数据表现的很好,但是测试数据的表现很差,这个时候可以提 ...
深度神经网络(DNN)正向传播与反向传播推导（通俗易懂）
一.前言我在之前的博客里面介绍过浅层的神经网络,现在就从浅层神经网络出发,介绍深度神经网络(DNN)的正向传播和反向传播.希望网友们看本博客之前需要对神经网络有个简单的了解,或者可以看博客初探神经网 ...

深度神经网络（DNN）的正则化

1. DNN的L1&L2正则化

深度神经网络（DNN）的正则化相关推荐

最新文章

热门文章