深度学习中的几大模型

一、AlexNet 模型
1、提出了LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。
2、数据增强，随机地从256×256的原始图像中截取224×224大小的区域（以及水平翻转的镜像）。使用了数据增强大大减轻过拟合，提升泛化能力。（进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10次结果求均值。同时，AlexNet论文中提到了会对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动，增加一些噪声，这个Trick可以让错误率再下降1%。）

二、VGG 模型
（1）LRN层作用不大。
（2）越深的网络效果越好。
（3）1×1的卷积也是很有效的，但是没有3×3的卷积好，大一些的卷积核可以学习更大的空间特征。

三、ResNet模型
VGGNets证明了加深网络层次是提高精度的有效手段，但是由于梯度弥散的问题导致网络深度无法持续加深。梯度弥散问题是由于在反向传播过程中误差不断累积，导致在最初的几层梯度值几乎为0，从而无法收敛。
但ResNet模型通过“残差网络”的方法实现使其变成残差结构，使其收敛效果都急剧提高，精度也随着训练次数地增加持续提高，并且不断加深网络深度还可以持续提高准确率。
1、始需要学习的知识变少，容易学习
2、使每一层的数据分布更接近，容易学习

四、InceptionNet模型
待续

深度学习中的几大模型相关推荐

ML之模型文件：机器学习、深度学习中常见的模型文件(.h5、.keras)简介、h5模型文件下载集锦、使用方法之详细攻略
ML之模型文件:机器学习.深度学习中常见的模型文件(.h5..keras)简介.h5模型文件下载集锦.使用方法之详细攻略目录 ML/DL中常见的模型文件(.h5..keras)简介及其使用方法一. ...
深度学习中的Normalization模型（附实例公式）
来源:运筹OR帷幄本文约14000字,建议阅读20分钟. 本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,从一个新的数学视角分析了BN算法为什么有效. [ 导读 ]不 ...
深度学习中的Normalization模型
/*本文可以随便转载,转载时请注明作者及文章出处*/ 作者:新浪微博张俊林 Batch Normalization(简称BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种 ...
深度学习中的Normalization模型——张俊林阅读笔记
原文链接:https://mp.weixin.qq.com/s?__biz=Mzg2MTA0NzA0Mw==&mid=2247489324&idx=1&sn=6d76ba15f ...
pytorch 训练过程acc_深度学习Pytorch实现分类模型
今天将介绍深度学习中的分类模型,以下主要介绍Softmax的基本概念.神经网络模型.交叉熵损失函数.准确率以及Pytorch实现图像分类.01Softmax基本概念在分类问题中,通常标签都为类别,可 ...
深度学习中的Normalization总结
写在前面在查batch normalization和layer normalization的区别的时候看到的文章,总结得非常好.怕以后找不到忘记看,先在这里存档一下. 深度学习中的Normaliza ...
深度学习中的注意力机制(2017版)
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ 张俊林 (本文2017年发表于<程序员>杂志7月刊) (想更系统的学习深度学习知识?请参考:深度学习枕边书) 如果 ...
深度学习中眼花缭乱的Normalization学习总结
点击下方标题,迅速定位到你感兴趣的内容前言相关知识 Batch Normalization(BN) Layer Normalization(LN) Weight Normalization(WN) ...
关于深度学习中的注意力机制，这篇文章从实例到原理都帮你参透了（很系统，重点看）
最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理.图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一. 本文以机器翻译为 ...

深度学习中的几大模型

深度学习中的几大模型相关推荐

最新文章

热门文章