吴恩达神经网络和深度学习-学习笔记-34-LeNet-5 + Alexnet + VGG
找感觉最好的方法之一,就是去看一些案例。通过研究别人构建有效组件的案例,是个不错的方法。
实际上,在计算机视觉任务中表现良好的神经网络框架,往往也适用于其他任务。也就是说,如果有人已经训练或计算出擅长识别猫狗人的神经网络框架,而你的计算机识别的任务是构建一个自动驾驶汽车,你完全可以借鉴别人的神经网络框架,来解决自己的问题。
Classic networks
- LeNet-5
- Alexnet
- VGG
- ResNet(残差网络)(152层)
- Inception
LeNet-5
LeNet-5 was trained on grayscale images.
参数数目大约6W个。
依旧是老生常谈的:
- 维度的变化和变化趋势
- 激活函数选Relu
- 最后一个sigmoid
AlexNet
参数数目:6000W
第一卷积层:
- 输入维度:227×227×3
- 滤波器参数:尺寸11×11,步长4,个数96
- 输出维度:(227-11)/4 + 1 = 55×55×96
第一池化层:
- 输入维度:55×55×96
- 参数:尺寸3×3,步长2
- 输出维度:(55-3)/2 + 1 = 27×27×96
第二卷积层:
- 输入维度:27×27×96
- 滤波器参数:尺寸5×5,same padding
- 输出维度:27×27×256
第二池化层:
- 输入维度:27×27×256
- 参数:尺寸3×3,步长2
- 输出维度:(27-3)/2 + 1 = 13×13×256
第三卷积层:
- 输入维度:13×13×256
- 滤波器参数:尺寸3×3,same padding
- 输出维度:13×13×384
第四卷积层:
- 输入维度:13×13×384
- 滤波器参数:尺寸3×3,same padding
- 输出维度:13×13×384
第五卷积层:
- 输入维度:13×13×384
- 滤波器参数:尺寸3×3,same padding
- 输出维度:13×13×256
第三池化层:
- 输入维度:13×13×256
- 参数:尺寸3×3,步长2
- 输出维度:(13-3)/2 + 1 = 6×6×256
将6×6×256拉直为9216×1
第一全连接层:
- 输入维度:9216×1
- 输出维度:4096×1
第二全连接层:
- 输入维度:4096×1
- 输出维度:4096×1
Softmax:1000
AlexNet这个网络与LeNet有很多相似之处,但是要大得多。
AlexNet使用ReLU激活函数
VGG-16
VGG-16是一种只需要专注于构建卷积层的简单网络。
因此,VGG网络的一大优点是,它的确简化了神经网络结构。
16指的是这个网络包含了16个卷积层和全连接层。
参数数目:1.38亿
这个网络在卷积的部分讲的很粗略(连续的卷积如何设计维度变化)。
VGG-16吸引人的地方:
- VGG的结构并不复杂,而且网络结构很规整,都是几个卷积层后面跟着可以压缩图像大小的池化层。
- 卷积层过滤器的数量变化存在规律。64 -> 128 -> 256 -> 512。每一步都进行翻倍(每一组过滤器进行过滤器翻倍操作),正是设计此种网络的另一个简单原则。
VGG-16的主要缺点:
需要训练的特征数量非常巨大
吴恩达神经网络和深度学习-学习笔记-34-LeNet-5 + Alexnet + VGG相关推荐
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
- 吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果 想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习(end-to-end deep learning )
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸 介绍 直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
- 吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
- 吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
- 吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析 假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
- 吴恩达神经网络和深度学习-学习笔记-21-何时该改变开发集+测试集或指标
需要我们改变开发集+测试集或指标的情况,是现有的指标或开发测试集并不能帮助我们选择出最好的模型! 如果你的评估指标,无法正确评估好算法的排名,那么就需要花时间定义一个新的评估指标. (加权来排除某一类 ...
最新文章
- SAP MM 同一个序列号可以被多次用在交货单发货过账?
- Mysql-ROW_FORMAT
- 不用 H5,闲鱼 Flutter 如何玩转小游戏?
- Ubuntu中运行pip时报错
- 【NOIP模拟】方格稿纸
- Pokemon Go将在日本发布 网络安全公司呼吁防范虚假软件
- hive mysql元数据表说明
- 安装php-zbarcode的步骤方法
- mysql备份的 三种方式
- win10系统steam登陆计算机授权,Steam怎样取消电脑授权 设置里面有
- 暴风影音去广告补丁NSIS代码开放
- 七牛云 转码_普通音视频转码(avthumb)
- 【重构学习】02 何处重构?
- word中运行Mathtype报错问题解决方案(The MathType DLL cannot be found)
- 流线动态图python_流的解释|流的意思|汉典“流”字的基本解释
- LibcSearcher找不到合适的libc(更新到python3版本Libc)
- 珍惜那些在背后默默为你付出的人
- 魏则西事件与百度医疗竞价排名引发的伦理与道德问题
- Magento高级产品订阅
- 彻底清楚搞懂toRef和toRefs是什么,也许你知道toRef和toRefs,一直有点蒙蔽,一直没搞懂它,看完这篇文章你彻底清楚
热门文章
- mysql数据库对象管理_MySQL管理与优化(15):优化数据库对象
- Vuex的核心概念state
- 微信小程序获取 openid
- windows openssl环境变量_run custom build command for `openssl-sys v0.9.55`
- java8 clock_java8新的时间api
- 梦幻群侠传5帮派修炼_梦幻群侠传5唯美版
- C# 使用同余代换简化多个大数相乘取模运算
- 【2020模拟考试T4】【PAT乙】1034 有理数四则运算 (20分) 测试点2
- 【NOI OpenJudge】【1.1】编程基础之输入输出
- android 获取程序名,Android_Android获取应用程序名称(ApplicationName)示例,MainActivity如下: 复制代码 代码 - phpStudy...