卷积神经网络基础:(7)经典的网络架构
目录
经典网络架构:
(1)Alexnet:
(2)Vgg:
(3)Resnet
经典网络架构:
(1)Alexnet:
12年的经典之作,他是一个8层的网络,有5层的卷积,3层的全连接,其中的LRN层后来被证明没用,就不用去管他了。
(2)Vgg:
14年的经典之作,比12年的改进了很多,右边是vgg有很多不同的版本,红色框起来的是比较主流的版本,Vgg所有的卷积都是3x3的(比较小),都是细粒度进行特征提取;
Vgg有16层和19层的版本,Vgg中每经过一次pooling,会损失一部分特征信息,体积会变成原来的1/4,会损失信息,Vgg网络在经过pooling之后会损失信息,他会想办法弥补回来,他会在下一次卷积过程当中,使得特征图翻倍,pooling前是64个特征图,pooling后特征图是128个特征图,等等,使用特征图个数翻倍来弥补长宽的损失信息。
感受野:最终当前一个点能够感受到原始区域的一个大小,这叫做一个感受野。
(3)Resnet
15年提出的,这个网络基本的出发点就是有一个保底,我们的网络学习完之后至少不会比原来的网络差。
上一部分是之前遇到的问题,在Vgg上网络层数越多,网络结构越深,但是error却越大,所以增加层数的时候,后边增加的层数学习的不好,影响了效果;为了解决这个问题,残差网络出现了,既要增加层数,也要保证学习的效果好一些。
所以15年提出了同等映射,我希望加进来一层,虽然你表现的不好,我不能给你剔除掉,但是你表现不好我让你为0就好了,相当于你加进来我不用你,我知道你表现不好,我把你的权重参数设置为0,我不用你这一层。
Resnet效果:
左边是传统网络,层数越高他的error值越大;右边是Resnet,层数越大比之前效果好了,所以说有了残差网络,他相当于把深度学习给救活了,神经网络的层数可以超过20层达到几百层1千层都没问题,不会比原来差但是提升也不大。
PS:所以以后大家在做一些实际的问题中,肯定要选择不同的神经网络去做,建议首选是残差网络。
建议把这个网络理解成特征提取,不建议把他当做一个分类网络,因为一个问题他是分类还是回归决定于的是损失函数还有最后的层是怎么连的,所以Resnet既然当做一个特征提取,他能够运用到各种各样的框架当中,物体检测的,物体追踪的、分类的、检索的、识别的、什么样的任务都能用,他相当于是一个通用的网络结构,能够到101层(101层是比较常见的数值);
卷积神经网络基础:(7)经典的网络架构相关推荐
- 深度学习笔记 第四门课 卷积神经网络 第一周 卷积神经网络基础
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
- 温州大学《深度学习》课程课件(七、卷积神经网络基础)
这学期我上的另一门课是本科生的<深度学习>,主要用的是吴恩达老师的<深度学习>视频课的内容. 使用教材:吴恩达<深度学习>课程笔记 课外参考书:<深度学习&g ...
- 计算机视觉:卷积神经网络基础
计算机视觉:卷积神经网络基础 计算机视觉概述 计算机视觉的发展历程 卷积神经网络 卷积(Convolution) 卷积计算 填充(padding) 步幅(stride) 感受野(Receptive F ...
- 花书+吴恩达深度学习(十四)卷积神经网络 CNN 之经典案例(LetNet-5, AlexNet, VGG-16, ResNet, Inception Network)
目录 0. 前言 1. LeNet-5 2. AlexNet 3. VGG-16 4. ResNet 残差网络 5. Inception Network 如果这篇文章对你有一点小小的帮助,请给个关注, ...
- 【AI Studio】飞桨图像分类零基础训练营 - 03 - 卷积神经网络基础
前言:第三天,老师结合ppt文图详细讲解了线性和卷积网络的构建,由简单到复杂的讲解卷积网络的发展.最后结合几个项目加深理解.愈发感觉老师讲的好了.第二天的课听完后还感觉自己什么都懂了,结果轮到自己动手 ...
- 卷积神经网络 神经网络,卷积神经网络基础知识
卷积神经网络通俗理解 . 卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetwork ...
- 【三】零基础入门深度学习:卷积神经网络基础之初识卷积
(给机器学习算法与Python学习加星标,提升AI技能) 作者 | 孙高峰 百度深度学习技术平台部资深研发工程师 内容来源 | 百度飞桨深度学习集训营 本文转自飞桨PaddlePaddle 导读 百度 ...
- 研究生新生培训第二周:卷积神经网络基础
part 1:视频学习 学习内容专知课程<卷积神经网络基础>,主要内容包括CNN基本结构和典型的神经网络结构 一.卷积神经网络基本结构 1.卷积层 卷积层中定义的基本概念: 卷积神经网络的 ...
- CNN卷积神经网络基础
转自:http://www.sohu.com/a/138403426_470008 卷积神经网络基础 神经网络 先借用 CNTK 的一个例子,来看看如何使用神经网络来进行分类.如果想根据一个人的年龄和 ...
- 计算机视觉——卷积神经网络基础
计算机视觉--卷积神经网络基础 文章目录 计算机视觉--卷积神经网络基础 一.计算机视觉的发展历程 二.卷积神经网络 卷积(Convolution) 卷积计算 填充(padding) 步幅(strid ...
最新文章
- 二叉树前序遍历-递归与非递归
- windows2012下一端口多网站 Apache配置
- 计算机职称在线考试报名系统,2020年计算机职称考试网上如何报名
- MathType可以编辑省略号吗
- LeetCode-Scramble String
- [转载] 将一个整数型字符串转换为一个整数
- 如何查看linux系统的存储空间大小,linux 如何查看硬盘大小,存储空间大小等系统信息及硬件信息...
- Python脚本-导出SQL查询结果到Excel文件
- 区块链和央行数字货币DCEP
- chloe.mysql_WPF权限控制——【3】数据库、自定义弹窗、表单验证
- 前端使用 video标签 设置 autoplay 无法自动播放
- Windows搭建幼麟麻将运行环境
- Codesys电子凸轮表的规划与凸轮曲线的拟合
- 亚马逊asin关键词排名追踪_亚马逊listing关键词的挖掘和布局!让产品关键词排名上首页...
- ffmpeg example演示教程 -AudioDecode
- 如何进行shell脚本正确性测试
- 2021美团杯CTF ez-sql
- 大数据集群失联问题解决方案
- 计算机网络cdma计算过程
- Dozer 轻松高效玩转DTO(Data Transfer Object)
热门文章
- 2021年大数据环境搭建(一):​​​​​​​​​​​​​​​​​​​​​Hadoop编译
- 2021年大数据Spark(十五):Spark Core的RDD常用算子
- Python 函数的可变参数(*paramter与**paramter)的使用
- python 的保留字
- python3 内置函数map 返回的迭代器转为列表
- Java开发工具简介
- Android开发遇到eclipse运行程序时报timeout
- python+selenium浏览器常用操作(一)
- spring 组件基于注解的注册方式
- 如何在sqlite3连接中创建并调用自定义函数