吴恩达神经网络和深度学习-学习笔记-37-inception网络
inception层
inception层的基本思想是：不需要人为决定使用哪个过滤器、是否使用池化，而是由网络自行决定这些参数。你可以给网络添加这些参数的所有可能值，然后把这些输出连接起来，让网络学习自己需要什么样的参数、采用哪些过滤器组合。
inception层的作用是代替人工来确定卷积层中的过滤器类型，或者是否需要创建卷积层或池化层。虽然网络架构因此变得更复杂，但网络表现但非常好。
对于不同的选择均输出一个数据立方，用same padding的方法保持维度于输入一致，再将所有的选择的输出stack up堆叠起来。
由28×28×192变为28×28×256。
瓶颈层
inception层有一个计算成本（computational cost）的问题。
下面我们将注意力放到5×5的过滤器上：
直接这样来，要进行120M的运算。
我们在中间引入一个瓶颈层（bottleneck layer），瓶颈层也是网络最小的部分。
我们先缩小网格表示，然后在扩大它。
这样计算的计算次数为12.4M，远小于直接的120M。
inception层和瓶颈层小结
如果你在构建神经网络的时候，不想决定过滤器的类型、是否使用池化，inception网络就是最好的选择。
我们可以应用各种类型的过滤器，只需要把输出堆叠起来。
通过使用1×1卷积来构建瓶颈层，可以大大降低计算成本。事实证明，只要合理构建瓶颈层，就既可以显著缩小表示层规模，又不会降低网络性能。
inception module（模块）
对于卷积操作，有这里三种备选项：1×1卷积过滤器、3×3卷积过滤器、5×5卷积过滤器。
对于1×1过滤器，直接计算即可。对于3×3过滤器和5×5过滤器，中间采用1×1过滤器实现瓶颈层，以减小运算量。
对于池化操作，选用MaxPooling。为了减小池化选项所占据的通道数，后面跟上1×1卷积来减小nc。
最后将卷积和池化选项的结果堆叠在一起。
inception network（inception 网络）
图中的图例：
- 绿色：输入输出矩阵
- 蓝色：卷积层
- 红色：最大池化层
这是一篇论文中关于inception网络的图片。
图中有很多重复的模块是inception模块，除此之外还有单独的maxpooling来修改W和H。
而实际的网络还有一些分支：
这些分支与网络最后的全连接层相似，都用了Softmax来预测输出结果的标签。
这些分支确保了，即使是隐藏单元和中间层，也参与了特征计算，它们也能预测图片的分类。
它在inception网络中，起到一种调整的作用，并且能防止网络发生过拟合。
有一个inception网络是Google的GooLeNet。
吴恩达神经网络和深度学习-学习笔记-37-inception网络相关推荐
- 吴恩达神经网络与深度学习——深度神经网络
吴恩达神经网络与深度学习--深度神经网络 深度神经网络 符号 前向传播 矩阵维度 m个样本 为什么使用深层表示 搭建深层神经网络块 正向传播和反向传播 前向和反向传播 前向传播 反向传播 参数和超参数 ...
- 吴恩达神经网络和深度学习
[前言] 在学习了深度学习和神经网络之后,为什么我要以博客的形式来做笔记?这CSDN有那么多的优秀文章,我自己写的都比不上 别人的我写的真的有意义吗,为什么我要浪费大量的时间去做这项工作?我相信一句话 ...
- 吴恩达神经网络与深度学习——浅层神经网络
吴恩达神经网络与深度学习--浅层神经网络 神经网络概述 神经网络表示 计算神经网络的输出 m个样本的向量化 for loop 向量化 向量化实现的解释 激活函数 sigmoid tanh函数 ReLu ...
- 吴恩达神经网络和深度学习-学习笔记-38-使用开源的方案+迁移学习+数据增强data augmentation
使用别人的开源成果 想要用现成的网络,最好在网络上找到开源的实现,这要比从头开始实现快得多. 比如:直接在Google上搜索resnets github,找到合适的后点击下载会得到URL,然后在cmd ...
- 吴恩达神经网络和深度学习-学习笔记-28-端到端的深度学习（end-to-end deep learning ）
深度学习最令人振奋的最新动态之一,就是端到端深度学习end-to-end deep learning的兴起. 什么是"端到端深度学习" 以前有一些数据处理系统或学习系统,它们需要多 ...
- 吴恩达神经网络和深度学习-学习笔记-8-梯度消失与爆炸 + 梯度检测
梯度消失与爆炸 介绍 直观理解是: 权重W只比1(即单位矩阵)大一点,深度神经网络的激活函数将爆炸式增长. 权重W只比1(即单位矩阵)小一点,深度神经网络的激活函数将指数式递减. 虽然我(吴恩达老师) ...
- 吴恩达-神经网络和深度学习课程-学习心得(一)
前言: 陆陆续续学完了吴恩达老师在网易云课堂上开设的深度学习工程师微专业的部分内容(01.神经网络与深度学习,04.卷积神经网络,02.改善深层神经网络),在进一步应用实践之前,对之前的学习的内容做个 ...
- 吴恩达神经网络和深度学习-学习笔记-39-计算机视觉现状
Data vs hand-engineering 你可以把大部分的机器学习问题看成是在你的数据相对较少的地方,应用到你拥有大量数据的地方. 我们今天有相当数量的语音识别数据,至少相对于这个问题的复杂性 ...
- 吴恩达神经网络和深度学习-学习笔记-22-误差分析
单一误差分析 假设我们面对一个猫分类器的准确率不够的原因. 队友看了一下算法分类出错的例子,注意到算法将一些够狗分类为猫. 在这种条件下,我们应不应该做一个项目专门处理狗?比如搜集更多的狗的图片,或者 ...
- 吴恩达神经网络和深度学习-学习笔记-21-何时该改变开发集+测试集或指标
需要我们改变开发集+测试集或指标的情况,是现有的指标或开发测试集并不能帮助我们选择出最好的模型! 如果你的评估指标,无法正确评估好算法的排名,那么就需要花时间定义一个新的评估指标. (加权来排除某一类 ...
最新文章
- OpenCV代码提取：flip函数的实现
- 大数据的“近因偏差”烦恼
- 【Android 逆向】ELF 文件格式 ( ELF 程序头入口大小 | ELF 程序头入口个数 | ELF 文件节区头入口大小 | ELF 文件节区头入口个数 | 字符表序号 )
- Servlet的学习笔记
- ADO.NET_09_Using 关键字
- dataframe 空值替换为0_Python数据结构大结局：DataFrame
- 【专利提交】个人通过CPC客户端网上提交专利文稿的完整流程
- JS实现自动填写问卷【JS小工具】
- java如何调用百度地图拾取坐标系统
- The Love Dare爱的挑战
- 蓝牙技术|传统手表品牌加入智能手表竞争，智能手表市场持续火热
- ACM模版-f_zyj v 2.0——更新通知
- python画蝴蝶结_Shapely用户手册
- 《悲情曹雪芹》——诗篇总结
- windows 安装metis_图划分软件Metis的使用（win10+vs2017）
- 驱动开发思路以及应用程序与驱动程序的区别
- 电磁场仿真实验【matlab】静电场边值问题
- 蓝牙耳机哪款好用？2020高性能低延迟游戏蓝牙耳机推荐
- 当一个c语言表达式中同时含有,如果在一个C语言表达式中有多个运算符，则运算时应该（ ）...
- 深圳大数据培训：HDFS基本概念