39_上下采样、MaxPool2d、AvgPool2d、ReLU案例、二维最大池化层和平均池化层、填充和步幅、多通道
1.34.PyTorch Down/up sample (pytorch上下采样)
1.34.1. 首先介绍下采样
1.34.1.1. MaxPool2d案例
1.34.1.2. AvgPool2d案例
1.34.2. F.interpolate案例(上采样)
1.34.3.ReLU案例
1.34.4.Pooling
1.34.4.1.二维最大池化层和平均池化层
1.34.4.2.填充和步幅
1.34.4.3.多通道
1.34.4.4.小结
1.34.PyTorch Down/up sample (pytorch上下采样)
pooling(池化)层原则上为采样操作,与upsample(上采样)不同的是,pooling为下采样操作,即将feature map变小的操作。
那么下采样和上采样是什么含义呢?
1.34.1.首先介绍下采样
如图所示,将图片上的矩阵由右变向左的操作即为下采样。上图可见是每隔1个元素取一个样,向右方向取了A和B、向下方向取了A和C。这样完成了44矩阵向22矩阵的转化。
而在卷积神经网络中,以max pooling操作为例:
过程如下
Kernel size为2*2的小窗口,在第一个框内取了最大值6后,向右方向进行了步长为2的移动,在2、4、7、8四个值中取了最大值8。同理再进行向下移动。
与max pooling对应的还有Avg pooling,即取平均数。
比较简单,这里不再赘述。
那么在pytorch中如何完成pooling(下采样)操作。
1.34.1.1.MaxPool2d案例
# -*- coding: UTF-8 -*-import torch
import torch.nn as nn# 先定义x
x = torch.rand(1, 16, 28, 28)
# 括号内第一个参数是:窗口的大小,第二个是移动的步长距离
layer = nn.MaxPool2d(2, stride=2)
out1 = layer(x)
print(out1.size())
"""输出结果:
torch.Size([1, 16, 14, 14])
"""
1.34.1.2.AvgPool2d案例
# -*- coding: UTF-8 -*-import torch
import torch.nn as nn# 先定义x
x = torch.rand(1, 16, 28, 28)
# 括号内第一个参数是:窗口的大小,第二个是移动的步长距离
layer = nn.AvgPool2d(2, stride=2)
# 进行Avg pooling的计算
out2 = layer(x)
print(out2.size())
"""
输出结果:
torch.Size([1, 16, 14, 14])
"""
1.34.2.F.interpolate案例(上采样)
同样向上采样的过程为:
如上图从左至右的过程为上采样过程。上图将原数据进行复制即得到新的数据。
在PyTorch中,代码为:
# -*- coding: UTF-8 -*-import torch
import torch.nn.functional as F# 先定义x
x = torch.rand(1, 16, 28, 28)
# 上采样的API为: .interpolate
# 括号内参数为输入的tensor、放大的倍率、模式为紧邻差值法
out = F.interpolate(x, scale_factor=2, mode='nearest')
print(out.size())
"""
输出结果:
torch.Size([1, 16, 56, 56])
"""
Bias和input channel不发生改变,原来的2828放大两倍至5656
1.34.3.ReLU案例
下面再简单扼要的介绍ReLU的效果:
之前有介绍过ReLU函数时将低于某个阈值的输出全部归为0,高于阈值的线性输出。
上图是使用效果图。将黑色区块全部取消:
# -*- coding: UTF-8 -*-import torch
import torch.nn as nnx = torch.rand(1, 16, 28, 28)
layer = nn.ReLU(inplace=True)
out = layer(x)
print(out.size())
"""
在进行ReLU操作,进行inplace操作后,较小值会变为零,但数据的size不会发生改变。
通过这种数据会节省一部分的数据存储量。
输出结果:
torch.Size([1, 16, 28, 28])
"""
1.34.4.Pooling
一个典型的训练神经网络的步骤是:
- 定义一个包含一组待学习的参数的神经网络
- 将数据输入到神经网络中并进行前向传播
- 根据损失函数计算输出结果与目标值之间的差距
- 进行梯度反向传播到各个参数
- 更新网络参数,典型的更新方式是:weight=weight-learning_rate*gradinet
实际图像里,我们感兴趣的物体不会总出现在固定位置:即使我们连续拍摄同一个物体也极有可能出现像素位置上的偏移。这会导致同一个边缘对应的输出可能出现在卷积输出Y中的不同位置,进而对后面的模式识别造成不便。
Pooling层,它的提出是为了缓解卷积层对位置的过度敏感性。
1.34.4.1.二维最大池化层和平均池化层
同卷积层一样,池化层每次对输入数据的一个固定形状窗口(又称池化窗口)中的元素计算输出。不同于卷积层里计算输入和核的互相关性,池化层直接计算池化窗口内元素的最大值或者平均值。该运算也分别叫做最大池化或平均池化。在二维最大池化中,池化窗口从输入数组的最左上方开始,按从左往右、从上往下的顺序,依次在输入数组上滑动。当池化窗口滑动到某一位置时,窗口中的输入子数组的最大值即输出数组中相应位置的元素。
图5.6展示了池化窗口形状为2 × 2的最大池化,阴影部分为第一个输出元素及其计算所使用的输入元素。输出数组的高和宽分别为2,其中的4个元素由取最大值运算max得出:
二维平均池化的工作原理与二维最大池化类似,但将最大运算符替换成平均运算符。
1.34.4.2.填充和步幅
同卷积层一样,池化层也可以在输入的高和宽两侧的填充并调整窗口的移动步幅来改变输出形状。池化层填充和步幅与卷积层填充和步幅的工作机制一样。我们将通过nn模块里的二维最大池化层MaxPool2d来演示池化层填充和步幅的工作机制。我们先构造一个形状为(1,1,4,4)的输入数据,前两个维度分别是批量和通道。
X = torch.arange(16, dtype=torch.float).view((1, 1, 4, 4))
X
“””
输出结果:
tensor([[[[ 0., 1., 2., 3.],[ 4., 5., 6., 7.],[ 8., 9., 10., 11.],[12., 13., 14., 15.]]]])
“””
默认情况下,MaxPool2d实例里步幅和池化窗口形状相同。下面使用形状为(3,3)的池化窗口,默认获得形状为(3,3)的步幅。
pool2d = nn.MaxPool2d(3)
pool2d
“””
输出结果:
tensor([[[[ 5., 7.],[13., 15.]]]])
“””
当然,我们也可以指定非正方形的池化窗口,并分别指定高和宽上的填充和步幅。
pool2d = nn.MaxPool2d((2, 4), padding=(1,2), stride=(2, 3))
pool2d(X)
“””
输出:
tensor([[[[ 1., 3.],[ 9., 11.],[13., 15.]]]])
“””
1.34.4.3.多通道
在处理多通道输入数据时,池化层对每个输入通道分别池化,而不是像卷积层那样将各通道的输入按通道相加。这意味着池化层的输出通道数与输入通道数相等。下面将数组X和X+1在通道维上连结来构造通道数为2的输入。
X = torch.cat((X, X + 1), dim = 1)
X
“””
输出:
tensor([[[[ 0., 1., 2., 3.],[ 4., 5., 6., 7.],[ 8., 9., 10., 11.],[12., 13., 14., 15.]],[[ 1., 2., 3., 4.],[ 5., 6., 7., 8.],[ 9., 10., 11., 12.],[13., 14., 15., 16.]]]])
“””
池化后,我们发现输出通道数仍然是2。
pool2d = nn.MaxPool2d(3, padding=1, stride=2)
pool2d(X)
“””
输出:
tensor([[[[ 5., 7.],[13., 15.]],[[ 6., 8.],[14., 16.]]]])
“””
1.34.4.4.小结:
最大池化和平均池化分别取池化窗口中输入元素的最大值和平均值作为输出。
池化层的一个主要作用是缓解卷积层对位置的过度敏感性。
可以指定池化层的填充和步幅。
池化层的输出通道数跟输入通道数相同。
39_上下采样、MaxPool2d、AvgPool2d、ReLU案例、二维最大池化层和平均池化层、填充和步幅、多通道相关推荐
- web前端-综合应用案例-二维码名片的制作-educoder
第1关:二维码名片页面的结构设计 <!doctype html> <html lang="en"> <head> <meta charse ...
- 【愚公系列】2023年04月 .NET CORE工具案例-二维码生成器QRCoder
文章目录 前言 一.二维码生成器QRCoder 1.QRCoder是什么 2.安装包 3.普通二维码 3.1 创建二维码 3.2 设置二维码颜色 3.3 带logo的二维码 4.艺术二维码 4.1 创 ...
- W3 D2 二维数组及案例
二维数组及案例 二维数组 1.二维数组定义方式 2.二维数组数组名(地址相关) 3.输出相关 4.练习: (1).将二维数组行列进行互换,存放另一数组中 (2).求二维数组中最大元素值及其行列号 (3 ...
- Java实现二维码,验证码详细总结
一.概述 1)各类码图如二维码,验证码此类码图的生成,实际原理就是后台通过某种规则去生成图片流,将图片流返回给前端后,前端进行显示.后续内容将展开BufferedImage的实际应用. 2)此篇文章来 ...
- 使用Python的库qrcode生成二维码
现在有很多二维码的生成工具,在线的,或者安装的软件,都可以进行生成二维码.今天我用Python的qrcode库生成二维码.需要预先安装 Image 库 安装 用pip安装 # pip install ...
- 二维火:智能餐饮云端互联
简介:随着物联网行业的快速发展,在就餐高峰期,海量终端设备与后台餐饮系统之间存在频繁的双向交互,比如订单消息.支付消息等,需要一款中间件作为终端设备与后台应用之间的消息通道! 作者:鹿玄 杭州迪火科技 ...
- 二维码学习笔记(二) | 数据分析与数据编码
唠唠闲话 二维码笔记系列(原文地址): 『二维码学习笔记(一) | 二维码概述』 『二维码学习笔记(二) | 数据分析与数据编码』 『二维码学习笔记(三) | 纠错编码』 『二维码学习笔记(四) | ...
- python批量识别二维码图片_python批量操作生成二维码
二维码又称QR Code,QR全称Quick Response,是一个近几年来移动设备上超流行的一种编码方式,它比传统的Bar Code条形码能存更多的信息,也能表示更多的数据类型.生成二维码的方式有 ...
- 二维火视频菜单,开启沉浸式点餐新体验
后疫情时代来临,餐饮行业在疫情期间受影响巨大,为了战胜疫情餐饮行业的从业人员和企业付出了巨大的牺牲和贡献,疫情期间餐饮商家和餐饮营销管理从业人士不遗余力的想尽一切办法营销自救,创新出了引领行业的新的思 ...
最新文章
- LeetCode 7. 整数反转 Reverse Integer 官网答案的条件判定的一点思考
- 两点补充——CSS3新属性以及弹性布局
- timestamp 转换 date mysql_MySQL时间函数 | 时间戳和日期之间得转换
- 配置HAProxy支持https协议
- MyEclipse中SVN的常见的使用方法
- C++头插法尾插法建立单链表,合并两个有序单链表
- java 环绕通知_aop 环绕通知 可以计算机 程序执行的时间
- ecshop ipdel.php,去除Ecshop后台调用api.ecshop.com官网后门代码
- linux rps值大小,Linux系统中RPS/RFS介绍
- redis zset转set 反序列化失败_关于Redis中的五种数据结构,要知其然知其所以然...
- java struts xml文件设置----自定义日期转换器(局部,及全局类型转换器类)
- 仿生软体机器人就业咋样_SRT近亿元B轮融资,中国软体机器人技术从空白到全球领先...
- 接VS2010+Net+MVC3+EF4.1环境下的Code First一文的补充说明
- 坦克大战小游戏的实现
- linux打印机设置密码,linux桌面打印机配置指南 | 高蛋白网
- 555555555 5555555555 55 55555555
- 使用STM32,接触USB功能
- SQL的常见函数的使用方法和举例说明
- 计算机专业有哪些【含金量超高竞赛】?
- 分析classpath、path、JAVA_HOME的作用及JAVA环境变量配置(转发博客园)
热门文章
- android launcher主要功能_[Android] 自动收取蚂蚁森林能量
- java架构师_前谷歌高级Java架构师分享工作8年经验(如何成为一名架构师)
- python3num='0123456789,num「:6:-1」=gt; '987'?「1:6:-1」为空
- 3.odoo13之跟着官网做项目/实例(模型关联,模型类模型表的关联)
- 机器学习(5.sklearn归一化以及标准化)
- Flask框架(flask-script扩展命令行和flask中数据库migrate扩展的使用)
- 爬虫实战:通过百度关键词爬取大量图片
- opencv学习笔记20:图像轮廓
- Python os.path() 模块 详解 附算例
- VTK:平面源用法实战