23.卷积神经网络实战-ResNet
目录
- 一个残差结构
- 小结
- 代码
- Res残差结构
- Resnet结构
一个残差结构
一个weight layer由一个卷积层一个bn层组成。
当ch_in与,ch_out不等时,通过代码使得[b,ch_in,h,w] -> [b,ch_out,h,w],把,ch_in变成,ch_out。
forward中x与out不等时,在x前加一个extra()。
我们4个block中h和w是变化的,只是在此处表达的时候没有变。
我们进行一个小测试
blk=ResBlk(64,128)tmp=torch.randn(2,64,32,32)out=blk(tmp)print(out.shape)
我们的channel越来越大,我们的长和宽保持不变,最终导致我们的参数量越来越大。
我们需要长和宽减半,我们需要在参数部分添加stride,stride为1时,输入和输出非常接近,当为2时,有可能输出为输入的一半。
blk=ResBlk(64,128,stride=2)tmp=torch.randn(2,64,32,32)out=blk(tmp)print(out.shape)
blk=ResBlk(64,128,stride=4)tmp=torch.randn(2,64,32,32)out=blk(tmp)print(out.shape)
如果是match,就不会报错。
进行人为的调试:
print('after conv:', x.shape)x=self.outlay(x)
修改参数:
self.conv1=nn.Sequential(nn.Conv2d(3,64,kernel_size=3,stride=3,padding=0),nn.BatchNorm2d(64))# followed 4 blocks#[b,64,h,w]->[b,128,h,w]self.blk1=ResBlk(64,128,stride=2)# [b,128,h,w]->[b,2556,h,w]self.blk2=ResBlk(128,256,stride=2)# [b,256,h,w]->[b,512,h,w]self.blk3=ResBlk(256,512,stride=2)# [b,512,h,w]->[b,1024,h,w]self.blk4=ResBlk(512,512,stride=2)self.outlay=nn.Linear(512*1*1,10)
小结
整体是先对数据做一个预处理,然后进行4个block,每一个block都由2个卷积和一个短接层组成,处理过程中数据的channel会慢慢增加,但是长和宽会减少,得到(512,512),再把这个(512)打平后送入全连接层,做一个分类的任务。这就是ResNet的一个基本结构。
代码
import torch
from torch import nn
from torch.nn import functional as Fclass ResBlk(nn.Module):'''resnet block'''def __init__(self,ch_in,ch_out,stride=1):''':param ch_in::param ch_out:'''super(ResBlk, self).__init__()self.con1=nn.Conv2d(ch_in,ch_out,kernel_size=3,stride=stride,padding=1)self.bn1=nn.BatchNorm2d(ch_out)self.con2=nn.Conv2d(ch_out,ch_out,kernel_size=3,stride=1,padding=1)self.bn2=nn.BatchNorm2d(ch_out)self.extra=nn.Sequential()if ch_out != ch_in:self.extra=nn.Sequential(nn.Conv2d(ch_in,ch_out,kernel_size=1,stride=stride),nn.BatchNorm2d(ch_out))def forward(self,x):''':param x:[b,ch,h,w]:return:'''out=F.relu(self.bn1(self.con1(x)))out=self.bn2(self.con2(out))# short cut# extra model:[b,ch_in,h,w] with [b,ch_out,h,w]out=self.extra(x)+outreturn outclass ResNet18(nn.Module):def __init__(self):super(ResNet18, self).__init__()self.conv1=nn.Sequential(nn.Conv2d(3,64,kernel_size=3,stride=3,padding=0),nn.BatchNorm2d(64))# followed 4 blocks#[b,64,h,w]->[b,128,h,w]self.blk1=ResBlk(64,128,stride=2)# [b,128,h,w]->[b,2556,h,w]self.blk2=ResBlk(128,256,stride=2)# [b,256,h,w]->[b,512,h,w]self.blk3=ResBlk(256,512,stride=2)# [b,512,h,w]->[b,1024,h,w]self.blk4=ResBlk(512,512,stride=2)self.outlay=nn.Linear(512*1*1,10)def forward(self,x):''':param x::return:'''x=F.relu(self.conv1(x))# [b,64,h,w]->[b,1024,h,w]x=self.blk1(x)x=self.blk2(x)x=self.blk3(x)x=self.blk4(x)# print('after conv:', x.shape)# x=self.outlay(x)x=F.adaptive_avg_pool2d(x,[1,1])x=x.view(x.size(0),-1)x=self.outlay(x)return xdef main():blk=ResBlk(64,128,stride=4)tmp=torch.randn(2,64,32,32)out=blk(tmp)print('block:',out.shape)x=torch.randn(2,3,32,32)model=ResNet18()out=model(x)print('resnet:',out.shape)if __name__ == '__main__':main()
Res残差结构
参考up主:https://www.bilibili.com/video/BV1J3411C7zd?vd_source=a0d4f7000e77468aec70dc618794d26f
实线与虚线的区别就是相加的维度是否相同。
对于右面,[56,56,64]与[28,28,128]维度不同,高和宽通过stride=2改变,深度64到128通过1×1的卷积核进行升维。
Resnet结构
23.卷积神经网络实战-ResNet相关推荐
- 【TensorFlow实战】TensorFlow实现经典卷积神经网络之ResNet
ResNet ResNet(Residual Neural Network)通过使用Residual Unit成功训练152层深的神经网络,在ILSVRC 2015比赛中获得冠军,取得3.57%的to ...
- 【Pytorch神经网络理论篇】 13 深层卷积神经网络介绍+池化操作+深层卷积神经网络实战
1 深层卷积神经网络概述 1.1 深层卷积神经网络模型结构图 1.1.1 深层卷积神经网络的正向结构构成剖析 输入层,将每个像素作为一个特征节点输入网络. 卷积层:由多个滤波器组合而成. 池化层:将卷 ...
- tensorflow卷积神经网络实战:Fashion Mnist 图像分类与人马分类
卷积神经网络实战:Fashion Mnist 图像分类与人马分类 一.FashionMnist的卷积神经网络模型 1.卷积VS全连接 2.卷积网络结构 3.卷积模型结构 1)Output Shape ...
- 独家 | 一文带你上手卷积神经网络实战(附数据集学习资料)
原文标题:Understanding deep Convolutional Neural Networks with a practical use-case in Tensorflow and Ke ...
- 【卷积神经网络】ResNet翻译详解
论文题目:Deep Residual Learning for Image Recognition 论文地址:https://arxiv.org/pdf/1512.03385.pdf Pytorch官 ...
- 卷积神经网络实战二 电机轴承故障分类
项目导论 最近实验室要接一个故障分类的项目,数据主要是传感器测得的各种数据,现在先用网上的数据集学习一下怎么处理. 数据集介绍 采用由凯斯西储大学轴承数据中心网站发布的电机轴承数据.此网站提供正常运行 ...
- 卷积神经网络实战一 水果分类
主要环境配置 win10,pycharm Python3.6 keras2.2.0 numpy1.16.0 pillow8.1.1 scipy1.5.4 tensorflow-gpu1.11.0 先使 ...
- TensorFlow(7)卷积神经网络实战(1)(可视化)
目录 基础理论 卷积 卷积核与过滤器的区别 一.获取数据集 二.设定数据集大小.归一化 三.构建卷积神经网络 四.编译&&训练 五.模型评估 六.可视化 1.创建plt图 2.获取各卷 ...
- 22.卷积神经网络实战-Lenet5
目录 CIFAR10数据集介绍 实例 完整代码 CIFAR10数据集介绍 10类,每一类有6000张照片,50000张training,10000张test. 实例 从datasets包中加载数据集, ...
最新文章
- java日期时间的转化
- linux comm 12,Linux comm命令
- SQVI和SAP查询QUERY的区别和使用注意事项
- 微信开发系列之十 - 在SAP C4C接收微信发送过来的服务请求回应
- EfficientPS:目前排名第一的高效高精度全景分割算法
- ubuntu 11.10下载和编译Android源码
- 【机器学习】监督学习--(回归)决策树③--回归树
- C++ 虚函数,纯虚函数,抽象类整理
- java基础英语---第二十四天
- 黑苹果hackintosh wifi驱动安装
- 快速学会关键路径、最早开始时间和最晚开始时间的计算
- chd6.0.1 kerberos安装碰到问题:
- 用 Uno Platform 构建一个 Kanban-style Todo App
- 计算机与网络应用word题目解析,计算机二级word真题:《计算机与网络应用》教材的编排...
- 简单几步:图解——VS2012发布网站详细步骤
- 放不下的原理_想要彻底忘记一个人,明白“洛克定律”的真实原理就可以
- 从《沙丘》到《三体》,科幻IP影视化改编究竟难在哪?
- Linux开发工具整理
- arduino开关控制RGB三色小灯程序,按一下亮一个颜色,松开熄灭,三种不同颜色,程序代码,以及连线图。
- msvcp140.dll重新安装的解决方法【msvcp140.dll修复工具下载】