1. u-net介绍

2. u-net网络结构

3. u-net 网络搭建

3.1 DoubleConv

3.2 Down 下采样

3.3 Up 上采样

3.4 网络输出

3.5 UNet 网络

UNet 网络

forward 前向传播

3.6 网络的参数

4. 完整代码

1. u-net介绍

Unet网络是医学图像分割领域常用的分割网络，因为网络的结构很像个U，所以称为Unet

Unet 网络是针对像素点的分类，之前介绍的LeNet、ResNet等等都是图像分类，最后分的是整幅图像的类别，而Unet是对像素点输出的是前景还是背景的分类

注：因为Unet 具体的网络框架均有所不同，例如有的连续卷积后会改变图像的size，有的上采样用的是线性插值的方法。这里只介绍same卷积和上采样用的转置卷积

Unet网络是个U型结构，左边是Encoder，右边为Decoder

左边是下采样的过程，通过减少图像size，增加图像channel来提取特征。

右边是还原图像的过程，上采样将逐步还原图像的size，这里上采样的输入特征图不仅仅是上一步的输出，还包含了左边对应特征信息。

2. u-net网络结构

本章采用的unet网络如图，为了后面数据的训练和预测。这里实现的方式和下图有些细小的区别，具体的会在下面讲解

首先，网络输入图像的size设定为（480，480）的灰度图像（注意：这里输入是单通道的灰度图）

然后经过成对的3*3卷积，将图像的深度加深，变成维度为（64，480，480），这里因为图像的size没有变，又因为kernel_size = 3，stride = 1，因此需要保证padding = 1

接下来是下采样层，先经过一个最大池化层，stride = 2，kernel_size = 2 将图像的size变为原来的一半。然后接两个3*3 的卷积，输出的特征图维度是（128，240，240）

下采样层总共有四次，根据每次下采样都会将图像的size减半，图像的channel翻倍来计算的话。最后一次图像的size = 480 / (2^4) = 30 ，channel = 64 * (2^4) = 1024 ，所以最后一次下采样图像的维度为（1024，30，30）------> 这里和图上不一样，因为后面用的是转置卷积

左边的下采样部分实现后，就是右边的上采样部分

上采样会使图像的channel减半，size变为两倍，正好和下采样的部分反过来。这里利用的操作是转置卷积，转置卷积具体的实现这里不做介绍，主要看它的维度变换。转置卷积变换的公式为：

$out = (in - 1) * stride - 2 * padding + ksize$

这里为了保证图像的size变为两倍，所以要保证 out = 2 * in ，而in的系数2只能从stride来，所以公式变为out = 2 * in - 2 - 2 * padding + ksize ，这里我们让ksize = 2，因此padding = 0 就可以满足要求。而channel的减半只需要把卷积核的个数减半即可

之前介绍过，最后一层的维度是（1024，30，30），这样通过转置卷积的操作图像的维度就变成了（512，60，60），刚好等于左边下采样的维度！！所以将它们加在一块，然后进行成对的3*3卷积

之后就是和下采样的次数一样，重复四次上采样，直到将图像还原成（64，480，480）

最后一步，如果是图像分类的话，这里应该是全连接层找最大的预测值了。但是Unet是像素点的分类，所以最后产生的也是一副图像，因为这时候图像的size已经是480不需要变了，只需要将图像的channel改变，所以这里只需要一个kernel_size = 1的卷积核就可以了。

注：最后输出图像的维度是（480，480）的灰度图像，准确的说是二值图像

3. u-net 网络搭建

3.1 DoubleConv

观察unet 网络可以发现，3*3的卷积核都是成对出现的，所以这里将成对卷积核的操作封装成一个类

1. 因为采用的是两个连续的3*3 卷积，不改变图像的size，所以这里卷积的参数要设置padding=1

2. ResNet 介绍过，BN代替Dropout 的时候，不需要Bias

3. 最后经过ReLU 激活函数

3.2 Down 下采样

然后定义下采样的操作

1. 这里下采样采用的就是最大池化层，kernel_size = 2,padding =2 会让图像的size减半

2. 然后经过两个连续3*3 的卷积

3. 将下采样+两个3*3 的卷积封装成一个新的类Down

3.3 Up 上采样

然后是定义上采样

1. 上采样用的是转置卷积，会将图像的size扩大两倍

2. 注意这里不是定义成 Sequential ，因为 Sequential 会从上到下顺序传播。这里还需要一步尺度融合，就是拼接的操作

3. 前向传播的时候，图像首先上采样，会将channel减小一半，size扩大两倍。这样就和左边对应的下采样的位置维度一致，将它们通过torch.cat 拼接，dim = 1是因为batch的维度是0 。然后经过两个3*3 的卷积就行了

3.4 网络输出

最后网络的输出很简单，经过一个1*1 的卷积核，不改变size的情况下。通过卷积核的个数调整图像的channel就行了

3.5 UNet 网络

UNet 网络

网络的框架很简单，因为每个小的模块已经搭好了，将它们拼接起来就行了

因为搭建小的模块的时候，我们对于模块的输入都是in和out channel，所以在定义网络的时候，每个模块只要传入对应的channel就行了。

这里按照UNet 网络的框架设置

forward 前向传播

前向传播的过程如下：

在下采样的时候，每个输出都要用变量保存，为了和后面上采样拼接使用

3.6 网络的参数

# 计算 UNet 的网络参数个数
model = UNet(in_channels=1,num_classes=1)
print("Total number of paramerters in networks is {}  ".format(sum(x.numel() for x in model.parameters())))

UNet 网络参数个数为：

4. 完整代码

代码：

import torch.nn as nn
import torch# 搭建unet 网络
class DoubleConv(nn.Module):    # 连续两次卷积def __init__(self,in_channels,out_channels):super(DoubleConv,self).__init__()self.double_conv = nn.Sequential(nn.Conv2d(in_channels,out_channels,kernel_size=3,padding=1,bias=False),     # 3*3 卷积核nn.BatchNorm2d(out_channels),                                               # 用 BN 代替 Dropoutnn.ReLU(inplace=True),                                                      # ReLU 激活函数nn.Conv2d(out_channels,out_channels,kernel_size=3,padding=1,bias=False),nn.BatchNorm2d(out_channels),nn.ReLU(inplace=True))def forward(self,x):    # 前向传播x = self.double_conv(x)return xclass Down(nn.Module):   # 下采样def __init__(self,in_channels,out_channels):super(Down, self).__init__()self.downsampling = nn.Sequential(nn.MaxPool2d(kernel_size=2,stride=2),DoubleConv(in_channels,out_channels))def forward(self,x):x = self.downsampling(x)return xclass Up(nn.Module):    # 上采样def __init__(self, in_channels, out_channels):super(Up,self).__init__()self.upsampling = nn.ConvTranspose2d(in_channels, in_channels // 2, kernel_size=2, stride=2) # 转置卷积self.conv = DoubleConv(in_channels, out_channels)def forward(self, x1, x2):x1 = self.upsampling(x1)x = torch.cat([x2, x1], dim=1)  # 从channel 通道拼接x = self.conv(x)return xclass OutConv(nn.Module):   # 最后一个网络的输出def __init__(self, in_channels, num_classes):super(OutConv, self).__init__()self.conv = nn.Conv2d(in_channels, num_classes, kernel_size=1)def forward(self, x):return self.conv(x)class UNet(nn.Module):   # unet 网络def __init__(self, in_channels = 1, num_classes = 1):super(UNet, self).__init__()self.in_channels = in_channels                  # 输入图像的channelself.num_classes = num_classes                  # 网络最后的输出self.in_conv = DoubleConv(in_channels, 64)      # 第一层self.down1 = Down(64, 128)                      # 下采样过程self.down2 = Down(128, 256)self.down3 = Down(256, 512)self.down4 = Down(512, 1024)self.up1 = Up(1024, 512)                        # 上采样过程self.up2 = Up(512, 256)self.up3 = Up(256, 128)self.up4 = Up(128, 64)self.out_conv = OutConv(64, num_classes)        # 网络输出def forward(self, x):           # 前向传播    输入size为 (10,1,480,480)，这里设置batch = 10x1 = self.in_conv(x)        # torch.Size([10, 64, 480, 480])x2 = self.down1(x1)         # torch.Size([10, 128, 240, 240])x3 = self.down2(x2)         # torch.Size([10, 256, 120, 120])x4 = self.down3(x3)         # torch.Size([10, 512, 60, 60])x5 = self.down4(x4)         # torch.Size([10, 1024, 30, 30])x = self.up1(x5, x4)        # torch.Size([10, 512, 60, 60])x = self.up2(x, x3)         # torch.Size([10, 256, 120, 120])x = self.up3(x, x2)         # torch.Size([10, 128, 240, 240])x = self.up4(x, x1)         # torch.Size([10, 64, 480, 480])x = self.out_conv(x)        # torch.Size([10, 1, 480, 480])return x# 计算 UNet 的网络参数个数
model = UNet(in_channels=1,num_classes=1)
print("Total number of paramerters in networks is {}  ".format(sum(x.numel() for x in model.parameters())))

UNet - unet网络相关推荐

语义分割模型------unet unet++
语义分割 1.UNet 整个网络是一个"U" 的形状,Unet 网络可以分成两部分,上图红色方框中是特征提取部分,和其他卷积神经网络一样,都是通过堆叠卷积提取图像特征,通过池化来压 ...
基于U-Net+残差网络的语义分割缺陷检测
一.介绍基于深度学习的缺陷检测主要集中在场景识别.object detection等方法,近年来,推出了一系列优秀的语义分割模型,比如SegNet.FCN.U-Net等.语义分割模型被广泛的应用到场 ...
几种Transformer+CNN（U-net）网络
一. 对比 U-Net Transformer 优点融合深层语义信息和高精度特征所含信息提取全局信息不足无法对距离较远的特征的上下文关系进行建模缺少局部细节处的信息二. 网络 1. Tra ...
UNET家族网络之Unet++(附带了Nestnet、uent、PSPnet等)
最近复现了一下unet++,发现这个项目里包含了很多网络,推荐给大家一下,GitHub链接:https://github.com/MrGiovanni/UNetPlusPlus/tree/master ...
【深度学习入门到精通系列】使用Plotly绘制气泡图（以U-Net等网络性能比较为例）
文章目录 1 概述 2 实现代码 1 概述气泡图(bubble chart)是可用于展示三个变量之间的关系. 排列在工作表的列中的数据(第一列中列出 x 值,在相邻列中列出相应的 y 值和气泡大小的 ...
UNET家族网络之CE-Net（github复现）
使用完毕在此整理一下代码,这里就只对有改动的地方贴一下啊,其他的直接去github上下载一下吧 https://github.com/Guzaiwang/CE-Net 数据输入文件data.py,其实 ...
Github语义分割框架(包含Unet,Unet++,MAnet等)
参考链接1:GitHub链接:GitHub - qubvel/segmentation_models.pytorch: Segmentation models with pretrained back ...
教程: UNet/UNet++多类别图像分割，含数据集制作
向AI转型的程序员都关注了这个号???????????? 人工智能大数据与深度学习公众号:datayx 运行demo 下载数据集 https://pan.baidu.com/s/1PK3VoarN ...
一文概览主要语义分割网络：FCN,SegNet,U-Net...
本文来自 CSDN 网站,译者蓝三金图像的语义分割是将输入图像中的每个像素分配一个语义类别,以得到像素化的密集分类.虽然自 2007 年以来,语义分割/场景解析一直是计算机视觉社区的一部分,但与计算 ...

UNet - unet网络

1. u-net介绍

2. u-net网络结构

3. u-net 网络搭建

3.1 DoubleConv

3.2 Down 下采样

3.3 Up 上采样

3.4 网络输出

3.5 UNet 网络

UNet 网络

forward 前向传播

3.6 网络的参数

4. 完整代码

UNet - unet网络相关推荐

最新文章

热门文章