pytorch图片分割原理

自从transformer应用到cv领域以后，对图片的分割需求便越加重了，但是图像分割说起来容易，实际操作起来还是有很多地方不懂（主要还是code能力太弱）。

我们知道，对张量的处理一般又两种，一种是view/reshape这样的，先将数据按行展开，再按照指定形状排列数据；另一种是permute/transpose这种，是把数据按照维度进行变化，也就是把数据排列的先后顺序转换一下（后面具体介绍）。所以分割图片就用到了两者的结合

实验：

原图：

1：我们先看直接reshape的结果：将原图片切割为8份

完全没法看好吧！

原因就是上面说的，reshape是把整张图片按行（这里是按照通道数3，实际上也确实应该把通道数调到最后，按照通道展开，原因后面介绍）展开。

2：我们看一下正确的做法：

可以看到分割的很完美！

接下来解释一下原因：

1：通道数必须放到最后一个维度：首先，我们知道再张量数据是连续的情况下，其数据是按行展开排序的，也就是按照张量最后一个维度展开排序，所以，对于一个三通道的RGB图像（3，H, W)它本来是按照宽度展开的，但这样在分割的时候就存在问题了，因为，分割一张图片，应该是三个通道一起分割，故，我们第一步应该把通道数调到最后一个维度（这里因为是用cv2打开的图片，通道数已经在最后一维，所以不用再单独转换，但如果需要转换的话，注意，不可以用reshape或者view，只能用permute/或者transpose）

2：宽和高的分割必须先在自己的维度分割，即对于一组（B，C，H, W）的图片，在把C转换到最后一维后为（B,H,W,C）,分割（此时用reshape）应该先按照（B，H/H分割size，H分割size，W/W分割size，W分割size，C）展开，然后再用permute，或者tanspose转化为（B，H/H分割size，W/W分割size，H分割size，W分割size，C），最后，再用contiguous（）.view转化为（B，（H/H分割size）*（W/W分割size），H分割size，W分割size，C），解释如下：

张量的维度，实际上表述数据的方向和排列顺序，越靠后的维度越先排列，所以，对于(B, H W, C)，如果只是进行reshape或者view的话，他始终是会先把宽W排完之后再排高，所以，为了要把图片分成一份一份的，那么就必须让宽和高交替出现，也就是要改变数据的排列顺序，这正是permute和transpose的作用，它们相当于在保持现有数据在内存中顺序的基础上，改变数据的排列顺序，这里（B，H/H分割size，H分割size，W/W分割size，W分割size，C）H/H分割size，H分割size都代表高；W/W分割size，W分割size都代表宽，也就是（B，高，高，宽，宽，C），将H分割size和W/W分割size转换以后则为（B，高，宽，高，宽,C )

pytorch图片分割原理相关推荐

【Pytorch神经网络理论篇】 33 基于图片内容处理的机器视觉：目标检测+图片分割+非极大值抑制+Mask R-CNN模型
基于图片内容的处理任务,主要包括目标检测.图片分割两大任务. 1 目标检测目标检测任务的精度相对较高,主要是以检测框的方式,找出图片中目标物体所在的位置.目标检测任务的模型运算量相对较小,速度相对较 ...
Pytorch学习 - Task5 PyTorch卷积层原理和使用
Pytorch学习 - Task5 PyTorch卷积层原理和使用 1. 卷积层 (1)介绍 (torch.nn下的) 1) class torch.nn.Conv1d() 一维卷积层 2) clas ...
[开源]基于WPF实现的Gif图片分割器，提取GIf图片中的每一帧
[开源]基于WPF实现的Gif图片分割器,提取GIf图片中的每一帧原文:[开源]基于WPF实现的Gif图片分割器,提取GIf图片中的每一帧不知不觉又半个月没有更新博客了,今天终于抽出点时间,来分享 ...
python九宫格图片的原理~
原理 1.用Python制作的九宫格图像生成器包装exe文件,用户无需部署安装Python的开发环境,即可在当地运行该程序,快速生成九宫格图像. 2.用PIL库不断画小区域,切下来存储成新的小图片. ...
WPF 把图片分割成两份自动翻页 WpfFlipPageControl:CtrlBook 书控件
原文:WPF 把图片分割成两份自动翻页 WpfFlipPageControl:CtrlBook 书控件版权声明:本文为博主原创文章,需要转载尽管转载. https://blog.csdn.net/z ...
【Android 内存优化】Android 原生 API 图片压缩原理 ( 哈夫曼编码开关 | 哈夫曼编码原理 | libjpeg-turbo 函数库 )
文章目录一. 哈夫曼编码开关二. 哈夫曼编码原理三. libjpeg-turbo 函数库四. libjpeg-turbo 函数库下载 [Android 内存优化]图片文件压缩 ( Androi ...
【Android 内存优化】Android 原生 API 图片压缩原理 ( Bitmap_compress 方法解析 | Skia 二维图形库 | libjpeg 函数库 | libpng 函数库 )
文章目录一. 图片质量压缩方法二. Skia 二维图形库三. libjpeg.libpng 函数库引入在博客 [Android 内存优化]图片文件压缩 ( Android 原生 API 提供的 ...
视频分解图片原理；图片合成视频原理
(1)加载视频 (2)读取视频信息 (3)解码视频,拿到单帧信息帧率:视频每秒钟展示多少张图片:帧率高我们看到的图片才是连续的:帧率低我们看到的图片就相当于非连续的: 宽度:高度接下来是视频保存成 ...
学习记录1-python图片分割transforms方法
python 图片分割 import os from PIL import Image Image.MAX_IMAGE_PIXELS = Nonedef splitimage(src, rownum, ...

pytorch图片分割原理

接下来解释一下原因：

pytorch图片分割原理相关推荐

最新文章

热门文章