TensorFlow patch块划分（transpose and reshape）

使用transformer处理图像数据，需要照特定格式对矩阵分块，并拉伸flatten，在完成最后的卷积后，需要重新将token的channel重新reshape成图像格式。类似下图，将输入首先分块，然后拉伸为NxC的vector，然后重新reshape为图像格式，这里使用一通道简要说明。

小代码

def reshape():h = 6a = tf.random_uniform([h,h],maxval=40,dtype=tf.int32)b = tf.reshape(a,[2,3,2,3])c = tf.transpose(b,[0,2,1,3])d = tf.reshape(tf.reshape(c,[-1,3,3]),[4,-1])return a,d
def rereshape(x):a = tf.reshape(x,[2,2,3,3])b = tf.transpose(a,[0,2,1,3])c = tf.reshape(tf.reshape(b,[6,2,3]),[6,-1])return c
with tf.Session() as se:a,b = se.run(reshape())print('a:',a)print('b:',b)c = se.run(rereshape(b))print('c:',c)

输出

TensorFlow patch块划分（transpose and reshape）相关推荐

transpose和reshape函数实现
上两篇在使用numpy实现卷积和tensorflow实现卷积进行结果对比时,对数据有个转换处理. 因为在numpy构造数据的shape是[B,C,H,W],在tensorflow中输入默认要求shpa ...
视频编码中编码块划分
编码块划分 CTU划分现在的视频编码都是基于块进行的,将一帧视频划分成不同的块,然后对每个块再分别进行编码处理.由于原始YUV格式视频有3个通道,一个亮度通道Y,两个色度通道UV,这里块的划分以亮度 ...
H.266/VVC的编码结构和块划分
一.将一帧图像划分成CTUs VVC中一帧图像分成许多编码树单元(CTU).CTU的概念与HEVC的相同.对于一帧具有三通道的图像,CTU由一个N×N的亮度样本块和两个相应的色度样本块组成.图1显示了 ...
H.266/VVC相关技术学习笔记4：HEVC和VVC中块划分的差别
关于H.265/HEVC和H.266/VVC中的块划分的区别: 一.HEVC中首先需要将一个图像固定划分为多个CTU. ① CTU的尺寸固定划分为64×64,一个CTU由一个亮度CTB和两个色度CTB ...
【一】VVC理论知识之图像块划分
一.VVC中的CTU: H.266/VVC 中将每帧图像划分为一系列的 CTU,CTU 的概念和 HEVC 中一致.一帧图像通常分为 3 个采样阵列(一个亮度图像和两个色度图像),一个 CTU 也包含 ...
2105_TIP_DeepQTMT：一种VVC帧内编码块划分的深度学习方法
论文题目:Deep QTMT_一种VVC帧内编码块划分的深度学习方法来源:2021,TIP,BUAA 概述需要解决的问题:简化在VVC中占据了编码时间的97%以上的编码块划分过程本文的贡献: 创 ...
VVC系列（二）编码结构和块划分准则
文章目录 VVC的编码结构 VVC 块划分准则 VVC针对边界处CU划分的处理 VVC针对CU冗余划分的限制 VVC从硬件效率的角度对CU Size的限制相关语法元素 VVC的编码结构同HEVC类 ...
VVC/VTM的编码结构和块划分
本文参考了JVET-J1002:Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1) VVC的编码结构 V ...
VVC中块划分的快速编码
新一代视频编码标准VVC中,灵活的分区是关键技术之一.与HEVC相比,仅分区就节省了8.5%的比特率.但是,增加的灵活性是以大量搜索空间扩展为代价的.本文概述了VVC中块划分的快速编码器选择策略,总共 ...

TensorFlow patch块划分（transpose and reshape）

TensorFlow patch块划分（transpose and reshape）相关推荐

最新文章

热门文章