Tensorflow2实现像素归一化与频谱归一化
Tensorflow2实现像素归一化与频谱归一化
- 前言
- 像素归一化
- 像素归一化详解
- 像素归一化实现
- 频谱归一化
- 频谱归一化详解
- 频谱归一化实现
前言
归一化技术的改进是生成对抗网络(Generative Adversarial Networks, GAN
)中众多改进的一种,本文介绍常用于当前GAN中的像素归一化(Pixel normalization
,或称为像素规范化)和频谱归一化(Spectral normalization
,或称频谱规范化),在高清图片生成中,这两种归一化技术得到了广泛使用,最后使用Tensorflow2
实现像素归一化和频谱归一化。
像素归一化
像素归一化详解
像素归一化是在ProGAN
模型中提出的,ProGAN
的作者放弃了批归一化
,并为生成器
使用了自定义归一化,即像素归一化。
在ProGAN中进行归一化的目的是限制权重值,以防止其呈指数增长。较大的权重可能会增大信号幅度,并导致生成器与鉴别器之间的恶性竞争。像素归一化
将通道尺寸中每个像素位置(H, W)
的特征进行归一化。如果张量是大小为(N, H, W, C)
的批RGB图像,则像素归一化后任何像素的RGB矢量的大小将均为1。
像素归一化实现
在Tensorflow2中,可以使用自定义层来实现像素归一化:
from tensorflow.keras.layers import Layer
class PixelNorm(Layer):def __init__(self, epsilon=1e-8):super(PixelNorm, self).__init__()self.epsilon = epsilondef call(self, input_tensor):return input_tensor / tf.math.sqrt(tf.reduce_mean(input_tensor ** 2, axis=-1, keepdims=True) + self.epsilon)
与其他归一化不同,像素归一化没有任何可学习的参数。它仅由简单的算术运算组成,因此计算效率很高。
频谱归一化
频谱归一化详解
为了解释频谱归一化,首先需要复习下线性代数的知识,以大致解释什么是频谱范数。
首先温故下矩阵理论中的特征值和特征向量:
Av=λvAv=\lambda vAv=λv
其中AAA是一个方阵,vvv是特征向量,而λ\lambdaλ是其特征值。
我们将使用一个简单的示例来理解这些术语。假设vvv是关于位置(x,y)(x, y)(x,y)的向量,而AAA是线性变换:
A=(abcd),v=(xy)A=\begin{pmatrix} a & b\\ c & d\\ \end{pmatrix},v=\begin{pmatrix} x \\ y \\ \end{pmatrix}A=(acbd),v=(xy)
如果将AAA乘以vvv,我们将获得一个新的位置,其方向改变如下:
Av=(abcd)×(xy)=(ax+bycx+dy)Av=\begin{pmatrix} a & b\\ c & d\\ \end{pmatrix}\times \begin{pmatrix} x \\ y \\ \end{pmatrix}=\begin{pmatrix} ax + by\\ cx + dy\\ \end{pmatrix}Av=(acbd)×(xy)=(ax+bycx+dy)
特征向量是将A应用于向量时不会改变方向的向量。取而代之的是,它们可以仅通过标量特征值λ\lambdaλ进行缩放。可以有多个特征向量—特征值对。最大特征值的平方根是矩阵的谱范数。对于非方矩阵,我们将需要使用数学算法(例如奇异值分解(singular value decomposition, SVD
))来计算特征值,这在计算上可能会非常昂贵。
因此,采用幂迭代法可以加快计算速度,使其对于神经网络训练具有可行性。接下来,在TensorFlow
中实现频谱归一化作为权重约束。
频谱归一化实现
频谱归一化数学算法可能看起来很复杂。但是,通常,算法实现比数学上看起来更简单。
以下是执行频谱归一化的步骤:
- 卷积层中的权重是一个
4维张量
,因此第一步是将其重塑为2D
矩阵,在这里我们保留权重的最后一个维度。重塑后,权重的形状为(H×W, C)
。 - 用N(0,1)N(0,1)N(0,1)初始化向量uuu。
- 在
for
循环中,计算以下内容:
a) 用矩阵转置和矩阵乘法计算v=(wT)uv =(w^T)uv=(wT)u。
b) 用其L2L_2L2范数归一化vvv,即v=v/∣∣v∣∣2v = v/||v||_2v=v/∣∣v∣∣2。
c) 计算u=wvu = wvu=wv。
d) 用L2L_2L2范数归一化uuu,即u=u/∣∣u∣∣2u = u/||u||_2u=u/∣∣u∣∣2。 - 计算频谱范数为uTwvu^TwvuTwv。
- 最后,将权重除以频谱范数。
完整的代码如下:
import tensorflow as tf
class SpectralNorm(tf.keras.constraints.Constraint):def __init__(self, n_iter=5):self.n_iter = n_iterdef call(self, input_weights):w = tf.reshape(input_weights, (-1, input_weights.shape[-1]))u = tf.random.normal((w.shape[0], 1))for _ in range(self.n_iter):v = tf.matmul(w, u, transpose_a=True)v /= tf.norm(v)u = tf.matmul(w, v)u /= tf.norm(u)spec_norm = tf.matmul(u, tf.matmul(w, v), transpose_a=True)return input_weights/spec_norm
迭代次数是一个超参数,一般情况下5次就足够了。频谱归一化也可以实现为具有一个变量来保存向量uuu,而不是从随机值开始。这会将迭代次数减少到1。实现频谱归一化,我们可以通过将其用作卷积核约束来应用频谱归一化,如:
Conv2D(3,1,kernel_constraint = SpectralNorm())
Tensorflow2实现像素归一化与频谱归一化相关推荐
- 何恺明、吴育昕最新成果:用组归一化替代批归一化
编译 | 阿司匹林 AI科技大本营按:近日,FAIR 团队的吴育昕和何恺明提出了组归一化(Group Normalization,简称 GN)的方法.其中,GN 将信号通道分成一个个组别,并在每个组别 ...
- PyTorch 数据归一化与反归一化
文章目录 数据归一化 除最大值法 MinMaxScaler 均值和标准差 反归一化 数据归一化 除最大值法 def read_and_normalize_train_data():train_data ...
- matlab灰度归一化,[转载]matlab图像处理为什么要归一化和如何归一化?
matlab图像处理为什么要归一化和如何归一化?一.为什么归一化 1. 基本上归一化思想是利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响.也就是转换成唯一的标准形式以抵抗仿射变换 ...
- python反归一化_pytorch 归一化与反归一化实例
ToTensor中就有转到0-1之间了. # -*- coding:utf-8 -*- import time import torch from torchvision import transfo ...
- 人脸图像的几何归一化和灰度归一化
转载处:http://blog.csdn.net/liulianfanjianshi/article/details/9279565 在对人脸表情进行识别时,人脸的归一化处理是至关重要的一环,它涉及到 ...
- 数据预处理中的归一化与反归一化
前言 在使用深度学习框架构建训练数据时,通常需要数据归一化(Normalize),以利于网络的训练.而在训练过程可视化中,通常需要反归一化.以PyTorch框架而言,提供了torchvision.tr ...
- keras归一化与反归一化
from sklearn.preprocessing import MinMaxScaler,其中MinMaxScaler是一个类,作用是用作数据归一化.MinMaxScaler()会生成一个归一化实 ...
- Python - 归一化与反归一化
归一化:用于减少不同字段数量级差异造成的影响,或用来平滑数值,可用在x,y 反归一化:一般用来模型预测后的pred y,反归一化回原来的数量级 纯公式推导版本: 归一化 data = [1,2,3,4 ...
- 对数坐标归一化_数据归一化,标准化的几种方法
归一化方法(Normalization Method) 1. 把数变为(0,1)之间的小数 主要是为了数据处理方便提出来的,把数据映射到0-1范围之内处理,更加便捷快速,应该归到数字信号处理范畴之内. ...
最新文章
- C和C++安全编码笔记:整数安全
- 00asp.net_js前后台代码互访
- 错误管道反应:Paul Szymkowiak和上下文驱动的思想家如何交谈
- matlab 中 eps 的分析
- python安装pygame模块_windows下 python 如何安装pygame模块
- mysql AUTO_INC 是否锁_AUTO-INC锁的一些思考
- QAdmin轻量级后台HTML模板 1.5
- Linux字符界面的cat,Linux命令之cat详解
- Python 脚本相关知识
- ExpandableListView使用方法详解
- MongoDB下载(速度较快操作)
- 以太坊漫游指南:读懂以太坊发展路线图
- 解决【无法对套接字执行操作,因为系统缺少足够的缓冲区空间,或者因为系统上的队列已满127.0.0.1:8086】问题
- 微信背景音乐不自动播放解决
- java去除符号和字母_java 字符串中去除 数字 字母 符号N*1*senten.Length=M*M
- stata foreach循环语句的使用
- 被遗忘的黑莓,你还活得好么?
- PowerDesinger12.5破解中文版-资源共享与安装介绍
- 5G网络(接入网+承载网+核心网)
- seurat -- 细胞注释部分