深度学习2.0-10.tensorflow的高阶操作之张量的限幅

文章目录

1.张量的限幅
- 1.tf.clip_by_value-根据值来裁剪
- 2.tf.nn.relu-将矩阵中每行小于0的值置0
- 3.tf.clip_by_norm-根据范数裁剪
- 4.tf.clip_by_global_norm-等比例裁剪

1.张量的限幅

1.tf.clip_by_value-根据值来裁剪

2.tf.nn.relu-将矩阵中每行小于0的值置0

3.tf.clip_by_norm-根据范数裁剪

4.tf.clip_by_global_norm-等比例裁剪

Gradient clipping-梯度裁剪

例子

# 将无关信息屏蔽掉
import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets, layers, optimizers# 列出你所有的物理GPU，设置内存自动增长
gpus = tf.config.experimental.list_physical_devices('GPU')
for gpu in gpus:tf.config.experimental.set_memory_growth(gpu, True)print(tf.__version__)(x, y), _ = datasets.mnist.load_data()
x = tf.convert_to_tensor(x, dtype=tf.float32) / 50.
y = tf.convert_to_tensor(y)
y = tf.one_hot(y, depth=10)
print('x:', x.shape, 'y:', y.shape)
train_db = tf.data.Dataset.from_tensor_slices((x, y)).batch(128).repeat(30)
x, y = next(iter(train_db))
print('sample:', x.shape, y.shape)# print(x[0], y[0])def main():# 784 => 512w1, b1 = tf.Variable(tf.random.truncated_normal([784, 512], stddev=0.1)), tf.Variable(tf.zeros([512]))# 512 => 256w2, b2 = tf.Variable(tf.random.truncated_normal([512, 256], stddev=0.1)), tf.Variable(tf.zeros([256]))# 256 => 10w3, b3 = tf.Variable(tf.random.truncated_normal([256, 10], stddev=0.1)), tf.Variable(tf.zeros([10]))# 优化器optimizer = optimizers.SGD(lr=0.01)for step, (x, y) in enumerate(train_db):# [b, 28, 28] => [b, 784]x = tf.reshape(x, (-1, 784))with tf.GradientTape() as tape:# layer1.h1 = x @ w1 + b1h1 = tf.nn.relu(h1)# layer2h2 = h1 @ w2 + b2h2 = tf.nn.relu(h2)# outputout = h2 @ w3 + b3# out = tf.nn.relu(out)# compute loss# [b, 10] - [b, 10]loss = tf.square(y - out)# [b, 10] => [b]loss = tf.reduce_mean(loss, axis=1)# [b] => scalarloss = tf.reduce_mean(loss)# compute gradientgrads = tape.gradient(loss, [w1, b1, w2, b2, w3, b3])print('==before==')for g in grads:print(tf.norm(g))# 对所有可训练参数进行等比例裁剪grads, _ = tf.clip_by_global_norm(grads, 15)print('==after==')for g in grads:print(tf.norm(g))# update w' = w - lr*gradoptimizer.apply_gradients(zip(grads, [w1, b1, w2, b2, w3, b3]))if step % 100 == 0:print(step, 'loss:', float(loss))if __name__ == '__main__':main()

深度学习2.0-10.tensorflow的高阶操作之张量的限幅相关推荐

深度学习（16）TensorFlow高阶操作五: 张量限幅
深度学习(16)TensorFlow高阶操作五: 张量限幅 1. clip_by_value 2. relu 3. clip_by_norm 4. Gradient clipping 5. 梯度爆炸实 ...
深度学习（14）TensorFlow高阶操作三: 张量排序
深度学习(14)TensorFlow高阶操作三: 张量排序一. Sort, argsort 1. 一维Tensor 2. 多维Tensor 二. Top_k 三. Top-k accuracy(To ...
深度学习（17）TensorFlow高阶操作六: 高阶OP
深度学习(17)TensorFlow高阶操作六: 高阶OP 1. Where(tensor) 2. where(cond, A, B) 3. 1-D scatter_nd 4. 2-D scatter ...
深度学习（15）TensorFlow高阶操作四: 填充与复制
深度学习(15)TensorFlow高阶操作四: 填充与复制 1. Pad 2. 常用于Image Padding 3. tile 4. tile VS broadcast_to Outline pa ...
深度学习（12）TensorFlow高阶操作一: 合并与分割
深度学习(12)TensorFlow高阶操作一: 合并与分割 1. concat 2. stack: create new dim 3. Dim mismatch 4. unstuck 5. spli ...
福利 | Python、深度学习、机器学习、TensorFlow 好书推荐
在上次的送书活动中,营长做了个调查问卷,结果显示大家更喜欢深度学习.Python以及TensorFlow方面的书,所以这期送书活动一并满足大家.本期图书选自人民邮电出版社图书,包括:近期AI圈儿比较流 ...
深度学习（6）TensorFlow基础操作二: 创建Tensor
深度学习(6)TensorFlow基础操作二: 创建Tensor 一. 创建方式 1. From Numpy,List 2. zeros,ones (1) tf.zeros() (2) tf.zero ...
深度学习（11）TensorFlow基础操作七: 向前传播（张量）实战
深度学习(11)TensorFlow基础操作七: 向前传播(张量)实战 1. 导包 2. 加载数据集 3. 转换数据类型 4. 查看x.shape, y.shape, x.dtype, y.dtype ...
深度学习（9）TensorFlow基础操作五: Broadcasting
深度学习(9)TensorFlow基础操作五: Broadcasting 1. 操作思想 2. 具体例子 3. 理解 (1) How to understand? (2) Why Broadcasti ...
深度学习（7）TensorFlow基础操作三: 索引与切片
深度学习(7)TensorFlow基础操作三: 索引与切片一. 基础索引 1. Basic indexing 2. Numpy-style indexing 3. start : end 4. 切片 ...

深度学习2.0-10.tensorflow的高阶操作之张量的限幅

文章目录

1.张量的限幅

1.tf.clip_by_value-根据值来裁剪

2.tf.nn.relu-将矩阵中每行小于0的值置0

3.tf.clip_by_norm-根据范数裁剪

4.tf.clip_by_global_norm-等比例裁剪

深度学习2.0-10.tensorflow的高阶操作之张量的限幅相关推荐

最新文章

热门文章