PyTorch学习笔记：nn.Tanh——Tanh激活函数

torch.nn.Tanh()

功能：逐元素应用Tanh函数（双曲正切）对数据进行激活，将元素调整到区间(-1,1)内

函数方程：
Tanh ( x ) = tanh ( x ) = e x − e − x e x + e − x \text{Tanh}(x)=\text{tanh}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} Tanh(x)=tanh(x)=ex+e−xex−e−x

注意：

输入可以是任意尺寸的数据，输出尺寸与输入尺寸相同
该激活函数定义时无输入

代码案例

一般用法

import torch.nn as nn
import torchTanh = nn.Tanh()
x = torch.randn(10)
value = Tanh(x)
print(x)
print(value)

输出

# 输入
tensor([-0.7827, -0.3373,  0.2476, -0.5910, -1.2637,  1.0676,  1.1027, -0.8984,-0.0252, -0.1457])
# 数据经过Tanh激活函数之后
tensor([-0.6542, -0.3251,  0.2426, -0.5306, -0.8521,  0.7885,  0.8015, -0.7155,-0.0252, -0.1447])

注：绘图程序

import torch.nn as nn
import torch
import numpy as np
import matplotlib.pyplot as pltTanh = nn.Tanh()
x = torch.from_numpy(np.linspace(-5,5,100))
value = Tanh(x)
plt.plot(x, value)
plt.savefig('Tanh.jpg')

官方文档

nn.Tanh()：https://pytorch.org/docs/stable/generated/torch.nn.Tanh.html#torch.nn.Tanh

初步完稿于：2022年2月16日

PyTorch学习笔记：nn.Tanh——Tanh激活函数相关推荐

PyTorch学习笔记：nn.Sigmoid——Sigmoid激活函数
PyTorch学习笔记:nn.Sigmoid--Sigmoid激活函数 torch.nn.Sigmoid() 功能:逐元素应用Sigmoid函数对数据进行激活,将元素归一化到区间(0,1)内函数方程 ...
PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数
PyTorch学习笔记:nn.LeakyReLU--LeakyReLU激活函数功能:逐元素对数据应用如下函数公式进行激活 LeakyReLU(x)=max⁡(0,x)+α∗min⁡(0,x)\tex ...
PyTorch学习笔记：nn.ReLU——ReLU激活函数
PyTorch学习笔记:nn.ReLU--ReLU激活函数 torch.nn.ReLU(inplace=False) 功能:逐元素应用ReLU函数对数据进行激活函数方程: R e L U ( x ) ...
PyTorch学习笔记2：nn.Module、优化器、模型的保存和加载、TensorBoard
文章目录一.nn.Module 1.1 nn.Module的调用 1.2 线性回归的实现二.损失函数三.优化器 3.1.1 SGD优化器 3.1.2 Adagrad优化器 3.2 分层学习率 3 ...
莫烦pytorch学习笔记5
莫烦pytorch学习笔记5 1 自编码器 2代码实现 1 自编码器自编码,又称自编码器(autoencoder),是神经网络的一种,经过训练后能尝试将输入复制到输出.自编码器(autoencode ...
PyTorch学习笔记(二)——回归
PyTorch学习笔记(二)--回归本文主要是用PyTorch来实现一个简单的回归任务. 编辑器:spyder 1.引入相应的包及生成伪数据 import torch import torch.nn ...
深度学习入门之PyTorch学习笔记：卷积神经网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 4 卷积神经网络 4.1 主要任务及起源 4.2 卷积神经网络的原理和结构 4.2.1 卷积层 1. ...
PyTorch学习笔记（五）：模型定义、修改、保存
往期学习资料推荐: 1.Pytorch实战笔记_GoAI的博客-CSDN博客 2.Pytorch入门教程_GoAI的博客-CSDN博客本系列目录: PyTorch学习笔记(一):PyTorch环境安 ...
【Pytorch学习笔记2】Pytorch的主要组成模块
个人笔记,仅用于个人学习与总结感谢DataWhale开源组织提供的优秀的开源Pytorch学习文档:原文档链接本文目录 1. Pytorch的主要组成模块 1.1 完成深度学习的必要部分 1.2 ...

PyTorch学习笔记：nn.Tanh——Tanh激活函数

PyTorch学习笔记：nn.Tanh——Tanh激活函数

代码案例

官方文档

PyTorch学习笔记：nn.Tanh——Tanh激活函数相关推荐

最新文章

热门文章