激活函数之tanh介绍及C++/PyTorch实现

深度神经网络中使用的激活函数有很多种，这里介绍下tanh。它的公式如下，截图来自于维基百科(https://en.wikipedia.org/wiki/Activation_function)：

tanh又称双曲正切，它解决了sigmoid非零中心问题。tanh取值范围在(-1, 1)内，它也是非线性的。它也不能完全解决梯度消失问题。

C++实现如下：

template<typename _Tp>
int activation_function_tanh(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {_Tp ep = std::exp(src[i]);_Tp em = std::exp(-src[i]);dst[i] = (ep - em) / (ep + em);}return 0;
}template<typename _Tp>
int activation_function_tanh_derivative(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {dst[i] = (_Tp)1. - src[i] * src[i];}return 0;
}int test_activation_function()
{std::vector<float> src{ 1.1f, -2.2f, 3.3f, 0.4f, -0.5f, -1.6f };int length = src.size();std::vector<float> dst(length);fprintf(stderr, "source vector: \n");fbc::print_matrix(src);fprintf(stderr, "calculate activation function:\n");fprintf(stderr, "type: tanh result: \n");fbc::activation_function_tanh(src.data(), dst.data(), length);fbc::print_matrix(dst);fprintf(stderr, "type: tanh derivative result: \n");fbc::activation_function_tanh_derivative(dst.data(), dst.data(), length);fbc::print_matrix(dst);
}

执行结果如下：

Python和PyTorch实现如下：

import numpy as np
import torchdata = [1.1, -2.2, 3.3, 0.4, -0.5, -1.6]# numpy impl
def tanh(x):lists = list()for i in range(len(x)):lists.append((np.exp(x[i]) - np.exp(-x[i])) / (np.exp(x[i]) + np.exp(-x[i])))return listsdef tanh_derivative(x):return 1 - np.power(tanh(x), 2)output = [round(value, 4) for value in tanh(data)] # 通过round保留小数点后4位
print("numpy tanh:", output)
print("numpt tanh derivative:", [round(value, 4) for value in tanh_derivative(data)])
print("numpt tanh derivative2:", [round(1. - value*value, 4) for value in tanh(data)])# call pytorch interface
input = torch.FloatTensor(data)
m = torch.nn.Tanh()
output2 = m(input)
print("pytorch tanh:", output2)
print("pytorch tanh derivative:", 1. - output2*output2)

执行结果如下：

由以上执行结果可知：C++、Python、PyTorch三种实现方式结果完全一致。

GitHub：

https://github.com/fengbingchun/NN_Test

https://github.com/fengbingchun/PyTorch_Test

激活函数之tanh介绍及C++/PyTorch实现相关推荐

激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解
相关文章梯度下降算法.随机梯度下降算法.动量随机梯度下降算法.AdaGrad算法.RMSProp算法.Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数.Sigmo ...
keras 自定义层input_从4个方面介绍Keras和Pytorch，并给你选择其中一个学习库的理由...
全文共3376字,预计学习时长7分钟对许多科学家.工程师和开发人员而言,TensorFlow是他们的第一个深度学习框架. TensorFlow 1.0于2017年2月发布:但客观来说,它对用户不是非 ...
Retinanet原理介绍和基于pytorch的实现
Retinanet原理介绍和基于pytorch的实现前言 Retinanet介绍 ResNet FPN SubNet anchor IoU Regression Focal Loss one-sta ...
三种激活函数——Sigmoid,Tanh, ReLU以及卷积感受野的计算
1. 三种激活函数--Sigmoid, Tanh, ReLU 1.1 Sigmoid 1.1.1 公式 S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x} ...
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
①激活函数:主要通过加入非线性因素,你不线性模型表达能力不足的缺陷,因为神经网络中的数学基础是处处可微分的函数,故要求激活函数也应该保证数据的输入与输出是可微分. ②激活函数可以分为饱和激活函数与不饱 ...
GPT模型介绍并且使用pytorch实现一个小型GPT中文闲聊系统
文章目录 GPT模型介绍无监督训练方式模型结构微调下游任务输入形式 GPT-2 GPT-3 pytorch实现一个小型GPT中文闲聊系统 GPT模型介绍 GPT与BERT一样也是一种预训练模型 ...
激活函数和全连接层——基于Pytorch
1.激活函数 1.1.什么是激活函数? 神经网络中的每个神经元接受上一层的输出值作为本神经元的输入值,并将处理结果传递给下一层(隐藏层或输出层).在多层神经网络中,上层的输出和下层的输入之间具有一个函 ...
激活函数--Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等
激活函数目前自己使用比较多的激活函数RELU, RELU6; LeakyReLU; SELU; Mish :激活函数看:计算量:准确率: 大多数激活函数pytorch里有已经包装好了: Non-li ...
激活函数σ、tanh、relu、Leakyrelu、LR_BP反向传播推导
激活函数 1- SIgmoid 1-1 sigmoid导数 2- tanh 2-1 tanh函数导数 3- ReLU 4- LeakyReLu 5- LR 公式推导 Sigmoid.tanh.ReLU ...

激活函数之tanh介绍及C++/PyTorch实现

激活函数之tanh介绍及C++/PyTorch实现相关推荐

最新文章

热门文章