softsign激活函数

人脸识别中，尝试替代prelu和bn层，效果不好。

pytorch函数：

    a_tensor=torch.Tensor([[-1,2,30],[4,5,60],[7,8,9]])aaaaa=F.softsign(a_tensor)print(a_tensor)

class SoftSign(Activation):def __init__(self, x):super(SoftSign, self).__init__(x)def forward(self):self.p = self.x / (1 + np.abs(self.x))return self.pdef backward(self):self.derivative = np.full_like(self.p, 0)self.derivative[self.x >= 0] = np.power(1 - self.p[self.x >= 0], 2)self.derivative[self.x < 0] = np.power(1 + self.p[self.x < 0], 2)return self.derivative
if __name__ == "__main__":x = np.linspace(-10, 10, 500)plt.plot(x, SoftSign(x)()[0], label='softSign_forward')plt.plot(x, SoftSign(x)()[1], label='softSign_backward')plt.legend(loc='best')plt.show()

效果图：

softsign激活函数相关推荐

神经网络中的权重初始化一览：从基础到Kaiming
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达在进行各种小实验和思维训练时,你会逐步发现为什么在训练深度神经网络 ...
xavier初始化_深入解读xavier初始化（附源码）
论文是Understanding the difficulty of training deep feedforward neural networks. 一篇感觉不错的翻译为[Deep Learni ...
【TensorFlow-windows】学习笔记三——实战准备
前言因为学习TensorFlow的内容较多,如果只看API会很无聊,可以结合实例去学习.但是在构建基本的模型之前,需要学一些准备知识:数据读取.预处理.优化器.损失函数国际惯例,参考网址: Ten ...
百度语音合成模型Deep Voice3
INTRODUCTION Deep Voice3是由百度提出的一个全新的全卷积TTS架构.百度的主要工作分为如下五个方面: 提出了一个全卷积的 character-to-spectrogram 架构, ...
【论文翻译】Deep Voice 3：通过卷积序列学习来扩展语音合成
Deep Voice 3 引入了全卷积序列到序列式模型来进行语音合成,这种新架构在语音训练速度上有了数量级的提升,经过800 多个小时的语音数据学习,它可以合成 2400 多钟不同的语音结果.Deep ...
【Deep Learning】笔记：Understanding the difficulty of training deep feedforward neural networks
这几天读了这篇论文,在这里将大致内容写在这里. Abstract 介绍这篇论文的主要内容就是尝试更好的理解为什么使用"标准随机初始化"来计算使用标准梯度下降的网络效果通常来讲都不是 ...
TensorFlow 机器学习秘籍第二版：1~5
原文:TensorFlow Machine Learning Cookbook 协议:CC BY-NC-SA 4.0 译者:飞龙本文来自[ApacheCN 深度学习译文集],采用译后编辑(MTPE ...
22个激活函数，ReLU、RReLU、LeakyReLU、PReLU、Sofplus、ELU、CELU、SELU、GELU、ReLU6、Sigmoid、Tanh、Softsign、Hardtanh等
转自:https://www.pianshen.com/article/33331174884/ 1.22.Linear常用激活函数 1.22.1.ReLU torch.nn.ReLU() 1.22. ...
深度学习--TensorFlow（4）BP神经网络（损失函数、梯度下降、常用激活函数、梯度消失梯度爆炸）
目录一.概念与定义二.损失函数/代价函数(loss) 三.梯度下降法二维w与loss: 三维w与loss: 四.常用激活函数 1.softmax激活函数 2.sigmoid激活函数 3.tanh ...

softsign激活函数

softsign激活函数相关推荐

最新文章

热门文章