激活函数之logistic sigmoid函数介绍及C++实现

logistic sigmoid函数：

logistic sigmoid函数通常用来产生Bernoulli分布中的参数ø，因为它的范围是(0,1)，处在ø的有效取值范围内。logisitic sigmoid函数在变量取绝对值非常大的正值或负值时会出现饱和(saturate)现象，意味着函数会变得很平，并且对输入的微小改变会变得不敏感。

logistic sigmoid函数在深度学习中经常用作激活函数。有时为了加快计算速度，也使用称为fast sigmoid 函数，即：σ(x)=x/(1+|x|)

Logistic function：A logistic function or logistic curve is a common “S” shape(sigmoid curve), with equation:

where, e = the natural logarithm base(also known as Euler’s number); x₀ = the x-value of the sigmoid’s midpoint; L = the curve’s maximum value; k = the steepness of the curve. For values of x in the range of real numbers from -∞ to +∞.

The standard logistic function is the logistic function with parameters (k = 1, x₀= 0, L = 1) which yields:

The logistic function has the symmetry(对称) property that: 1-f(x)=f(-x).

以上内容摘自：《深度学习中文版》和维基百科

以下是C++测试code:

#include "funset.hpp"
#include <math.h>
#include <iostream>
#include <string>
#include <vector>
#include <opencv2/opencv.hpp>
#include "common.hpp"// =============================== 计算 sigmoid函数 ==========================
template<typename _Tp>
int sigmoid_function(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {dst[i] = (_Tp)(1. / (1. + exp(-src[i])));}return 0;
}template<typename _Tp>
int sigmoid_function_fast(const _Tp* src, _Tp* dst, int length)
{for (int i = 0; i < length; ++i) {dst[i] = (_Tp)(src[i] / (1. + fabs(src[i])));}return 0;
}int test_sigmoid_function()
{std::vector<double> src{ 1.23f, 4.14f, -3.23f, -1.23f, 5.21f, 0.234f, -0.78f, 6.23f };int length = src.size();std::vector<double> dst1(length), dst2(length);fprintf(stderr, "source vector: \n");fbc::print_matrix(src);fprintf(stderr, "calculate sigmoid function:\n");fprintf(stderr, "type: sigmoid functioin, result: \n");fbc::sigmoid_function(src.data(), dst1.data(), length);fbc::print_matrix(dst1);fprintf(stderr, "type: fast sigmoid function, result: \n");fbc::sigmoid_function_fast(src.data(), dst2.data(), length);fbc::print_matrix(dst2);return 0;
}

GitHub： https://github.com/fengbingchun/NN_Test

激活函数之logistic sigmoid函数介绍及C++实现相关推荐

有关logistic(sigmoid)函数回归
在神经网络中,经常用到sigmoid函数,y = 1 / (1+e-x) 作为下一级神经元的激活函数,x也就是WX(下文,W以θ符号代替)矩阵计算结果. 这个函数通常用在进行分类,通常分为1或0的逻辑 ...
Sigmoid 函数(logistic函数)笔记
其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线(S型曲线). 该函数具有如下的特性:当x趋近于负无穷时,y趋近于0:当x趋近于正无穷时,y趋近于1: ...
sigmoid函数_常用的激活（激励）函数——深度学习笔记（建议收藏）
激活函数(又叫激励函数,后面就全部统称为激活函数)是模型整个结构中的非线性扭曲力,神经网络的每层都会有一个激活函数.那他到底是什么,有什么作用?都有哪些常见的激活函数呢? 深度学习的基本原理就是基于人 ...
Sigmoid函数以及传统线性函数
Sigmoid函数以及传统线性函数参考:https://www.jianshu.com/p/68d44a4295d1 在ReLU激活函数出现之前,神经网络训练都是勇Sigmoid作为激活函数.其中S ...
交叉熵代价函数——当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢...
交叉熵代价函数 machine learning算法中用得很多的交叉熵代价函数. 1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigm ...
sigmoid函数_深度学习中激活函数总结
一.前言前段时间通过引入新的激活函数Dice,带来了指标的提升,借着这个机会,今天总结下常用的一些激活函数. 激活函数在深度学习中起着非常重要的作用,本文主要介绍下常用的激活函数及其优缺点.主要分为 ...
sigmoid函数解决溢出_常见激活函数优缺点与dead relu problem
转载自: G-kdom:温故知新--激活函数及其各自的优缺点zhuanlan.zhihu.com 1.什么是激活函数? 所谓激活函数(Activation Function),就是在人工神经网络的神 ...
机器学习入门（03）— 激活函数分类（阶跃函数和 sigmoid 函数的理论、实现、显示以及区别、非线性函数、ReLU 函数、tanh 函数）
各种激活函数介绍,请参考下面链接: https://en.wikipedia.org/wiki/Activation_function 1. 阶跃函数 1.1 理论式(3.3)表示的激活函数以阈值为 ...
神经网络常用的三大激活函数sigmoid函数、tanh函数、relu函数对比讲解
在我们学习神经网络的时候经常要用到激活函数,但是我们对于为什么要使用这一个,它们之间的区别和优缺点各是什么不太了解.下面,我们来详细说一说这三个激活函数. - sigmoid函数 sigmoid函数也 ...

激活函数之logistic sigmoid函数介绍及C++实现

激活函数之logistic sigmoid函数介绍及C++实现相关推荐

最新文章

热门文章