Activation Function
Activation Function
关于activation function是在学习bp神经网络的时候听到的一个名词，叫做激励函数，当时是用来进行每一层的节点值进行非线性转化得到隐藏层节点值，现在想想不太清楚为什么用这个，因此写了这个文章。
Activation Function，代表有sigmoid函数，是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。关于神经网络激励函数的作用，常听到的解释是：不使用激励函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力不够，激励函数可以引入非线性因素。
在之前的文章(深度学习基础知识)里介绍过，每一层的节点值与权重相乘之和，加上偏向，得到的值，不是下一层节点的值；而需要进行非线性转化，才能得到最终的值。加入非线性激励函数后，神经网络就有可能学习到平滑的曲线来分割平面，而不是用复杂的线性组合逼近平滑曲线来分割平面。 这就是为什么我们要有非线性的激活函数的原因。如下图所示说明加入非线性激活函数后的差异，上图为用线性组合逼近平滑曲线来分割平面，下图为平滑的曲线来分割平面：
关于非线性转化，sigmoid函数:1.双曲函数；2.逻辑函数
由于对这方面懂的较为浅显，只是做了个简单介绍，今后学习中用到的会继续添加上来。
Activation Function相关推荐
- 聊一聊深度学习的activation function
转载自:https://zhuanlan.zhihu.com/p/25110450 TLDR (or the take-away) 优先使用ReLU (Rectified Linear Unit) 函 ...
- 激活函数 activation function
文章目录 激活函数 activation function Sigmoid Sigmoid 反向传播 Tanh ReLU Dead ReLU Problem 产生的原因 激活函数 activation ...
- Linear Regression、Logistic Regression、激励函数activation function（relu,sigmoid, tanh, softplus）
1.5.2.Linear Regression 1.5.2.1.Linear Regression 1.5.2.1.1.案例1 1.5.2.1.2.案例2 1.5.2.1.3.案例3源码(带有保存模型 ...
- Homepage Machine Learning Algorithm 浅谈深度学习中的激活函数 - The Activation Function in Deep Learning
原文地址:http://www.cnblogs.com/rgvb178/p/6055213.html 版权声明:本文为博主原创文章,未经博主允许不得转载. 激活函数的作用 首先,激活函数不是真的要去激 ...
- 转载-聊一聊深度学习的activation function
目录 1. 背景 2. 深度学习中常见的激活函数 2.1 Sigmoid函数 2.2 tanh函数 2.3 ReLU函数 2.4 Leaky ReLu函数 2.5 ELU(Exponential Li ...
- 激活函数（Activation Function）及十大常见激活函数
目录 1 激活函数的概念和作用 1.1 激活函数的概念 1.2 激活函数的作用 1.3 通俗地理解一下激活函数(图文结合) 1.3.1 无激活函数的神经网络 1.3.2 带激活函数的神经网络 2 神经 ...
- 深度学习中常见的10种激活函数（Activation Function）总结
目录 一:简介 二:为什么要用激活函数 三:激活函数的分类 四:常见的几种激活函数 4.1.Sigmoid函数 4.2.Tanh函数 4.3.ReLU函数 4.4.Leaky Relu函数 4.5.P ...
- Why we need activation function？
整理自吴恩达深度学习课程 https://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&a ...
- 各种activation function(激活函数) 简介
之前在使用activation function的时候只是根据自己的经验来用,例如二分类使用sigmoid或者softmax,多分类使用softmax,Dense一般都是Relu,例如tanh几乎没用 ...
- MXNet 定义新激活函数（Custom new activation function）
https://blog.csdn.net/weixin_34260991/article/details/87106463 这里使用比较简单的定义方式,只是在原有的激活函数调用中加入. 准备工作 下 ...
最新文章
- 刷前端面经笔记（十一）
- 字符串-最后一个单词的长度（双指针）
- Python面对对象编程——结合面试谈谈封装、继承、多态，相关习题详解
- python的pandas库内的函数_python 中NumPy和Pandas工具包中的函数使用笔记（方便自己查找）...
- Flutter 学习（V2EX）
- 【天池赛事】零基础入门语义分割-地表建筑物识别 Task5：模型训练与验证
- CentOS7 编译安装LVS 互为主备 (实测 笔记 Centos 7.0 + ipvsadm 1.27 + keepalived 1.2.15 )
- linux /proc/cpuinfo文件分析
- Python面试题大全（三）：Web开发（Flask、爬虫）
- 探索篇 | 新奇测试策略剖析，大家都觉得多此一举(二)
- c# Form中的键盘响应
- php不支持redis
- python plt 一张图两个y轴，图例legend合并
- PE启动盘安装操作系统
- 信息安全技术及应用 系统安全防护技术
- 近代物理实验 核磁共振的稳态吸收（含数据及参考题）
- 实用思维导图、流程图模板合集，让你的头脑灵活起来
- 计算机软件求解线性规划模型--Python
- JAVA 处理带AM 或 PM的时间
- OA系统的集成与整合：打破信息孤岛，实现企业信息化融会贯通