1.激活函数是什么

链接:https://www.cnblogs.com/lliuye/p/9486500.html

2.为什么需要激活函数

链接:https://baike.baidu.com/item/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0/2520792?fr=aladdin

3.激活函数分类

(1)sigmoid函数


该函数是将取值为 (−∞,+∞) 的数映射到 (0,1) 之间,很好的表达神经元的激活与未激活的状态,适合二分类。
缺点:
函数的输出不是以0为均值,将不便于下层的计算;
计算量大;
当 z 值非常大或者非常小时,通过上图我们可以看到,sigmoid函数的导数 g′(z) 将接近 0 。这会导致权重 W 的梯度将接近 0 ,使得梯度更新十分缓慢,即梯度消失(gradient vanishing)

(2)tanh函数


tanh是在sigmoid基础上的改进,将压缩范围调整为(-1,1)
tanh函数均值为 0 ,因此弥补了sigmoid函数均值为 0.5 的缺点;但仍有梯度消失问题

(3)ReLU函数:解决梯度消失(gradient vanishing)问题


ReLU缺点:只要输入是负值,那么输出就为0,这可能导致后面的网络输入都是0,造成网络大面积坏死
变形


(4)MaxOut函数

https://blog.csdn.net/hjimce/article/details/50414467

(5)SWISH函数

链接:https://www.cnblogs.com/makefile/p/activation-function.html

激活函数active function相关推荐

  1. 激活函数 activation function

    文章目录 激活函数 activation function Sigmoid Sigmoid 反向传播 Tanh ReLU Dead ReLU Problem 产生的原因 激活函数 activation ...

  2. Pytorch——激活函数(Activation Function)

    文章目录 1.非线性方程 2.激活函数 3.常用选择 4.代码 1.非线性方程 我们为什么要使用激励函数? 用简单的语句来概括. 就是因为, 现实并没有我们想象的那么美好, 它是残酷多变的. 哈哈, ...

  3. [TensorFlow 学习笔记-06]激活函数(Activation Function)

    [版权说明] TensorFlow 学习笔记参考:  李嘉璇 著 TensorFlow技术解析与实战 黄文坚 唐源 著 TensorFlow实战郑泽宇  顾思宇 著 TensorFlow实战Googl ...

  4. 常用激活函数activation function(Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码

    激活函数是确定神经网络输出的数学方程式. 激活函数的作用:给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数. 1.附加到网络中的每个神经元,并根据每个神经元的输入来确定是否应激活. 2 ...

  5. CICC科普栏目|神经网络浅讲:从神经元到深度学习

    图1 人脑神经网络 来源: 计算机的潜意识 摘要:神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向–深度学习的基础. 神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向–深度学习 ...

  6. Deep Learning的基础概念

    目录 DNN CNN DNN VS CNN Example 卷积的好处why convolution? 权值共享 parameter sharing 稀疏连接 sparse connection 平移 ...

  7. 神经网络——最易懂最清晰的一篇文章

    神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术. 本文以一种简单的,循序的方 ...

  8. 《机器学习》第四章 人工神经网络 深度学习启蒙篇

    神经网络是一门重要的机器学习技术.它是目前最为火热的研究方向--深度学习的基础.学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解深度学习技术. 本文以一种简单的,循序的方 ...

  9. 2021SC@SDUSC基于人工智能的多肽药物分析问题(十三)

    基于人工智能的多肽药物分析问题(十三) 2021SC@SDUSC 1. 前言 代码分析已临近尾声了,目前还剩下e2e模式的预测代码,由于两种模式的代码存在部分重叠,所以接下来的代码可能会略过一些重复代 ...

最新文章

  1. 一起学WP7 XNA游戏开发(八. 让3d model动起来)
  2. SPOJ375(树链剖分)
  3. pythonsys模块介绍_sys 模块介绍 - Clarkhedi的个人空间 - OSCHINA - 中文开源技术交流社区...
  4. log4j2配置文件的故事
  5. ue4怎么导出fbx文件_【教程】Houdini Engine在UE4中的基本使用(一)
  6. 2015蓝桥杯省赛---java---C---9(打印大X)
  7. ACM - 欧拉函数(内容)
  8. mybatis plus骚操作之逻辑删除
  9. asp.NET去掉form的runat=server照样使用服务器控件,包括表单的服务器控件
  10. 如何将linux内核的带级别控制的printk内容打印出来
  11. 符号常量和变量有什么区别_JVM是什么?
  12. 日志异常处理-spring aop注解
  13. 杨强教授新番!破解机器学习数据孤岛和数据保护难题
  14. 正反馈理论与管理学——马太效应、比…
  15. 1167_ARM CORTEX-M0了解
  16. PMU配置(RK808)
  17. 使用easypoi操作excel
  18. 签约沈腾、贾玲,苏宁拼购打造下沉市场“新引擎”
  19. 黑马程序员——多线程
  20. vue简易微前端项目搭建(一):项目背景及简介

热门文章

  1. 设计行业专业素材导航网站|行业流行
  2. Python中为啥 ‘abcd‘<‘ad‘ 答案他来啦
  3. Virtio: An I/O virtualization framework for Linux | 原文
  4. Linux Jump Label(x86)
  5. 《深入浅出DPDK》学习思维导图
  6. FD.io VPP配置文件详解
  7. Vector Packet Processing(VPP) (一)简介
  8. flask的janja模板
  9. matplotlib之legend图例和标注(笔记三)
  10. Recycle网格制式之瀑布流的实现