深度学习——激励函数

一、简介激励函数

神经网络的输入，大部分是线性的，例如y=Wx+b这种形式。但是在现实生活中，都是线性的，是不符合现实情况的。这个时候就需要将线性函数转化成非线性函数。这个时候激励函数就“闪亮登场”了。激活函数的作用就是将线性函数转化成非线性函数！！！

二、常用的激励函数

常用的激活函数有：relu sigmoid tanh
使用这些激活函数对线性函数进行再一次的“包裹”，从而将线性函数转化成非线性函数。

三、使用激励函数

# coding:utf-8import numpy as np
import matplotlib.pyplot as plt
import torch
import torch.nn.functional as F# 造数据
data = torch.linspace(-5, 5, 200)
y_relu = torch.relu(data)
y_sigmoid = torch.sigmoid(data)
y_tanh = torch.tanh(data)
y_softplus = F.softplus(data)# 绘图
plt.figure()
# 子图1
plt.subplot(221)
plt.plot(data, y_relu, c="red", label="relu")
plt.ylim((-1, 5))
plt.legend(loc="best")# 子图2
plt.subplot(222)
plt.plot(data, y_sigmoid, c="red", label="sigmoid")
plt.ylim((-1, 5))
plt.legend(loc="best")# 子图3
plt.subplot(223)
plt.plot(data, y_tanh, c="red", label="tanh")
plt.ylim((-1, 5))
plt.legend(loc="best")# 子图3
plt.subplot(224)
plt.plot(data, y_softplus, c="red", label="softplus")
plt.ylim((-1, 5))
plt.legend(loc="best")# 展示
plt.show()

深度学习——激励函数相关推荐

基于Pytorch的深度学习激励函数总结
基于Pytorch的深度学习激励函数总结 1 激励函数定义 2 常见激励函数 2.1 Threshold函数 2.1.1 数学定义 2.1.2 常见性质 2.1.3 Pytorch实现 2.2 Tan ...
[深度学习]人工神经网络中激励函数作用详解
前言业余时间,看了关于深度学习方面的知识,对人工神经网络中激励函数存在疑惑,查阅资料,总结给大家,一起学习. 激励函数作用不使用激励函数的话,神经网络的每层都只是做线性变换,多层输入叠加后也还是线 ...
深度学习（6）构造简单的神经网络
目录一.激励函数二.创建数组(初始输入和输出) 三.更新权重 1.创建权重(w0和w1) 2.限值(-1~1) 3.正向传播 4.反向传播 4-1.求l2差错 4-2.求l1差错五.更新权重总 ...
大话卷积神经网络CNN，小白也能看懂的深度学习算法教程，全程干货建议收藏！...
来源 | 程序员管小亮本文创作的主要目的,是对时下最火最流行的深度学习算法的基础知识做一个简介,作者看过许多教程,感觉对小白不是特别友好,尤其是在踩过好多坑之后,于是便有了写这篇文章的想法. 由于文 ...
高效“炼丹”必备技能：一文实现深度学习数学原理入门，还有吴恩达老师亲授课程...
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 哪个程序员不想高效"炼丹"? 尤其是深度学习算法开发人员,追求模型结构优化和提高编程效率是永远的目标. 但是,如果只做 ...
神经网络和深度学习简史（三）
一.可以做决定的神经网络在了解了神经网络在无监督学习方面的应用以后,我们接下来将见到机器学习的第三部分:增强学习.尽管这个概念需要一个明确的数学表示进行描述,但我们可以先从简单理解一下:增强学习 ...
心得丨深度学习的技术原理、迭代路径与局限
本文尝试复盘梳理深度学习目前的技术要点,深度学习中模型迭代的方向,以及改进后存在的局限. 第一部分:深度学习技术基本要素:神经元.神经网络.分类器.可视化框架在深度学习领域,神经元是深度学习的基本单 ...
深度学习：技术原理、迭代路径与局限
来源:36氪作者:何沛宽本文尝试复盘梳理深度学习目前的技术要点,深度学习中模型迭代的方向,以及改进后存在的局限. 第一部分:深度学习技术基本要素:神经元.神经网络.分类器.可视化框架在深度学习领 ...
深度学习与计算机视觉系列(8)_神经网络训练与注意点
深度学习与计算机视觉系列(8)_神经网络训练与注意点作者:寒小阳时间:2016年1月. 出处:http://blog.csdn.net/han_xiaoyang/article/details ...

深度学习——激励函数

一、简介激励函数

二、常用的激励函数

三、使用激励函数

深度学习——激励函数相关推荐

最新文章

热门文章