一、激励函数

如上图：神经元的输出值会经历一个f函数，我们将这个函数叫做激励函数。加入激励函数的目的是为了让神经网络模型能够逼近非线性函数。假若去掉激励函数，神经元就只有线性函数y=wx+b，这样的神经网络就只能逼近线性函数。假如在不加激励函数的前提下，要训练一个分类模型，倘若数据是非线性可分的，那么模型的准确率会相当低，因为我们的模型训练不出一个非线性函数去拟合数据。

常见的激励函数：

1.Sigmoid函数

2.Linear

线性激活函数，即不对神经元的输出值进行处理，直接输出，通常是用在回归模型的输出层中。

3.Softmax

通常用在分类模型的输出层中。原理如下：

训练的时候将训练样本图片放入输入层，标签向量放入输出层，最终训练出一个模型。

最后，softmax层的输出结果如下图所示：

0.85对应着最大概率，说明这张图片是猫，多有的概率加起来等于1。

4.Relu

二、损失函数

前言：基于整个神经网络的训练课程是基于梯度下降方法去不断缩小预测值与真实值之间差值的过程。而这个差值就是损失（loss），计算这个损失的函数就是损失函数，且损失函数是和神经网络输出层的激励函数相配套的。

以上信息来源于公众号：python机器学习体系

自己的学习记录，如有侵权，请联系删除！！！

【学习笔记】常见的激励函数和损失函数相关推荐

mybatis学习笔记--常见的错误
原文来自:<mybatis学习笔记--常见的错误> 昨天刚学了下mybatis,用的是3.2.2的版本,在使用过程中遇到了些小问题,现总结如下,会不断更新. 1.没有在configurat ...
学习笔记-常见安全设备渗透方法
SecDevice - Exploits 免责声明本文档仅供学习和研究使用,请勿使用文中的技术源码用于非法用途,任何人造成的任何负面影响,与本人无关. 大纲身份与访问控制堡垒机 IMC 网络检测 ...
Tensorflow学习笔记（六）均方误差损失函数，MSE
一.均方误差损失函数对于回归问题,最常用的损失函数就是均方误差损失函数(MSE) 定义如下: 其中yi为输出中第i个数据的答案值,yi' 就是神经网络给出的预测值.因此最小化该函数就是优化的目标. ...
微机原理学习笔记-常见寻址方式
常见寻址方式文章目录常见寻址方式 1. 立即数寻址 2.寄存器寻址(寄存器直接寻址) 3. 直接寻址(存储器直接寻址) 4. 寄存器间接寻址 5. 基址寻址 6. 变址寻址 7.比例变址寻址 8. ...
java学习笔记:常见字符编码和编码头BOM
ANSI (American National Standards Institute,美国国家标准学会) ANSI编码标准是指所有从基本ASCII码基础上发展起来的编码标准, 比如扩展的ASCII码 ...
交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数
理解交叉熵关于样本集的两个概率分布p和q,设p为真实的分布,比如[1, 0, 0]表示当前样本属于第一类,q为拟合的分布,比如[0.7, 0.2, 0.1]. 按照真实分布p来衡量识别一个样本所需的 ...
activiti学习笔记---常见异常
Activiti中的基础异常为org.activiti.engine.ActivitiException,一个非检查异常, 这个异常可以在任何时候被API抛出. 为了避免过多的异常继承,下面的子类用于 ...
深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经 ...
利用计算机技术实现对文本篇章,自然语言处理NLP学习笔记一：概念与模型初探...
前言先来看一些demo,来一些直观的了解. 自然语言处理: 可以做中文分词,词性分析,文本摘要等,为后面的知识图谱做准备. 知识图谱: 还有2个实际应用的例子,加深对NLP的理解九歌机器人: 微软 ...
Go 学习推荐 —（Go by example 中文版、Go 构建 Web 应用、Go 学习笔记、Golang常见错误、Go 语言四十二章经、Go 语言高级编程）
Go by example 中文版 Go 构建 Web 应用 Go 学习笔记:无痕 Go 标准库中文文档 Golang开发新手常犯的50个错误 50 Shades of Go: Traps, Gotc ...

【学习笔记】常见的激励函数和损失函数

一、激励函数

二、损失函数

【学习笔记】常见的激励函数和损失函数相关推荐

最新文章

热门文章