机器学习笔记：激活函数
1 激活函数综述
激活函数：对输入信号进行线性/非线性变换
2 为什么激活函数要是非线性函数
如果不用激活函数，在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络 有多少层，输出都是输入的线性组合，与没有隐藏层效果相当。那么网络的逼近能力就相当有限。
正因为上面的原因，我们决定引入非线性函数作为激活函 数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任 意函数）
3 激活函数举例
3.1 softmax
一般最后一个输出层可能用它来归一化
经过softmax后每一个单元取值都是介于0和1之间的概率值 ,且和为1——>这是变换后可被解释成概率的基本前提。
选择概率值最大的类别作为最终的分类结果（对于多分类问题来说）
3.2 tanh
和sigmoid类似 ，也是将(-∞,∞)压缩到一个有限的空间中。
和sigmoid不一样的地方是，sigmoid 压缩至[0，1]，tanh压缩至(-1,1)
3.3 sigmoid
将所有结果压缩到[0~1]上——可以用来进行二元分类，σ(x)表示了一个类的概率
3.4 ReLU（线性整流单元）
- 便于计算
- 可以解决梯度衰减和梯度爆炸问题（斜率是1）
小于0的输出值，经过激活函数之后，输出为0，那么这些值我们可以去除：变成一个细长的线性网络
但这并不是说明通过relu之后，我们得到了一个线性模型，因为随着input的不同，模型是一直在变的（经过后，那些神经元有值是变化的。也就是说，relu连接的边会发生变化）
3.4.1 relu的变体
3.5 Maxout
relu是特殊的maxout，相当于一个虚拟神经元的输出肯定为0，然后进行比较，看保留哪个
maxout对应的分段函数有几段，取决于一次性比较几个输出
3.5.1 maxout的训练
每一次给定不同的input，连接的边都是不一样的，训练的方式也自然不同。（每一次只更新目前连着的这些参数）
但因为不同的input对应不同的连接方式，所以每个weight实际上都会被train到（CNN中的max pooling的训练方式同理）
机器学习笔记：激活函数相关推荐
- 机器学习笔记之指数族分布——最大熵原理与softmax激活函数的关系
机器学习笔记之指数族分布--最大熵原理与softmax激活函数的关系 引言 符号定义 基于多维数据集合的经验概率分布 回顾:经验概率分布 多维数据的经验概率分布 Softmax\mathcal Sof ...
- 一份520页的机器学习笔记！附下载链接
点击上方"视学算法",选择"星标"公众号 第一时间获取价值内容 近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 52 ...
- 700 页的机器学习笔记火了！完整版开放下载
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 作者 梁劲(Jim Liang),来自SAP(全球第一大商业软件公司). 书籍特点 条理清晰 ...
- Python机器学习笔记：sklearn库的学习
自2007年发布以来,scikit-learn已经成为Python重要的机器学习库了,scikit-learn简称sklearn,支持包括分类,回归,降维和聚类四大机器学习算法.还包括了特征提取,数据 ...
- 700 页的机器学习笔记火啦，图文生动形象
为了方便大家学习,我们已经准备好了完整版的机器学习笔记PDF,感兴趣的同学可以直接下载 链接: 百度网盘 请输入提取码 提取码: ie8i 作者介绍了常用的算法,包括: 线性回归 逻辑回归 神经网 ...
- 机器学习笔记——神经网络与深度学习
机器学习笔记--神经网络与深度学习 一.神经网络引言 二.神经元模型与激活函数 2.1 神经元模型 2.2 激活函数 2.2.1 sigmoid & tanh 2.2.2 ReLU激活函数 2 ...
- 【学习打卡02】可解释机器学习笔记之ZFNet
可解释机器学习笔记之ZFNet 文章目录 可解释机器学习笔记之ZFNet ZFNet介绍 ZFNet结构 特征可视化 可视化结构 特征不变性 特征演化 遮挡性分析 其他内容 总结和思考 首先非常感谢同 ...
- 【机器学习笔记14】softmax多分类模型【下篇】从零开始自己实现softmax多分类器（含具体代码与示例数据集）
文章目录 推荐阅读 前言 关于代码 第一部分 Softmax分类器相关公式与步骤 相关公式 梯度下降步骤 数据集获取 从零开始实现softmax多分类器 导入数据 初始框架 step1:将label向 ...
- 机器学习笔记之受限玻尔兹曼机(四)推断任务——边缘概率
机器学习笔记之受限玻尔兹曼机--推断任务[边缘概率] 引言 回顾:场景构建 推断任务--边缘概率求解 边缘概率与Softplus函数 引言 上一节介绍了受限玻尔兹曼机中随机变量节点的后验概率,本节将介 ...
- 机器学习笔记 - YOLO家族简介
一.背景概述 目标检测是计算机视觉中最重要的课题之一.大多数计算机视觉问题都涉及检测视觉对象类别,如行人.汽车.公共汽车.人脸等.这一领域不仅限于学术界,而且在视频监控.医疗保健.车载传感和自动驾驶. ...
最新文章
- [转]几种最短路径算法的比较
- linux shell显示下载进度,shell脚本测试下载速度
- ibatis调用sqlserver存储过程
- 产业结盟 跨界共赢 | 新华三成为“中国联通物联网产业联盟” 首批成员
- 【设计】线框图、原型和视觉稿的区别
- 把cmakelist转化为Qt Pro文件
- cartographer学习笔记--如何保存cartagrapher_ros建好的地图
- html期末网页设计,求网页设计的期末作业一份 HTML的
- 从托管到原生，MPP架构数据仓库的云原生实践
- 为什么NOLOCK查询提示是个不明智的想法
- springboot idea debug 模式下启动特别忙，且无法访问
- Red Hat 6 安装 Yum源
- jquery手机模拟器
- 《码出高效：Java 开发手册》“码” 出高效的同时编写出高质量的代“码”。
- 两个网卡做映射linux,linux多网卡的路由模式和桥接模式设置方法
- 纯css绘制简易对话气泡
- 简述python文件操作的流程_Python文件操作详解
- 达梦数据库修改字段（列）（基表修改语句）
- Detecting Visual Relationships with Deep Relational Networks（阅读笔记）
- Lisp for Small Prices