AI圣经-深度学习-读书笔记（四）-数值计算
数值计算
机器学习算法通常需要大量的数值计算，这通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化和线性方程组的求解。
对上溢和下溢进行数值稳定的一个例子是softmax函数。
病态条件
条件数指的是函数相对于输入的微小变化而变化的快慢程度，输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。
优化
优化指的是改变x以最小化或最大化某个函数f(x)f(x)f(x)的任务，我们通常以最小化f(x)f(x)f(x)指代大多数最优化问题。
梯度下降
将x往导数的反方向移动一小步来减小f(x)f(x)f(x)，称为梯度下降。
一阶导数为0的点称为临界点，有些临界点既不是最小点也不是最大点，称为鞍点。在多维条件下，临界点是梯度中多有元素都为零的点。
针对具有多维输入的函数，需要用到偏导数的概念，
梯度是相对一个向量求导的导数。
虽然梯度下降被限制在连续空间中的优化问题，但不断向更好的情况移动一小步（即近似最佳的小移动）的一般概念可以推广到离散空间。
计算输入和输出均是向量的函数的所有偏导数的矩阵称为JacobianJacobianJacobian矩阵。
二阶导数是对曲率的衡量。二阶导数组成的矩阵称为HessianHessianHessian矩阵。深度学习中，我们遇到的大多数HessaianHessaianHessaian矩阵大部分都是实对称矩阵，可以将其分为一组实特征值和一组特征向量的正交基。
当我们要最小化的函数能用二次函数很好地近似的情况下，HessianHessianHessian的特征值决定了学习率的量级。
凸优化算法只对凸函数适用，即HessianHessianHessian处处半正定的函数。因为这些函数没有鞍点，而且所有局部极小点必然是全局极小点，所以表现很好。凸优化中的分析思路对证明深度学习算法的收敛性非常有用，一般来说，深度学习背景下的凸优化的重要性大大减少。
约束优化
在x的所有可能值下最大化或最小化一个函数f(x)f(x)f(x)不是我们所希望的，相反，我们可能希望在x的某个集合s中找f(x)的最大值或最小值。
AI圣经-深度学习-读书笔记（四）-数值计算相关推荐
- AI圣经-深度学习-读书笔记（一）-引言
引言 机器学习:AI系统需要具备自己***获取自己获取知识的能力***,即从原始数据中提取模式的能力. 许多人工智能任务都可以通过以下方式解决:先提取一个合适的特征集,然后将这几个特征提供给简单的机器 ...
- AI圣经-深度学习-读书笔记（七）-深度学习中的正则化
深度学习中的正则化 0 简介 机器学习中的一个核心问题是设计不仅在训练数据上表现好,而且能在新输入上泛化好的算法.采用显式减少测试误差(可能会增加训练误差)的策略称为正则化. 在深度学习的背景下,大多 ...
- AI圣经-深度学习-读书笔记（三）-概率与信息论
概率与信息论 1 概率论 概率论使我们能够提出不确定的申明以及在不确定性存在的情况下进行推理,而信息论使我们能够量化概率分布中不确定性的总量. 我们用概率来表示一种信任度,概率直接与事件发生的频率相联 ...
- 深度学习读书笔记之RBM（限制波尔兹曼机）
深度学习读书笔记之RBM 声明: 1)看到其他博客如@zouxy09都有个声明,老衲也抄袭一下这个东西 2)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的 ...
- 深度学习读书笔记之AE（自动编码）
深度学习读书笔记之AE 声明: 1)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的 ...
- 吴恩达深度学习——读书笔记
神经网络和深度学习 深度学习概述 深度学习(Deep Learning)是更复杂的神经网络(Neural Network). 这是一个基本的神经网络模型结构.在训练的过程中,只要有足够的输入x和输出y ...
- 深度学习读书笔记之RBM
/*************************** * * 转自:http://blog.csdn.net/mytestmy/article/details/9150213 * ******* ...
- [1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning
- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等, ...
- 神经网络与深度学习（笔记四）
一.语义分割基本概念 1. 问题描述 语义分割:找到同一画面中的不同类型目标区域.(如下图所示) 2. 语义分割与实例分割以及目标检测的区别 实例分割问题在于同一类型目标要分出来具体实例,目标检测问题 ...
最新文章
- win10无法连接wifi_手机连接WIFI但是无法上网？3个办法帮您解决！
- 算法与数据结构（python）：冒泡排序、选择排序、插入排序
- vue数组中对象属性变化页面不渲染问题
- SQL Server 日志传送
- 从文件夹中读取所有文件的指定内容，按行读取。
- 浅谈测试职业的发展空间
- K8s运行dashboard命令启动报错：no endpoints available for service \kubernetes-dashboard\
- af_packet_C语言中利用AF_PACKET 原始套接字发送一个任意以太网帧 (一）
- 重要开源！CNN-RNN-CTC 实现手写汉字识别
- 换教室（NOIP2016提高组Day1T3）
- AWS Toolkit for Eclipse环境配置
- macbook只有windows下安装os系统、trackpad++下载
- DeepStream初步学习
- ViPER4Android FX 2.5,利用ViPER4Android FX音效驱动提升耳机音质
- 给kvm虚机开放对外访问的端口
- [渝粤教育] 中国地质大学 生产与作业管理 复习题 (2)
- 通过root权限可直接修改Ubuntu用户密码（需要知道root密码）
- velocity 将字符串切割按每隔3位加逗号，map集合遍历，字符串拼接，
- jquery $.each(data, function (index, value) {
- openfire入门