1 前言

感谢蔡超老师的讲授，给予了我很大的启发～

2 数值分析方法求解最优化——“数学上最优美的求解方法”

2.1 最初认识数值分析求解最优化的分类器——SVM

SVM是我最初学习的分类器之一，SVM线性分类器求解过程的推导还是十分优美的～

使用了拉格朗日乘子法；

（具体的推导过程可以参考蔡超老师讲授的PPT）

2.2 为什么神经网络不适合用数值分析法求解呢？

这是因为在数值分析法求解的过程中，需要计算矩阵或者张量 $\sum$ 运算，

在进行这个运算时，会涉及到所有的样本值，而在目标检测中，输入图像一般都是高维张量，

我们几乎是不可能将所有样本同时输入内存进行计算的，现有的硬件无法满足这样的要求；

于是，为了解决这个问题，我们采用了另一种巧妙的pratical的策略——随机梯度下降法（SGD）；

深度学习——最优化的学习笔记相关推荐

深度学习-最优化笔记
深度学习-最优化笔记作者:杜客链接:https://zhuanlan.zhihu.com/p/21360434 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 译 ...
【《深度学习入门》—— 学习笔记（一）】
<深度学习入门>-- 学习笔记(一)_1-4章第一章 Python入门略第二章感知机(Perception) 2.1 感知机是什么感知机接收多个输入信号,输出一个信号.x1, x ...
【《深度学习入门》—— 学习笔记（二）】
<深度学习入门>-- 学习笔记(二)_5-8章第五章误差反向传播法方法一:基于数学式 - 严密简洁方法二:基于计算图(computational graph) - 直观 5.1 计 ...
Yann Lecun纽约大学《深度学习》2020课程笔记中文版，干货满满！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]Yann Lecun在纽约大学开设的2020春季<深度学习>课 ...
《深度学习的数学》笔记【各种概念】
文章目录第一章神经网络的思想 1-1 神经网络和深度学习 1-2 神经元工作的数学表示 1-3 激活函数:将神经元的工作一般化 1-4 什么是神经网络 1-5 用恶魔来讲解神经网络的结构 1-6 ...
收藏 | Yann Lecun纽约大学《深度学习》2020课程笔记中文版
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:专知 AI博士笔记系列推荐周志华<机器学习>手推笔 ...
【MATLAB深度学习工具箱】学习笔记--体脂估计算例再分析：拟合神经网络fitnet里面的数据结构】
原文链接如下 [MATLAB深度学习工具箱]学习笔记--体脂估计Body Fat Estimation_bear_miao的博客-CSDN博客介绍本示例展示一个函数拟合神经网络如何根据解剖学测量结果估 ...
【MATLAB深度学习工具箱】学习笔记--体脂估计算例再分析：拟合神经网络fitnet里面的函数】
介绍上一篇 [MATLAB深度学习工具箱]学习笔记--体脂估计算例再分析:拟合神经网络fitnet里面的数据结构]_bear_miao的博客-CSDN博客原文链接如下[MATLAB深度学习工具箱]学 ...
Python最优化算法学习笔记（Gurobi）
微信公众号:数学建模与人工智能 github地址:https://github.com/QInzhengk/Math-Model-and-Machine-Learning Python最优化算法学习笔 ...

深度学习——最优化的学习笔记

1 前言

2 数值分析方法求解最优化——“数学上最优美的求解方法”

2.1 最初认识数值分析求解最优化的分类器——SVM

2.2 为什么神经网络不适合用数值分析法求解呢？

深度学习——最优化的学习笔记相关推荐

最新文章

热门文章