为什么要了解点数学基础

学习大数据分布式计算时多少会涉及到机器学习的算法，所以理解一些机器学习基础，有助于理解大数据分布式计算系统（例如spark）的设计。机器学习中一个常见的就是gradient descent算法，是线性回归问题的一个基础算法。gradient是数学概念。

Gradient

假设一个函数有n个自变量：f(x1,x2......xn)f(x_1,x_2......x_n)，且每个x都是标量值，那么该函数的gradient就是一个n维的向量函数，每个component是f函数针对xix_i的partial derivative，ff的gradient反映的是ff针对所有变量在各自维度的变化的敏感程度（以及正负相关性，即当自变量增加时，ff值是增加还是减小，下同。gradient所反映的正负相关性非常重要，是理解gradient descent算法的一个关键）的合集。ff的gradient记为∇f\nabla f

Partial Derivative

partial derivative是derivative的一个延伸概念，是一个有n维变量的函数f(x1,x2......xn)f(x_1,x_2......x_n)，在假设其他变量值不变、仅有一个变量（假设为xix_i）变化的情况下，f函数针对该变量的derivative，写为f′(xi)f'(x_i)，或者∂f∂xi\frac{\partial f}{\partial x_i}，f(x1,x2......xn)f(x_1,x_2......x_n)对xix_i的partial derivative也是xix_i的函数，它反映的是ff相对于xix_i的变化的敏感程度（以及正负相关性）。

Derivative

一个一维变量的函数f(x)f(x)的derivative，反映的是f(x)f(x)在xx的不同值的情况下，当xx仅作无限小的变化时，ff值的变化与xx的变化的比值，因此derivative反映的是f(x)f(x)在xx的不同值的情况下，f(x)f(x)对xx的变化的敏感程度（以及正负相关性）。f(x)f(x)的derivative也是xx的函数，写为f′(x)f'(x).

Gradient Descent算法

线性回归问题可以归结为求一个函数f(x1,x2......xn)f(x_1,x_2......x_n)的(x1,x2......xn)(x_1,x_2......x_n)的某一个具体的值，使得f<script type="math/tex" id="MathJax-Element-32">f</script>有最小值。
如果把这个求解问题交给你，你能求出来吗？很难把，
而gradient descent算法则能解决这个问题。
……待续

机器学习数学基础- gradient descent算法（上）相关推荐

梯度下降（Gradient descent)算法详解
梯度下降(Gradient descent)算法详解说起梯度下降算法,其实并不是很难,它的重要作用就是求函数的极值.梯度下降就是求一个函数的最小值,对应的梯度上升就是求函数最大值.为什么这样说呢?兔 ...
[李宏毅机器学习笔记] Gradient Descent
文章目录前言 1 Gradient Descent 总结前言学习李宏毅老师的课程,所作的笔记,文中使用的PPT均来自李宏毅老师讲演PPT. 1 Gradient Descent 我们为了 ...
机器学习中Gradient Descent (Vanilla)梯度下降法的过程
Gradient Descent 最近在搞Deep Leaning,数学不好的我学的头大啊. 在学之前,你或许和我一样然而 | | | | | | | | | | | | | | | | | 现实是 ...
机器学习中的梯度下降（ Gradient Descent）算法
前言梯度下降(Gradient Descent,GD)算法主要分为三种:批量梯度下降(Batch Gradient Descent,BGD)算法.随机梯度下降(Stochastic Gradient ...
【转载】深度学习数学基础(二)～随机梯度下降(Stochastic Gradient Descent, SGD)
Source: 作者:Evan 链接:https://www.zhihu.com/question/264189719/answer/291167114 来源:知乎著作权归作者所有.商业转载请联系作 ...
机器学习(1)之梯度下降(gradient descent)
机器学习(1)之梯度下降(gradient descent) 题记:最近零碎的时间都在学习Andrew Ng的machine learning,因此就有了这些笔记. 梯度下降是线性回归的一种(Line ...
【李宏毅机器学习】04：梯度下降Gradient Descent
李宏毅机器学习04:梯度下降Gradient Descent 文章目录李宏毅机器学习04:梯度下降Gradient Descent 一.梯度下降方法二.梯度下降的改进方法 Tip 1: Tunin ...
【机器学习】＜刘建平Pinard老师博客学习记录＞梯度下降（Gradient Descent）
目录一.梯度: 二.梯度上升和梯度下降: 三.梯度下降法算法详解: 1.梯度下降的直观解释: 2.梯度下降的相关概念: 3.梯度下降的详细算法: 3.1 梯度下降法的代数方式描述: 3.2 梯度下降 ...
强化学习的学习之路（四十六）2021-02-15自然梯度法实现策略上的单调提升(Monotonic Improvement with Natural gradient descent)
作为一个新手,写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程,希望对大家能有所帮助.这个系列后面会不断更新,希望自己在2021年能保证平均每日一更的更新速度,主要是介绍强化学 ...
201-3-19李宏毅机器学习视频笔记七（游戏解释Gradient Descent）
视频部分: 视频7:使用帝国时代游戏解释Gradient Descent 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.co ...

机器学习数学基础- gradient descent算法（上）