1 致谢

感谢 Andrew Ng老师的教授！

2 前言

今天在学习多重线性回归~
感觉向量化&矩阵化是机器学习中很重要的编程技巧，所以这里进行一下归纳~

3 向量化&矩阵化的技巧

3.1 使用矩阵转置实现平方求和运算

在机器学习中，度量loss一个很常见的形式就是使用L2范数，也就是求解预测值与样本值的平方和，
其公式如下，
J(θ0,θ1,…,θn)=12m∑i=1m(y^i−yi)2=12m∑i=1m(hθ(xi)−yi)2J(θ_0,θ_1, \dots,θ_n)=\frac{1}{2m}\sum _{i=1}^m(\hat{y}_i − y_i)^2=\frac{1}{2m}\sum _{i=1}^m(h_θ(x_i)−y_i)^2 J(θ0,θ1,…,θn)=2m1i=1∑m(y^i−yi)2=2m1i=1∑m(hθ(xi)−yi)2
而hθ(xi)−yih_θ(x_i)−y_ihθ(xi)−yi常常会被矩阵形式表示，即：Xθ−y\boldsymbol{X}θ−yXθ−y；
于是，产生了J(θ)J(θ)J(θ)函数的向量化公式，即：
J(θ)=12m(Xθ−y)T(Xθ−y)J(θ)=\frac{1}{2m}(\boldsymbol{X}θ−y)^T( \boldsymbol{X}θ−y) J(θ)=2m1(Xθ−y)T(Xθ−y)
可以看到，这里的平方求和运算被转置运算加上矩阵乘法实现，
于是我们可以归纳一下，当求解向量v\boldsymbol{v}v的平方和时，即：
f(v1,v2,…,vn)=∑i=1nvi2f(v_1,v_2,\dots,v_n)=\sum _{i=1}^nv_i^2 f(v1,v2,…,vn)=i=1∑nvi2
可以使用转置运算加上矩阵乘法来实现平方和运算的向量化，即：
f(v)=vTvf(\boldsymbol{v})=\boldsymbol{v}^T\boldsymbol{v} f(v)=vTv

机器学习 Machine Learning中向量化矩阵化的技巧相关推荐

机器学习 Machine Learning中正则化的学习笔记~
1 前言今天在学习 Machine Learning~ 2 Regularization-正则化在机器学习中,当训练样本较少少而h(θ)h(\theta)h(θ)较为复杂时,就会产生过拟合现象,其 ...
机器学习 Machine Learning中多元线性回归的学习笔记~
1 前言今天在做 Machine Learning中多元线性回归的作业~ 2 Machine Learning中多元线性回归 2.1 Feature Scaling和 Mean Normalizat ...
机器学习 Machine Learning中一元线性回归的学习笔记~
1 前言今天在做 Machine Learning的作业~ 2 一元线性回归 2.1 loss函数带有规范化的loss函数: J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ2m∑j ...
关于机器学习 Machine Learning中loss函数参数正则化的一点思考
1 致谢感谢 Andrew Ng教授的讲述! 2 前言今天在学习机器学习中对loss函数中的参数进行正则化~ 3 关于机器学习中loss函数参数正则化在机器学习中,有一项防止过拟合的技巧就是(参 ...
机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现
网址:https://github.com/NLP-LOVE/ML-NLP 此项目是机器学习(Machine Learning).深度学习(Deep Learning).NLP面试中常考到的知识点和代 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习(Machine Learning)深度学习(Deep Learning)资料【转】
转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...
（转）机器学习(Machine Learning)深度学习(Deep Learning)资料
原文链接:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...

机器学习 Machine Learning中向量化矩阵化的技巧

1 致谢

2 前言

3 向量化&矩阵化的技巧

3.1 使用矩阵转置实现平方求和运算

机器学习 Machine Learning中向量化矩阵化的技巧相关推荐

最新文章

热门文章