1 致谢

感谢 Andrew Ng教授的讲述！

2 前言

今天在学习机器学习中对loss函数中的参数进行正则化~

3 关于机器学习中loss函数参数正则化

在机器学习中，有一项防止过拟合的技巧就是（参数）正则化，以平方误差函数为例，原始的loss函数为：
J(θ)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta)=\frac{1}{2m} \sum_{i=1}^{m}\left ( h_\theta\left ( x^{\left ( i \right )}\right )- y^{\left ( i \right )} \right )^2 J(θ)=2m1i=1∑m(hθ(x(i))−y(i))2
而加上正则化项后的loss函数为，
J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta)=\frac{1}{2m} \left [ \sum_{i=1}^{m}\left ( h_\theta\left ( x^{\left ( i \right )}\right )- y^{\left ( i \right )} \right )^2 +\lambda \sum_{j=1}^{n}\theta_j^2 \right ] J(θ)=2m1[i=1∑m(hθ(x(i))−y(i))2+λj=1∑nθj2]
可以看到，多了一个正则化项 λ∑j=1nθj2\lambda \sum_{j=1}^{n}\theta_j^2λ∑j=1nθj2；
在学习的时候，常常听到学者说到，正则化并没有什么很具体的数学解释，这一点我是不认同的，其实从数学的角度来看，这并不是不能分析的，首先，我们把原始loss函数称为J1(θ)J_1(\theta)J1(θ)，而加了正则化的loss函数称为J2(θ)J_2(\theta)J2(θ)，两者的区别在于J2(θ)J_2(\theta)J2(θ)多了对权值参数的惩罚项，所以不同loss函数往往会训练出不同的模型函数，（具体训练出的函数有什么根本性的不同，这里还需要进一步进行论证）；

不过我将在这里提出自己的一点猜想，首先J2(θ)J_2(\theta)J2(θ)多了对所有参数的惩罚项，必然会减小绝对值大的参数值产生的概率，这就会使参数值的整体分布偏向于平均，也就是说，这样会防止模型过多地依赖于某个参数的值，于是，这似乎隐含着一个很重要的前提，那就是：我们认为每个参数对模型的贡献是平均的，而不认为模型会过多地依赖于其中某一个或某几个参数的值。

由此可以推论，如果某个模型的真实情况的确是过多的依赖于所有参数中的某几个参数，即：在真实模型函数中，存在一个或几个权值θi1,θi2,…,θij\theta_{i1},\theta_{i2},\dots,\theta_{ij}θi1,θi2,…,θij与其它的权重值相差较大，例如：归一化之后仍然存在几千到上万倍的差距；则使用正则化则可能导致训练出来的模型具有更差的泛化能力。
以上推论是可以通过实验来进行判断的。

关于机器学习 Machine Learning中loss函数参数正则化的一点思考相关推荐

机器学习 Machine Learning中多元线性回归的学习笔记~
1 前言今天在做 Machine Learning中多元线性回归的作业~ 2 Machine Learning中多元线性回归 2.1 Feature Scaling和 Mean Normalizat ...
机器学习 Machine Learning中正则化的学习笔记~
1 前言今天在学习 Machine Learning~ 2 Regularization-正则化在机器学习中,当训练样本较少少而h(θ)h(\theta)h(θ)较为复杂时,就会产生过拟合现象,其 ...
机器学习 Machine Learning中一元线性回归的学习笔记~
1 前言今天在做 Machine Learning的作业~ 2 一元线性回归 2.1 loss函数带有规范化的loss函数: J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ2m∑j ...
机器学习 Machine Learning中向量化矩阵化的技巧
1 致谢感谢 Andrew Ng老师的教授! 2 前言今天在学习多重线性回归~ 感觉向量化&矩阵化是机器学习中很重要的编程技巧,所以这里进行一下归纳~ 3 向量化&矩阵化的技巧 3 ...
机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现
网址:https://github.com/NLP-LOVE/ML-NLP 此项目是机器学习(Machine Learning).深度学习(Deep Learning).NLP面试中常考到的知识点和代 ...
Re:从零开始的机器学习 - Machine Learning(一) 线性回归
从我对整个职业生涯的规划出发,我不仅想做一些高质量的应用(软件工程的角度),还想做一些激动人心的应用,所以我希望能在机器学习的方向走,尽管我在大学粗浅的学了些皮毛,但如果要把机器学习作为职业发展的话这 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习(Machine Learning)深度学习(Deep Learning)资料【转】
转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...

关于机器学习 Machine Learning中loss函数参数正则化的一点思考

1 致谢

2 前言

3 关于机器学习中loss函数参数正则化

关于机器学习 Machine Learning中loss函数参数正则化的一点思考相关推荐

最新文章

热门文章