机器学习算法源码全解析（二）-范数规则化之L0、L1与L2范数

前言

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较长，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。

监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终目标，我们的目标是希望模型的测试误差小，也就是能准确的预测新的样本。所以，我们需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化性能（也就是测试误差也小），而模型“简单”就是通过规则函数来实现的。另外，规则项的使用还可以约束我们的模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中，强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。要知道，有时候人的先验是非常重要的。对机器学习也是一样，如果被我们人稍微点拨一下，它肯定能更快的学习相应的任务。只是由于人和机器的交流目前还没有那么直接的方法，目前这个媒介只能由规则项来担当了。

还有几种角度来看待规则化的。规则化符合奥卡姆剃刀(Occam's razor)原理。这名字好霸气，razor！不过它的思想很平易近人：在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型。从贝叶斯估计的角度来看࿰

机器学习算法源码全解析（二）-范数规则化之L0、L1与L2范数相关推荐

机器学习算法源码全解析（三）-范数规则化之核范数与规则项参数选择
前言参见上一篇博文,我们聊到了L0,L1和L2范数,这篇我们絮叨絮叨下核范数和规则项参数选择.知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正.谢谢. 机器学习算法源码全解析( ...
机器学习算法源码全解析（一）-带你深入理解随机森林（RandomForest）原理及如何防止 Dropout
前言要想了解如何增强机器学习模型性能,我们需要知道如何降低模型的误差.所以首先我们必须明白模型误差是由偏差(Bias)和方差(Variance)组成的.偏差是指样本预测值的平均值与样本真实值的差,而 ...
机器学习算法源码全解析（四）-人工神经网络关键核心知识点汇总
前言神经网络里面主要就是单层神经网络学习和多层神经网络学习,涉及到知识点主要就是感知器,线性分割,影藏层,权重校正,误差的平方和等知识点. 感知器:是神经网络最简单的形式,单层双输入感知器的结构如下 ...
【Camera专题】Camera驱动源码全解析_下
系列文章 1.手把手撸一份驱动到点亮 Camera 2.Camera dtsi 完全解析 3.Camera驱动源码全解析上 4.Camera驱动源码全解析下上篇文章分析了C文件函数的实现,本文继 ...
机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正. 本篇博客主要是为了解决机器学习中的过拟合 ...
l2范数求导_理解L1，L2 范数在机器学习中应用
理解L1,L2 范数 L1,L2 范数即 L1-norm 和 L2-norm,自然,有L1.L2便也有L0.L3等等.因为在机器学习领域,L1 和 L2 范数应用比较多,比如作为正则项在回归中的使用 ...
Gradle源码全解析，已拿offer
前言最近发现大家都喜欢看面试相关的文章,我也跟一波风,总结了一下我面试中所遇到的问题总结,分享一下面试中被问的最多的一些问题. 希望对正在找工作的朋友提供一些帮助. 好了话不多说,进入正题. 基于L ...
Gradle源码全解析，Android开发社招面试经验
自我介绍 Android开发6年,之前是在美团后来因为个人发展问题以及一些家庭因素,疫情辞职了.没想到遇到了疫情,在家里蹲了几个月,内心其实挺慌得.上个月通过内推跳槽到了腾讯,薪资从15K涨到了30K ...
Android fragment源码全解析
Fragment 相信基本上每个android developer都用过,但是知晓其原理用的好的还是不多,今天就从源码的角度上来带着大家分析一下Fragment的源码,对fragment有了更深层次 ...

机器学习算法源码全解析（二）-范数规则化之L0、L1与L2范数

前言

机器学习算法源码全解析（二）-范数规则化之L0、L1与L2范数相关推荐

最新文章

热门文章