白话machine learning之Loss Function

转自：http://eletva.com/tower/?p=186

有关Loss Function（LF），只想说，终于写了

一、Loss Function

什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数，适用于用于统计，经济，机器学习等领域，虽外表形式不一，但其本质作用应是唯一的，即用于衡量最优的策略。本章只从机器学习（ML）领域来对其进行阐述，机器学习其实是个不停的模拟现实的过程，比如无人驾驶车，语音识别，流感预测，天气预报，经济周期行为等众多领域，是互联网发展过程中“科学家”（暂且这么称呼吧）对于人类文明进步的另一个贡献，其本质就是要建立一个数学模型用于模拟现实，越接近真实越好，那么转化为数学语言即LF越小越好，因为LF值代表着现实与学习预测的差距，这个不停的缩小LF值的过程就称为优化，如果理解这些的话，就不难理解优化问题对于ML来说的重要性了，如水之于鱼，魂之于人！

二、几种Loss Function概述

如上一节所述，LF的概念来源于机器学习，同时我们也知道机器学习的应用范围相当广泛，几乎可以涵盖整个社会领域，那么自然不同的领域多少会有不同的做法，这里介绍在一般的机器学习算法中常见的几种，具有概括性

2.1 一般形式

J(w)=∑iL(mi(w))+λR(w)

LF分为两部分：L+R，L表示loss term，其中mi(w)=y(i)wTxi，y(i)∈{−1,1}，w表示学习出来的权重，该公式的作用很明显了，用来收集现实与学习结果的差距，是LF的核心部分，LF的不同大部分也是指的loss term的不同；R表示范式，范式存在的意思是进行约束，以防止优化过偏。

2.2 一般的loss term有5种，分别用于5种常见的机器学习算法

Gold Standard（标准式）于理想sample，这种一般很少有实践场景，这个方法的作用更多的是用来衡量其他LF的效用；Hinge于soft-margin svm算法；log于LR算法（Logistric Regression）；squared loss于线性回归（Liner Regression）和Boosting。

1）Gold Standard loss，一般我们称这个LF为L01，从公式中可以看出该公式的主要职责是在统计多少个错误的case，很明显现实数据不允许如此简单的统计方式

从公式我们可以很清楚的看出，当m<0的时候L=1，m<0说明预测失败，那么Loss则加1，这样将错误累加上去，就是Gold Standard loss的核心思想。

2）hinge loss，常用于“maximum-margin”的算法，公式如下

l(y)=max(0,1−mi(w))

这个公式也很好理解，其中mi(w)在前面介绍过，表示样本i在模型下的预测值的样本i的类标记{-1,1}的乘积，这个乘积可以用来检验预测与真实结果是否一致来表示分类是否正确，当乘积大于0时表示分类正确，反之亦然。

3) log loss(一般又称为基于最大似然的负log loss)

likelihood=

l(y)=−likelihood

其中是log函数

最大似然思想指的是使得某种情况发生的概念最大的思想，根据LR的思想（参考这篇文章logistic回归深入篇（1）），我们知道g(w)对应的simod图，其将实域上的值映射到区间{0,1}，因此我们可以把g(w)看作事件A发生的概率，那么1-g(w)可以看作事件A不发生的概率，那么公式likelihood表达的含义就很明显了，y也是一个概率值，可以看做是对事件A与A逆的分量配额，当然我们的期望是A发生的可能越大越好，A逆发生的可能越小越好！因此likelihood是一个max的过程，而loss是一个min的过程，因此log loss是负的likelihood。

4）square loss

这个loss很好理解，就是平方差，loss 一般也成为最小二乘法

5）boosting loss

这个loss主要是基于指数函数的loss function。

三、几种Loss Function的效果对比

上图是多LF的效果对比图，其中蓝色的是Gold loss，可以看作水平基线，其他的loss的效果可以基于与它的比较结果，首先，红色的是Hinge loss，黄色的是log loss，绿色的是boosting loss，黑色的是square loss，从上图可以看出以下结论： Hinge，log对于噪音函数不敏感，因为当m<0时，他们的反应不大，而黑线与绿线可能更爱憎分明，尤其是黑线，因此，在很多线性分类问题中，square loss也是很常见的LF之一。

白话machine learning之Loss Function相关推荐

关于机器学习 Machine Learning中loss函数参数正则化的一点思考
1 致谢感谢 Andrew Ng教授的讲述! 2 前言今天在学习机器学习中对loss函数中的参数进行正则化~ 3 关于机器学习中loss函数参数正则化在机器学习中,有一项防止过拟合的技巧就是(参 ...
3D Instance Embedding Learning With a Structure-Aware Loss Function for Point Cloud Segmentation
Abstract 这封信提出了一个在点云上进行3D实例分割的框架.使用3D卷积神经网络作为主干,同时生成语义预测和实例嵌入.除了嵌入信息,点云还提供反映点之间关系的3D几何信息.考虑到这两种类型的信息 ...
论文阅读-2 | Meta-Learning with Task-Adaptive Loss Function for Few Shot Learning
论文目录 0 概述 0.1 论文题目 0.2 摘要 1 简介 2 相关的工作 3 提出的方法 3.1 前言 3.1.1 提出问题 3.1.2 模型无关元学习 Model-agnostic meta-l ...
【github】机器学习(Machine Learning)深度学习(Deep Learning)资料
转自:https://github.com/ty4z2008/Qix/blob/master/dl.md# <Brief History of Machine Learning> 介绍:这 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料汇总
本文来源:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
机器学习----(Machine Learning)深度学习(Deep Learning)资料(Chapter 1)
文章转至:作者:yf210yf 感谢您提供的资源资料汇总的很多,转载一下也方便自己以后慢慢学习注:机器学习资料篇目一共500条,篇目二开始更新希望转载的朋友,你可以不用联系我．但是一定要保留原 ...
机器学习(Machine Learning)深度学习(Deep Learning)资料集合
机器学习(Machine Learning)&深度学习(Deep Learning)资料原文链接:https://github.com/ty4z2008/Qix/blob/master/dl ...
机器学习(Machine Learning)深度学习(Deep Learning)资料(Chapter 1
<Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.D ...
（转）机器学习(Machine Learning)深度学习(Deep Learning)资料
原文链接:https://github.com/ty4z2008/Qix/blob/master/dl.md 机器学习(Machine Learning)&深度学习(Deep Learning ...
损失函数(Loss Function) -1
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数 ...

白话machine learning之Loss Function

白话machine learning之Loss Function相关推荐

最新文章

热门文章