平房误差函数_平方误差函数（square error function)与平方损失函数(square loss function)...
平方误差函数(square error function)与平方损失函数(square loss function)
06 Nov 2013
看《PRML》一段时间后，消除了很多统计疑惑。误差函数和损失函数就是其中之一。这两个家伙，形式蛮像的，都是平方和的形式，而且都是求极小值点。那么，它们的区别在哪呢？
误差函数用于参数估计，损失函数用于预测
从功能上说，误差函数和损失函数就不一样。误差函数是用来做估计的，属于估计理论范畴。误差函数的最小化常常又称为最小二乘法，是一种参数估计方法。最初的最小二乘法并没有统计理论基础，只是一种数值计算方法。一般只求使最小的,也不考虑t的具体模型假设是什么。当我们学习最小二乘的时候，我们总是会问，问什么我们取差的平方和，而不取差的绝对值，或者四次方的和呢？很多老师回答，是因为数学上操作简便！我以为，这种回答是不负责任的！难道为了图简便，我们就乐此不疲的使用一种没有任何科学依据的方法吗？答案是否定的。最小二乘法为人们所熟知所运用，最根本的原因是，它与高斯模型下的极大似然估计的结果是一致的！因此，我们使用最小二乘而不使用最小一乘或四乘是有道理的。
损失函数是用来做预测的，属于决策理论的范畴。在一个估计好的模型下，我们如何对一个预测变量的输出进行预测呢？用作预测呗。有没有想过其原因呢？其实，这时是一个随机变量，这个随机变量可能会取各种各样的值，用作为的预测值，在服从0均值正态分布假设下，意味着用一个随机变量的均值对一个随机变量做预测。显然，预测不可能准确，也就是说不可能为0。但是，在使最小的情况下，用均值做预测是最好的选择。而就是平方损失函数，即预测可能发生的损失。在其他损失函数下，比如,这时用均值做预测，就不会让这个损失函数最小，反而用中位数会更好。
平房误差函数_平方误差函数（square error function)与平方损失函数(square loss function)...相关推荐
- 常用损失函数（Loss Function）
[深度学习]一文读懂机器学习常用损失函数(Loss Function) 最近太忙已经好久没有写博客了,今天整理分享一篇关于损失函数的文章吧,以前对损失函数的理解不够深入,没有真正理解每个损失函数的特点 ...
- 【深度学习】一文读懂机器学习常用损失函数（Loss Function）
[深度学习]一文读懂机器学习常用损失函数(Loss Function) 最近太忙已经好久没有写博客了,今天整理分享一篇关于损失函数的文章吧,以前对损失函数的理解不够深入,没有真正理解每个损失函数的特点 ...
- TensorFlow损失函数（loss function） 2017-08-14 11:32 125人阅读 评论(0) 收藏 举报 分类： 深度学习及TensorFlow实现（10） 版权声明：
TensorFlow损失函数(loss function) 2017-08-14 11:32 125人阅读 评论(0) 收藏 举报 分类: 深度学习及TensorFlow实现(10) 版权声明:本 ...
- 机器学习中的损失函数（Loss Function）介绍、说明
损失函数 损失函数介绍 常见的损失函数 1.对数损失函数(Logloss) 2. hinge loss 合页损失函数 3. exp-loss 指数损失函数 4. cross-entropy loss ...
- 损失函数（loss function）
文章目录 1.什么是损失函数 2.为什么要使用损失函数 3.损失函数分类 1.分类一 2.分类二 3.分类三 3.1基于距离度量的损失函数 3.1.1 均方误差损失函数(MSE) 3.1.2 L2损失 ...
- 损失函数（Loss Function）在实际应用中如何合理设计
目录 1 前言 2 回归(Regression)任务 2.1 均方误差MSE(mean squared error) 2.2 平均绝对误差MAE( mean absolute error) 2.3 H ...
- 惩罚因子（penalty term）与损失函数（loss function）
penalty term 和 loss function 看起来很相似,但其实二者完全不同. 惩罚因子: penalty term的作用是把受限优化问题转化为非受限优化问题. 比如我们要优化: min ...
- 惩罚因子（penalty term）与损失函数（loss function）
penalty term 和 loss function 看起来很相似,但其实二者完全不同. 惩罚因子: penalty term的作用是把受限优化问题转化为非受限优化问题. 比如我们要优化: min ...
- 逻辑回归（logistic regression）损失函数（loss function）推导
逻辑回归(logistic regression) 逻辑回归(LR)可以看做线性回归(linear regression)的拓展,二者的区别是:逻辑回归的结果为0或1,即分类:线性回归的结果是连续值, ...
- 二元函数图像生成器_常见的损失函数（loss function）
本文主要讲一下机器学习/深度学习里面比较常见的损失函数. 分类损失 hinge loss 其中y是标签,要么为1(正样本),要么为-1(负样本).hinge loss被使用在SVM当中.对于正确分类的 ...
最新文章
- 操作系统常用词典（三）
- Python 获取字符串的第一位和最后一位的字符
- 舵机弹跳机器人_这个小小的机器人外形呆萌 弹跳能力绝对比你好
- 通过索引优化含ORDER BY的MySQL语句
- 使用分支限界法解决单源最短路径问题。
- Linux下输出不同颜色的字体详解
- 关于我国科技创新研究，以及创新成果的转化的思考
- java基础- 与null的区别
- r语言集合补集_【高中数学必修1研读】之一“第一章 集合与函数概念”
- Linux之hugepage大页内存理论
- vue中简单的小插曲
- 傅立叶变换，时域，频域二
- win7桌面运行html,手把手教你win7电脑如何运行config的操作教程
- stackoverflowerror解决办法
- 8款最佳编程字体，你值得拥有！
- 短视频源码应该实现哪些功能；
- mac通过u盘启动linux系统,在mac下制作linux启动U盘
- 二维码编辑网站推荐，哪个更好用？
- （39.1）【XML漏洞专题】必备的基础知识、利用原理、构建规则
- 2D 横向对抗射击游戏之美