深入了解机器学习 (Descending into ML)：训练与损失

2024-05-10 14:25:47

深入了解机器学习 (Descending into ML)：训练与损失

简单来说，训练模型表示通过有标签样本来学习（确定）所有权重和偏差的理想值。在监督式学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少损失的模型；这一过程称为经验风险最小化。

损失是对糟糕预测的惩罚。也就是说，损失是一个数值，表示对于单个样本而言模型预测的准确程度。如果模型的预测完全准确，则损失为零，否则损失会较大。训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差。例如，图 3 左侧显示的是损失较大的模型，右侧显示的是损失较小的模型。关于此图，请注意以下几点：

红色箭头表示损失。
蓝线表示预测。

图 3. 左侧模型的损失较大；右侧模型的损失较小。

请注意，左侧曲线图中的红色箭头比右侧曲线图中的对应红色箭头长得多。显然，相较于左侧曲线图中的蓝线，右侧曲线图中的蓝线代表的是预测效果更好的模型。

您可能想知道自己能否创建一个数学函数（损失函数），以有意义的方式汇总各个损失。

平方损失：一种常见的损失函数

接下来我们要看的线性回归模型使用的是一种称为平方损失（又称为 L2 损失）的损失函数。单个样本的平方损失如下：

  = the square of the difference between the label and the prediction= (observation - prediction(x))2= (y - y')2

因此在回归的过程中，偏差较大的函数数据，最终其偏差值会成为其本身的平方倍。

均方误差 (MSE) 指的是每个样本的平均平方损失。要计算 MSE，请求出各个样本的所有平方损失之和，然后除以样本数量：

其中：

(x,y) 指的是样本，其中
- x 指的是模型进行预测时使用的特征集（例如，温度、年龄和交配成功率）。
- y指的是样本的标签（例如，每分钟的鸣叫次数）。
- prediction(x) 指的是权重和偏差与特征集 x 结合的函数。
- D指的是包含多个有标签样本（即 (x,y)）的数据集。
- N 指的是 D 中的样本数量。

虽然 MSE 常用于机器学习，但它既不是唯一实用的损失函数，也不是适用于所有情形的最佳损失函数。

关键字

经验风险最小化
损失
均方误差 (MSE, Mean Squared Error)
平方损失函数 (squared loss)
训练 (training)

深入了解机器学习 (Descending into ML)：训练与损失相关推荐

深入了解机器学习(Descending into ML):线性回归
人们早就知晓,相比凉爽的天气,蟋蟀在较为炎热的天气里鸣叫更为频繁.数十年来,专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录.Ruth 阿姨将她喜爱的蟋蟀数据库作为生日礼物送给您,并邀请您 ...
深入了解机器学习 (Descending into ML)：线性回归
人们早就知晓,相比凉爽的天气,蟋蟀在较为炎热的天气里鸣叫更为频繁.数十年来,专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录.Ruth 阿姨将她喜爱的蟋蟀数据库作为生日礼物送给您,并邀请您 ...
机器学习中的训练与损失 test and loss （训练loss不下降原因集合）
train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test ...
机器学习基石05：训练与测试（Training versus Testing）
上一篇文章介绍了机器学习的可行性.本文将讨论机器学习的核心问题,严格证明为什么机器可以学习. 系列文章机器学习基石01:机器学习简介机器学习基石02:感知器算法(Perceptron Algori ...
在机器学习分类中如何处理训练集中不平衡问题
版权声明:未经许可, 不能转载目录(?)[-] 在分类中如何处理训练集中不平衡问题 Jason Brownlee的回答什么是类别不均衡问题类别不均衡问题是现实中很常见的问题八大解决方法选择某 ...
如何对SAP Leonardo上的机器学习模型进行重新训练
Jerry之前的两篇文章介绍了如何通过Restful API的方式,消费SAP Leonardo上预先训练好的机器学习模型: 如何在Web应用里消费SAP Leonardo的机器学习API 部署在SA ...
手把手教你在应用里用上iOS机器学习框架Core ML
2017-06-10 Cocoa开发者社区 2017年的WWDC上,苹果发布了Core ML这个机器学习框架.现在,开发者可以轻松的使用Core ML把机器学习功能集成到自己的应用里,让应用变得更加智 ...
Google更新机器学习开发套件ML Kit，新增支持自动回复与语言识别
https://www.toutiao.com/a6677743830109782539/ Google拓展了机器学习套件ML Kit的可应用情境,现在不仅提供图像辨识功能,开始加入自然语言处理,提供 ...
机器学习 AI 谷歌ML Kit 与苹果Core ML
概述移动端所说的AI,通常是指"机器学习". 定义:机器学习其实就是研究计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身.从实践的意义 ...
机器学习ml_机器学习简介（ML）
机器学习ml Here you will get introduction to machine learning. 在这里,您将获得机器学习的介绍. Hello there. Many of you ...

最新文章

热门文章