机器学习----代价函数(cost function)
今天我开启了一个新的专栏-机器学习，我是一边学习吴恩达老师的课程，一边整理相应的笔记，如果有什么不正确的地方希望大家指正。
接下来我们回到正题，学习什么是代价函数，以及它是怎么推出来的。
代价函数也被称为平方误差函数，有时也被称为平方误差代价函数，如下这样一个复杂的式子：
代价函数就是帮我们找到与数据拟合程度最高的直线。
那么代价函数是如何推导出来的呢？
在线性回归的问题中一般会有一个训练集和假设函数。
Training Set(训练集):
左栏代表房屋的面积，右栏代表房屋的价格
Hypothesis(假设函数):
这里的假设函数就是这样一个一次的函数，在机器学习中被称为模型。函数hθx被称为预测函数，也就是我们输入x时的对房屋价格的一个预测。假设函数中的θ0和θ1被称为模型参数(Parameters)，很明显，如果我们选择不同的参数会得到不同的假设函数。
于是我们会产生一个新的疑问，就是如何能得到这两个模型参数呢？
我们一般会通过训练集来得到这两个模型参数θ0和θ1，然后我们就能得到不带参数的假设函数。要求是：假设函数要尽量的和训练集中的数据点很好的拟合。如下图这样。
那么如何才能更好的拟合呢？
我们要选择在输入x时能使函数的预测值与真实值是最接近的两个模型参数。此时，我们要解决的是让预测值和真实值之差最小，于是问题就演变成了求最小化的问题。
这是关于θ0和θ1的最小化的式子，也被称为代价函数，我们希望这个式子极其小，也就是尽量减小假设输出和真实值之差。
式子中的m代表样本容量，这个式子是对所有的训练样本的预测值和真实值差的平方进行求和，即i=1到i=m。其中代表是第i个样本的预测值，而代表是第i个样本的真实值。
为了让表达式的数学意义变得更容易理解一点，我们实际上考虑的是这个数的1/m，因此我们要尝试尽量减少我们的平均误差，通常是这个数的一半，即1/2m。
这个公式就是我们的代价函数，我们想要做的就是对函数求一个最小值
代价函数(误差平方代价函数)对于大多数的问题，特别是回归问题，都是一个比较合理选择。还有其他的代价函数也能很好的发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。在后续的章节中，我们还会谈论其他的代价函数
机器学习----代价函数(cost function)相关推荐
- 损失函数(Loss function) 和 代价函数(Cost function)
1损失函数和代价函数的区别: 损失函数(Loss function):指单个训练样本进行预测的结果与实际结果的误差. 代价函数(Cost function):整个训练集,所有样本误差总和(所有损失函数 ...
- 代价函数Cost Function ，损失函数Loss Function，经验风险empirical risk，期望风险expected risk，结构风险structural risk
损失函数,代价函数,目标函数 损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差. 代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均 ...
- 目标函数(object function),损失函数(loss function)以及代价函数(cost function)之间的关系与区别
早先的知识理解是三者代指同一类意思,有些书本上也将其混讲: 今天车上看一个笔记讲解,原来是有差别的: 损失函数(loss):个体 代价函数(cost):整体 目标函数(object):更泛化的术语 整 ...
- 损失函数(Loss function)、代价函数(成本函数)(Cost function)、目标函数(objective function)的区别与联系
基本概念: 损失函数(Loss function):计算的是一个样本的误差. 损失函数是定义在单个训练样本上的,也就是就算一个样本的误差,比如我们想要分类,就是预测的类别和实际类别的区别,是一个样本的 ...
- 使用QP方法解基于五次多项式形式的cost function minimization问题
我们在这里使用二次规划(QP)的方法解一个五次多项式形式的曲线的cost function minimization的问题.二次规划的标准形式如下: 在之前的讨论的五次多项式的方法中,我们在采用空间上 ...
- 2.cost function损失函数
目录 模型 cost function代价函数 模型 线性回归:模型是线性的,例如一元一次函数y=x+2,这也叫单变量线性回归univariate linear regression. trainin ...
- Cost Function
首先本人一直有一个疑问缠绕了我很久,就是吴恩达老师所讲的机器学习课程里边的逻辑回归这点,使用的是交叉熵损失函数,但是在进行求导推导时,google了很多的课件以及教程都是直接使用的,这个问题困扰了很久 ...
- Loss Function , Cost Function and Kernel Function in ML(To be continued)
机器学习中的损失函数.代价函数.核函数 1.Definiton Shark Machine Learning Library–分别有介绍 "objective function, cost ...
- 机器学习--代价函数
一.代价函数概述 机器学习的模型分为能量模型和概率模型,知道概率分布的可以直接用概率模型进行建模,比如贝叶斯分类器,不知道的就用能量模型,比如支持向量机.因为一个系统稳定的过程就是能量逐渐减小的过程. ...
最新文章
- 3D点云识别安全吗? 密歇根大学等提出稳健性分析数据集应对严重失真
- 了解linux内核必读的5本书
- 01-Introducing the Arm architecture
- Polycarp Restores Permutation
- 第二弹：超全Python学习资源整理（进阶系列）
- Go语言学习之3 流程控制、函数
- apple组织名称是什么_什么是Apple Macintosh？
- docker $PWD路径_基于Docker搭建Nacos集群
- Proxy实现MySQL读写分离
- 10以内逆向运算题_加减法启蒙系列 | 实战篇二（10以内减法）
- conda恢复默认源_误删文件？试试微软免费数据恢复软件「Windows File Recovery」
- 5个好用的开源网络监控工具
- 智慧职教云答案在哪里找_云课堂智慧职教答案哪里找？
- 如何根据DBC计算CAN与CANFD的负载率
- iReport使用入门
- 第3章 词性标注（pos、N-gram、NER等标注器）
- php数据库输出文字怎么竖着的,关于文字竖排的详细介绍
- 收集的JS代码，学习js的入门经典
- java/php/net/python旅行社信息管理系统设计
- DEV gridcontrol 汉化类