方差代价函数到梯度下降函数

在学习NG的机器学习课程中前段比较重要的两个概念一个是代价函数一个是梯度下降函数；记录下自己的理解。

$h(x)=\theta _{1}x_{1}+\theta_{2}x_{2}+...+\theta_{n}x_{n}$ -->预测函数

y为结果集（训练集）

代价函数就是预测结果与实际结果的方差：

$J(\theta) = 1/2m\sum_{i=1}^{m}(h(x)-y)^2$

当θ取值促使代价函数越小是说明预测函数与结果越契合，也就是当找到代价函数的极小值时θ取值最合适，则代价函数的导数趋近与零时θ越合适

由上面的理论得到对代价函数求θ得偏导，然后针对性的变化θ的值使偏导趋近于零就是整个梯度下降的过程了

以上就是梯度下降函数了；

函数共有两项：θ本身和后面的减数；

高中的导数知识：当函数递增时导数大于零当函数递减时导数小于零，而上面提到的针对性的改变θ的值也就是当向导数为零的方向变化因此才有了将θ本身减去导数部分的变化方向。

方差代价函数到梯度下降函数相关推荐

交叉熵代价函数——当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢...
交叉熵代价函数 machine learning算法中用得很多的交叉熵代价函数. 1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigm ...
深度学习基础（四）优化函数(梯度下降函数)
梯度下降函数也就是优化函数,在神经网络训练过程最重要的函数.重要程度类似于调校对于汽车的重要性,搭建模型和参数设置等操作="造好了一辆汽车",优化函数="调校" ...
梯度下降、随机梯度下降、方差减小的梯度下降(matlab实现)
梯度下降代码: function [ theta, J_history ] = GradinentDecent( X, y, theta, alpha, num_iter ) m = length(y ...
2. 代价函数与梯度下降
2.1模型描述 **预测房价问题** 以之前的房屋交易问题为例,假使我们回归问题的训练集(Training Set)如下表所示: 我们将要用来描述这个回归问题的标记如下: m 代表训练集中实例的数量 ...
pytorch梯度下降函数_Pytorch中常用的四种优化器SGD、Momentum、RMSProp、Adam
来源:AINLPer微信公众号编辑: ShuYini 校稿: ShuYini 时间: 2019-8-16 引言很多人在使用pytorch的时候都会遇到优化器选择的问题,今天就给大家介绍对比 ...
【Machine Learning 二】单变量线性回归，代价函数，梯度下降
吴恩达机器学习笔记整理--单变量线性回归通过模型分析,拟合什么类型的曲线. 一.基本概念 1.训练集由训练样例(training example)组成的集合就是训练集(training set), ...
吴恩达机器学习（一）单变量线性回归（假设函数、代价函数、梯度下降）
目录 0. 前言 1. 假设函数(Hypothesis) 2. 代价函数(Cost Function) 3. 梯度下降(Gradient Descent) 学习完吴恩达老师机器学习课程的单变量线性回归 ...
【CS229】代价函数与梯度下降
一些写法约定: xxx: 输入变量,特征 yyy: 输出变量,目标变量 (x,y)(x,y)(x,y): 训练集中的实例 (x(i),y(i))(x^{(i)},y^{(i)})(x(i),y(i)) ...
深度学习笔记（五）代价函数的梯度求解过程和方法
作为自己的笔记系列,方便自己查阅和理解. 1)什么是梯度梯度本意是一个向量(矢量) 当某一函数在某点处沿着该方向的方向导数取得该点处的最大值,即函数在该点处沿方向变化最快,变化率最大(为该梯度的模 ...

方差代价函数到梯度下降函数

当θ取值促使代价函数越小是说明预测函数与结果越契合，也就是当找到代价函数的极小值时θ取值最合适，则代价函数的导数趋近与零时θ越合适

方差代价函数到梯度下降函数相关推荐

最新文章

热门文章