1.cost function

J(θ)=1m∑i=1m[−y(i)log⁡(hθ(x(i)))−(1−y(i))log⁡(1−hθ(x(i)))]J(\theta)=\frac{1}{m} \sum_{i=1}^{m}\left[-y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)-\left(1-y^{(i)}\right) \log \left(1-h_{\theta}\left(x^{(i)}\right)\right)\right] J(θ)=m1i=1∑m[−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))]
对cost function来说，我们写为matlab形式是比较简单的，一个yiy_iyi乘一个xix_ixi,很明显的对应我们的点乘形式，将其写为matlab形式有：

J=(1/m)*sum( -y.*log(sigmoid(X*theta))-(1-y).*log(1-sigmoid(X*theta)));

2.gradient

∂J(θ)∂θj=1m∑i=1m(hθ(x(i))−y(i))xj(i)\frac{\partial J(\theta)}{\partial \theta_{j}}=\frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)} ∂θj∂J(θ)=m1i=1∑m(hθ(x(i))−y(i))xj(i)
对于gradient来说，iii和jjj出现在一个式子中，这种情况我们马上去构思matlab式子一下子想不出来，但是仔细观察，j代表着列的维度，i代表着行的维度，要让行和列乘起来，显然对应叉乘形式，将其写为matlab形式有：

grad=sum(X'*(sigmoid(X*theta)-y))/m;

参考

machine learning–吴恩达

谈谈Cost function and gradient的matlab写法相关推荐

【吴恩达机器学习】ex1: gradient descend——MATLAB
单变量线性回归 MATLAB代码: % load the data data = load("ex1data1.txt"); input = data(:, 1); output ...
Cost Function
首先本人一直有一个疑问缠绕了我很久,就是吴恩达老师所讲的机器学习课程里边的逻辑回归这点,使用的是交叉熵损失函数,但是在进行求导推导时,google了很多的课件以及教程都是直接使用的,这个问题困扰了很久 ...
使用QP方法解基于五次多项式形式的cost function minimization问题
我们在这里使用二次规划(QP)的方法解一个五次多项式形式的曲线的cost function minimization的问题.二次规划的标准形式如下: 在之前的讨论的五次多项式的方法中,我们在采用空间上 ...
Model and Cost Function
Model and Cost Function 机器学习英文笔记,顺便学英语.(才发现视频后面的阅读就是笔记) 文章目录 Model and Cost Function Model Represent ...
【Machine Learning】【Andrew Ng】- notes(Week 1: model and cost function)
Model Representation: To describe the supervised learning problem slightly more formally, our goal i ...
逻辑回归损失函数(cost function)
转载:https://www.cnblogs.com/richqian/p/4511557.html 逻辑回归模型预估的是样本属于某个分类的概率,其损失函数(Cost Function)可以像线型回归 ...
Loss Function , Cost Function and Kernel Function in ML(To be continued)
机器学习中的损失函数.代价函数.核函数 1.Definiton Shark Machine Learning Library–分别有介绍 "objective function, cost ...
logistic regression中的cost function选择
一般的线性回归使用的cost function为: 但由于logistic function: 本身非凸函数(convex function), 如果直接使用线性回归的cost function的话, ...
损失函数(Loss function) 和代价函数(Cost function)
1损失函数和代价函数的区别: 损失函数(Loss function):指单个训练样本进行预测的结果与实际结果的误差. 代价函数(Cost function):整个训练集,所有样本误差总和(所有损失函数 ...
Machine Learning - Coursera week5 cost function and backpropagation 1
1. cost function 这个多类别分类的神经网络和二分类的输出个数不同,二分类只有一个输出,二多分类模型有多个输出.多分类模型的输出也用one-hot码表示. 变量的定义: L = tota ...

谈谈Cost function and gradient的matlab写法

Cost function and gradient的matlab写法

1.cost function

2.gradient

参考

谈谈Cost function and gradient的matlab写法相关推荐

最新文章

热门文章