machine learning (2)-linear regression with one variable
machine learning- linear regression with one variable(2)
- Linear regression with one variable = univariate linear regression: 由一个输入变量预测出一个output (regression problem预测连续的值). single input<--->single output
- training set: 机器进行学习的元素集
- univariate linear regression = Linear regression with one variable
The Hypothesis Function(for linear regression):,这是一个关于x的函数(θ0与θ1是固定的).这是一个假设的函数(求出假设的 θ0 和 θ1,这个是我们的目标,愈近的接近真实的y值),这样可以根据input value(x)来计算output value(y)
Cost Function(for linear regression): (y为真实的值),这是一个关于θ1与θ2(parameters)的函数,用来衡量假设函数(hypothesis function)的准确性,目的是选择使cost function最小的θ1与θ2的值,这样就能确定假设函数(Hypothesis Function)了.
- 图片
- Squared error function = cost function
- Mean squared error = cost function
Gradient Descent: 一种用来自动提高hypothesis function准确性的方法,使cost function取最小值(不仅适用于linear regression,可用于整个机器学习).
图片 (非cost function for linear regression,一般情况下的J(θ0,θ1))
- 由上图可知,不同的初始值,利用gradient descent可能得出不同的局部最优解(有不同的极小值)
大概方法步骤:
function: J(θ0,θ1)
目标: 求出J(θ0,θ1)的最小值
- 先预设 θ0,θ1的值
- 利用gradient descent反复求θ0,θ1的值
- 直至θ0,θ1的值收敛于一个确定的值(J(θ0,θ1)的极小值),(收敛是因为当到达极值时,cost function的偏导为0,这时会收敛)
- learning rate: ∂(大于0),朝着cost function的梯度方向以a(learning rate)系数倍数逼近cost function(θ0,θ1为参数)的最小值。
- learning rate太小:使求出收敛的值时迭代的次数变多,使收敛过程变慢(下图是假设θ0已知,θ1未知时的cost function图形,若都未知则图应是立体的,如上图)
- learning rate太大:可能会导致无法收敛,得不到正确的值(下图是假设θ0已知,θ1未知时的cost function图形,若都未知则图应是立体的,如上图)
- The gradient descent equation: (j=0,1)
- :=为赋值操作,=为truth assertion操作
- 要同时更新θ0,θ1的值(update simultaneously),即算出θ0的新值后,不能利用这个新值的J(θ0,θ1)去算θ1,而是同时更新θ0,θ1
- 求的是局部最优解(即cost function的极小值,但是不是最小值)
- 但是由cost function for linear regression的图(像一个碗状)可知,它只有一个极小值(也是它的最小值),所以对于linear regression问题,gradient descent求的是cost function的最小值
- learning rate: ∂(大于0),朝着cost function的梯度方向以a(learning rate)系数倍数逼近cost function(θ0,θ1为参数)的最小值。
Gradient Descent for Linear Regression:(是将h(x)=θ0+θ1x和J(θ0,θ1)代入求导求得)
- cost function for linear regression由它的图(上图)可知,它没有局部极小值,只有一个全局最小值。所以用gradient descent求出的是使cost function取最小值的θ0,θ1
- "batch" gradient descent = gradient descent algorithm,因为在计算θ0,θ1时是利用了所有的trainning set,帮称为batch
转载于:https://www.cnblogs.com/yan2015/p/4505618.html
machine learning (2)-linear regression with one variable相关推荐
- 机器学习之单变量线性回归(Linear Regression with One Variable)
机器学习之单变量线性回归(Linear Regression with One Variable) 1. 模型表达(Model Representation) 我们的第一个学习算法是线性回归算法,让我 ...
- Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
Coursera公开课笔记: 斯坦福大学机器学习第二课"单变量线性回归(Linear regression with one variable)" 发表于 2012年05月6号 由 ...
- Stanford机器学习---第二讲. 多变量线性回归 Linear Regression with multiple variable
本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学 ...
- Stanford机器学习---第一讲. Linear Regression with one variable
本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学 ...
- Ng第二课:单变量线性回归(Linear Regression with One Variable)
二.单变量线性回归(Linear Regression with One Variable) 2.1 模型表示 2.2 代价函数 2.3 代价函数的直观理解 2.4 梯度下降 2.5 梯度下 ...
- 【cs229-Lecture2】Linear Regression with One Variable (Week 1)(含测试数据和源码)
从Ⅱ到Ⅳ都在讲的是线性回归,其中第Ⅱ章讲得是简单线性回归(simple linear regression, SLR)(单变量),第Ⅲ章讲的是线代基础,第Ⅳ章讲的是多元回归(大于一个自变量). 本文的 ...
- Deep Learning Exercise: Linear Regression
Deep Learning Exercise: Linear Regression 简介 最简单的二元线性回归,参考斯坦福大学教学网http://openclassroom.stanford.edu/ ...
- Linear regression with one variable算法实例讲解(绘制图像,cost_Function ,Gradient Desent, 拟合曲线, 轮廓图绘制)_矩阵操作...
%测试数据 'ex1data1.txt', 第一列为 population of City in 10,000s, 第二列为 Profit in $10,000s 1 6.1101,17.592 2 ...
- Derivation of Linear Regression with One Variable
The article only shows the derivation parts of the lin reg model. Representations of variables and o ...
最新文章
- aws主机php环境搭建,亚马逊AWS上安装Nginx(Linux,CentOS环境)
- 重写Notification有感~~
- js点击获取连接的内容
- LeetCode 1522. Diameter of N-Ary Tree(递归)
- windows 批处理设置环境变量
- 使用php-amqplib连接rabbitMQ 学习笔记及总结
- excel oledb mysql_C#实战023:OleDb操作-Excel数据写入
- java之随机生成名字
- 励志:滴滴打车App初期是怎么推广的?
- [I T]深圳唯冠天价律师费遭起诉 补偿金由法院暂管理
- 我的世界电脑服务器怎么显示键盘,我的世界基本操作按键 PC版基本操作详细介绍...
- linux下启动fastDFS
- RTT(往返时间)和RPC
- 在线文件/文档预览/分页分片预览 之开源kkfileview(word转pdf,pdf截取,pdf转图片,Aspose jobConverter , OpenOffice ,libreoffice )
- ios开发收藏按钮_iOS使用CoreData实现收藏功能
- arcmap中图斑面积代表_【干货】ArcGIS四种计算图斑面积的方法
- 缺陷管理:说一说bug的状态和解决方案
- /*1. 查询SC表中的全部数据。*/ SELECT * FROM SC /*2. 查询计算机系学生的姓名和年龄。*/ SELECT Sname,Sex FROM Student WHERE Sd
- 过滤器(Filter)的作用及使用
- Go语言-实现单链表反转算法
热门文章
- php ci 表单校验,表单验证 - CodeIgniter 中文手册|用户手册|用户指南|Wiki文档
- 再谈 Application ProvidedAar
- Xposed源码剖析——hook具体实现
- JZOJ 5183. 【NOIP2017提高组模拟6.29】小T的钢琴
- dji大疆机器人冬令营_2019RoboMaster高中生机器人冬令营火热进行中
- QtGraphicView添加图元
- jdbc preparestatement 执行多条语句_jmeter获取JDBC响应做接口关联(三)
- controller层没反应_埋地管道防腐层探测检漏仪FJ-10地下管线探测仪的说明及应用...
- [BZOJ 2243] 染色
- 2019年东莞特长生 游戏(洛谷 P2661 信息传递)