机器学习笔记-standford公开课课程学习笔记

一、回归问题（regression）与分类问题（classification）的区别

二者都属于监督式学习，回归问题和分类问题的本质一样，都是针对一个输入做出一个输出预测，其区别在于输出变量的类型。

分类问题是指，给定一个输入，根据训练集推断它所对应的类别，是一种定性输出，也叫离散变量预测；通常是用来预测一个值，如预测房价、未来的天气情况等。

回归问题是指，给定一个输入，根据训练集推断它所对应的输出值，是一种定量输出，也叫连续变量预测；分类问题是用于将事物打上一个标签，通常结果为离散值。

二、线性回归：设有n个特征变量x1,x2...，m个样本数据

（这里的y是训练样本中的对应目标变量的取值，我们要确定θi的值，使得J（θ）的值最小）

具体求解：

①梯度下降法（gradient descent）找局部最优；因为J（θ）函数是一个碗形结构，只有一个局部最小值，故局部最优就是整体最优

对θj（j=0,1...n），给定一个初始值，然后不断迭代，只到取得局部最小，这里的α 是学习速度（梯度下降的步长）

批量梯度下降：在更新参数时使用所有的样本来进行更新，样本量大时，训练速度很慢

随机梯度下降：在更新参数时只使用一个样本来进行更新，训练的准确性不高，最终结果一般是接近全局最小值，收敛速度较慢，但是训练速度快

二者的折中：小批量梯度下降法-在更新参数时使用部分样本来进行更新

三、局部加权回归Locally weighted linear regression，要预测x对应的y值时，只考虑x周围的样本数据，并使用线性回归算法，数据量过大时效率不高，因为权重的问题，他是用的模型不是固定的，每次预测都要重新拟合；权重：其中分母中的符合是波长函数，控制权重下降的速度

具体的求解θj（j=0,1...n）的算法上面已经讲过的，这里最小值的计算式子稍有变化

最后补充：非参数学习算法vs参数学习算法：参数的选择随着训练数据的变化而变化；参数固定

参考： http://open.163.com/special/opencourse/machinelearning.html

机器学习笔记-standford公开课课程学习笔记相关推荐

c语言课程笔记格式,C语言课程学习笔记.docx
C语言课程学习笔记 C语言基础语言排行榜C--java--objective-C进制:进制:进位机制.用普通的话讲,应该为人为的定义一种度量来标识一样东西.计算机常用的进制有:十进制.二进制.八进制和 ...
cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Heterogeneous Graphs and Relational GCN (RGCN) ...
cs224w（图机器学习）2021冬季课程学习笔记20 Advanced Topics on GNNs
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Advanced Topics on GNNs 2. Limitations of Grap ...
台湾大学林轩田机器学习技法课程学习笔记4 -- Soft-Margin Support Vector Machine
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了Kernel SVM.先将特征转换和计算内积这两个步骤合并起来,简化计算.提高计算速度,再用Dual SVM的求解方法来解决. ...
台湾大学林轩田机器学习技法课程学习笔记1 -- Linear Support Vector Machine
红色石头的个人网站:redstonewill.com 关于台湾大学林轩田老师的<机器学习基石>课程,我们已经总结了16节课的笔记.这里附上基石第一节课的博客地址: 台湾大学林轩田机器学习基 ...
台湾大学林轩田机器学习基石课程学习笔记13 -- Hazard of Overfitting
红色石头的个人网站:redstonewill.com 上节课我们主要介绍了非线性分类模型,通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行分类,分析了非线性变换可能会使计算复杂度 ...
cs224w（图机器学习）2021冬季课程学习笔记16 Community Detection in Networks
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Community Detection in Networks 2. Network Com ...
cs224w（图机器学习）2021冬季课程学习笔记4 Link Analysis: PageRank (Graph as Matrix)
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. Graph as Matrix 2. PageRank / the Google Algor ...
cs224w（图机器学习）2021冬季课程学习笔记2: Traditional Methods for ML on Graphs
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合文章目录 1. 章节前言 2. Traditional Feature-based Methods: Nod ...

机器学习笔记-standford公开课课程学习笔记

机器学习笔记-standford公开课课程学习笔记相关推荐

最新文章

热门文章