机器学习笔记入门（三）

线性模型

有几个点需要了解：

线性模型的形式： f(x) = w1x1 + w2x2 +…+ wm*xm + b
从这里我们可以了解前面几章介绍的模型，训练，预测等等知识的真实面目，上面这个函数或者公式，就是所谓的模型。西瓜问题的线性模型就形同：
f_好瓜(x)=a * x_色泽 + b * x_根蒂 + c * x_敲声 + 1
其中a,b,c就是需要大量数据来训练的参数，实际做法就是，通过大量的西瓜数据带入到各个x中去，然后通过赋予a,b,c各种值来让**f_好瓜(x)**的错误最低，这个做法就是训练，训练的结果就是会出现类似如下的模型：
f_好瓜(x)=0.2 * x_色泽 + 0.5 * x_根蒂 + 0.2 * x_敲声 + 1
其中0.2和0.5就是通过训练得来的，错误率最低的参数，也就是最优的参数，接下来就是预测，实际做法就是再拿一些训练集以外的数据，形同（色泽=浅白，根蒂=蜷缩，敲声=浊响）分别带入到三个x中，就能计算出 f_好瓜(x) 的值，整个过程就是这样。当然训练和预测一般是交替进行的，训练的参数表现好不代表预测也会表现得很好。
另外，也可以看出，根蒂比色泽对是不是好瓜的判断更重要，因为根蒂的参数0.5大于色泽0.2 。
线性回归
通俗理解线性回归
线性回归的目的是在训练的过程中，判断给定的参数是否最好，误差最小。它的核心思想就是求得多个 模型预测的结果和真实结果之间的差距 之和，这个和越小，参数就越接近合适。
对数几率回归
需要先了解，单调可微函数，对数。然后详细见这里。
对数几率回归实际上是针对分类学习的，即“好瓜”和“坏瓜”这类问题的。
LDA（线性判别分析）
投影后类内方差最小，类间方差最大
降维：以西瓜为例子，色泽是一个维度，根蒂是一个维度，敲声是一个维度，这个在前面假设空间里提到过，而如果西瓜不止这些对好瓜坏瓜的因素而是有很多个，比如大小，图案等等，那么西瓜这个问题就有多个维度。针对上面的好瓜模型 f_好瓜(x)=a * x_色泽 + b * x_根蒂 + c * x_敲声 + 1 ，如果色泽对于好瓜坏瓜这个结果并没有影响，那么就把这一项去掉，但需注意，这里的去掉并非是人为的把它去掉，而是如LDA模型在训练的过程中会学习到色泽对于结果没有影响，因此会在算法内把它去掉。
多分类学习
多分类学习的核心思想是将多个分类任务拆分为若干个二分类任务。拆分的策略
类别不平衡问题

机器学习笔记入门（三）相关推荐

斯坦福机器学习笔记（三）—— 高斯判别分析
概述本篇博客主要是网易公开课上吴恩达教授讲解的机器学习视频中关于高斯判别分析的相关内容(网址为:http://open.163.com/movie/2008/1/A/R/M6SGF6VB4_M6SG ...
《机器学习笔记（三）：多元线性回归与正态分布最大似然估计》
回归问题普遍讨论的是多元线性回归,考虑多个特征可以得到更精确的模型,这其中涉及中心极限定理,正态分布,概率密度函数和最大似然估计. (一)背景--多元线性回归 1.概念本质上就是算法(公式)变换为了 ...
李宏毅机器学习笔记（三）——Regression： output a scalar amp;amp; Gradient Descent
视频来源: 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=3 机器学习的目的 ...
机器学习笔记（三）—— 二向箔（从PCA到SVD）
还记得<三体>中的"二向箔"吗?那种降维打击真的令人印象深刻!"我毁灭你,与你何干!"我想这应该算是所有科幻小说中排的上号的攻击手段了吧~ 现在,我 ...
吴恩达机器学习笔记（三） —— Regularization正则化
主要内容: 一.欠拟合和过拟合(over-fitting) 二.解决过拟合的两种方法三.正则化线性回归四.正则化logistic回归五.正则化的原理一.欠拟合和过拟合(over-fitting ...
逻辑回归python正则化选择参数_吴恩达机器学习笔记（三）——正则化（Regularization）...
1.过拟合的问题(Over-fitting) 如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(代价函数可能几乎为0),但是可能会不能推广到新的数据. (1)下图是一个回归问题 ...
机器学习笔记（三）---- 逻辑回归（二分类）
逻辑回归基本概念前面提到过线性模型也可以用来做分类任务,但线性模型的预测输出 y = wx + b 可能是(-∞,+∞)范围内的任意实数,而二分类任务的输出y={0,1},如何在这之间做转换呢?答案 ...
机器学习笔记入门（六）训练自己的数据
碰到的一些背景知识的记录: tf.placeholder函数说明 tf.Variable() 简而言之,tf.Variable()函数会生成一个对象,这个对象包含key和value两个内容. tf.p ...
吴恩达机器学习笔记（三）
六. 应用机器学习的建议假如你在开发一个机器学习系统,或者想试着改进一个机器学习系统的性能,你应如何决定接下来应该选择哪条道路? 获得更多的训练实例尝试减少特征的数量尝试获得更多的特征尝试增加 ...

机器学习笔记入门（三）

线性模型

机器学习笔记入门（三）相关推荐

最新文章

热门文章

机器学习笔记入门 （三）

线性模型

机器学习笔记入门 （三）相关推荐

最新文章

热门文章

机器学习笔记入门（三）

机器学习笔记入门（三）相关推荐