使用最大似然法来求解线性模型（1）

在Coursera机器学习课程中，第一篇练习就是如何使用最小均方差(Least Square)来求解线性模型中的参数。本文从概率论的角度---最大化似然函数，来求解模型参数，得到线性模型。本文内容来源于：《A First Course of Machine Learning》中的第一章和第二章。

先来看一个线性模型的例子，奥林匹克百米赛跑的男子组历年数据如下：

所谓求得一个线性模型就是：给定一组数据(上图中的很多点)，如何找到一条合适的直线，让这条直线能够更好地“匹配”这些点。

一种方式就是使用最小二乘法，通过最小化下面的代价函数J(θ)求得一条直线方程--即线性模型。

其中，h_θ(x)是待求解的线性模型(本例中就是一条直线)，y⁽ⁱ⁾是样本x⁽ⁱ⁾对应的实际值，h_θ(x⁽ⁱ⁾)是线性模型在样本x⁽ⁱ⁾上的预测值。我们的目标就是让实际值与预测值二者尽可能地接近--二者之间的“差”尽可能地小，这样我们的预测结果就越准确，我们的线性模型也越好(不考虑overfitting)

最小二乘法就是最小化J(θ)这个函数，解出θ，代入h_θ(x)，得到一条直线(h_θ(x)就是直线方程)。而这条直线，就是我们的线性模型了。

对于这种方式而言，我们的模型就是一条直线，在我们的模型中（直线）没有能够反映真实值与预测值之间的误差的因子。把模型稍微修改一下：

从原来的：(这里的w就相当于上面的θ，t 就是h_θ(x)，只是为了统一一下《A First Course of Machine Learning》中用到的符号)

t=w^T*x

改成：

t=w^T*x+ξ

其中，ξ 用来表示“误差”---noise，x是训练样本数据，w是模型的参数。

这样，我们的新模型表达式：t=w^T*x+ξ 就可以显示地表示 noise 了(不仅仅是一条直线表达式了)。那现在问题还是：怎样求得一个“最好的” w 和 ξ，得到“最好的”模型？

现在不是用上面的最小二乘法了求解w 和 ξ 了，而是用最大似然函数法---（见使用最大似然法来求解线性模型（2）-为什么是最大化似然函数？）

原文：http://www.cnblogs.com/hapjin/p/6623127.html

转载于:https://www.cnblogs.com/hapjin/p/6623127.html

使用最大似然法来求解线性模型（1）相关推荐

《机器学习——数学公式推导合集》1. 线性模型之最小二乘法（least square method）求解线性模型
1.1 什么是最小二乘法(least square method) 最小二乘法: 基于均方误差最小化来进行模型求解的方法称为 "最小二乘法(least square method)" ...
最大似然函数及其求解
转自:http://www.cnblogs.com/hapjin/p/6623795.html 使用最大似然法来求解线性模型(1) 在Coursera机器学习课程中,第一篇练习就是如何使用最小均方差( ...
周志华机器学习初步线性模型
周志华 <机器学习初步> 线性模型还未更新完,会持续更新文章目录周志华 <机器学习初步> 线性模型一.线性回归 1.线性模型线性模型的特点和重要性线性模型的基本形式 ...
简单线性回归问题——线性模型【蒙哥马利】第二章部分课后习题代码
利用R语言求解线性模型中的简单线性回归问题,涉及: 关于直线的拟合.估计相关系数.检验对某个系数的假设.求解置信区间.求解预测带.求解是否存在显著关系.相关图形的构造:以及对模型结果的解释与分析. 以 ...
matlab 最大似然估计二项式分布,统计基础15：最大似然法估计二项式分布参数
前面我们学习了解了最大似然法求解正态分布参数,求解指数分布参数.今天我们再来看看最大似然法如何求解二项式分布参数. 1.二项式分布与似然值估计公式二项分布基本公式求发生某件事情的概率: 如在人们对两 ...
matlab 最大似然估计二项式分布,最大似然法估计二项式分布参数
原标题:最大似然法估计二项式分布参数前面我们学习了解了最大似然法求解正态分布参数,求解指数分布参数.今天我们再来看看最大似然法如何求解二项式分布参数. 1.二项式分布与似然值估计公式二项分布基本公 ...
GBDT（梯度提升决策树）总结笔记
五月两场 | NVIDIA DLI 深度学习入门课程 5月19日/5月26日一天密集式学习快速带你入门阅读全文> 正文共9696个字,9张图,预计阅读时间28分钟. Supervised ...
与word2vec_NLP--Word2Vec详解
注:其他有很多公式是用markdown写的,但头条显示不了,推荐大家在微信公众号阅读- 微信公众号:浩波的笔记文章链接:Word2Vec详解:https://mp.weixin.qq.com/s?_ ...
逻辑回归阈值_逻辑回归or线性回归，傻傻分不清楚
欢迎关注"生信修炼手册"! 线性回归作为一种常用的关联分析工具,其功能强大,解释度高,但是其缺点也是很明显的.其只适用于处理连续型的变量,无法处理离散型的变量,比如对于case/c ...

使用最大似然法来求解线性模型（1）

使用最大似然法来求解线性模型（1）相关推荐

最新文章

热门文章