西瓜笔记(五上)--线性模型

一、基本形式

一个示例具有d个属性x=(x_1,x₂...x_d)。我们试图学习一个预测函数，即：

线性模型有很好的可解释性，直观地看出哪个属性的重要程度。

二、线性回归

1、代价函数(cost function)

利用最小二乘法进行参数估计：

更一般的情形是，样本有d个属性描述，试图学得：

这称为“多元线性回归”。同样利用最小二乘法。将b吸收进w的向量中，数据集D是一个m*(d+1)大小的矩阵X，每行对应一个实例，每行最后一个元素为1：

此时的误差函数

此为Frobenius范数：

常用来衡量矩阵的大小。类似向量的L2范数。当X^TX为满秩矩阵或正定矩阵时：

然而，现实生活中X^TX往往不是满秩矩阵，有些问题中属性的个数会超过我们的样例个数，导致会解出多个w，他们都能使均方误差最小化，选择哪一个就取决于学习算法的归纳偏好。常见的做法就是引入正则化。

三、广义线性模型

他们在形式上仍然是线性回归，但是实际上可以求取输入空间到输出空间的非线性函数映射。

对数几率回归就是其中的一种。它基于对数几率函数：

带入广义线性模型的通式得到：

变化成：

将y视为样本x作为正例的可能性，则1-y是其反例可能性，两者的比值是：

称上式为“几率（odds）”，对几率取对数得到的是“对数几率（log odds 亦称logit）”：

对数几率回归实际上是一种分类学习方法。对参数w和b的计算可以使用“极大似然法”。于是，重写上式得：

显然有：

得到我们的对数似然函数：

令：p1=p(y=1|x),p0=p(y=0|x)，重写似然项：

其中x'和β是之前说过的吸收了b的w向量（增广矩阵），带入对数似然函数：

推导过程：

然后取反，那么，最大化log likelihood就相当于最小化上式。可以使用经典的数值优化算法，例如梯度下降法，牛顿法等。

转载于:https://www.cnblogs.com/melina-zh/p/9760943.html

西瓜笔记(五上)--线性模型相关推荐

吴恩达《机器学习》学习笔记五——逻辑回归
吴恩达<机器学习>学习笔记五--逻辑回归一. 分类(classification) 1.定义 2.阈值二. 逻辑(logistic)回归假设函数 1.假设的表达式 2.假设表达式的意义 ...
StackExchange.Redis学习笔记(五) 发布和订阅
StackExchange.Redis学习笔记(五) 发布和订阅原文:StackExchange.Redis学习笔记(五) 发布和订阅 Redis命令中的Pub/Sub Redis在 2.0之后的版 ...
ROS学习笔记五：理解ROS topics
ROS学习笔记五:理解ROS topics 本节主要介绍ROS topics并且使用rostopic和rqt_plot命令行工具. 例子展示 roscore 首先运行roscore系列服务,这是使用R ...
《MFC游戏开发》笔记五定时器和简单动画
本系列文章由七十一雾央编写,转载请注明出处. http://blog.csdn.net/u011371356/article/details/9332377 作者:七十一雾央新浪微博:http:// ...
sv_labs学习笔记——sv_lab5_上(System Verilog)
本节将介绍lab5的第一部分,主要总结一般设计学习与思考的方式与需要着重学习的点,同时以lab5作为参考,分析数据流流向,验证组件的通信与抽象化,实现的整体思路. sv_labs学习笔记--sv_la ...
【CS231n】斯坦福大学李飞飞视觉识别课程笔记（四）：图像分类笔记（上）
[CS231n]斯坦福大学李飞飞视觉识别课程笔记由官方授权的CS231n课程笔记翻译知乎专栏--智能单元,比较详细地翻译了课程笔记,我这里就是参考和总结. [CS231n]斯坦福大学李飞飞视觉识别课 ...
《MSSQL2008技术内幕:T-SQL语言基础》读书笔记（上）
索引: 一.SQL Server的体系结构二.查询三.表表达式四.集合运算五.透视.逆透视及分组六.数据修改七.事务和并发八.可编程对象一.SQL Server体系结构 1.1 数据库 ...
Python学习笔记五：控制语句
Python学习笔记五:控制语句 Pycharm 开发环境的下载安装配置_项目管理控制语句 Pycharm 开发环境的使用 Pycharm 下载和安装激活和选择不同UI 风格创建项目和初始化配置 ...
论文阅读笔记(五)——狐猴识别系统:一种便于狐猴个体识别的面部识别系统
论文阅读笔记(五)--狐猴识别系统:一种便于狐猴个体识别的面部识别系统论文简介论文中文翻译:狐猴识别系统:一种便于狐猴个体识别的面部识别系统论文名称:<LemurFaceID: a fac ...

西瓜笔记(五上)--线性模型

西瓜笔记(五上)--线性模型相关推荐

最新文章

热门文章