详解机器学习基础--线性回归算法

2024-04-16 01:37:22

线性回归解决了什么？

线性回归算法可以帮助解决回归问题，对处理回归问题有着天然的优势，线性回归算法虽然简单，但是对于处理回归问题还是有着比较好的作用

线性回归算法思想简单，实现容易，结果具有较好的解释性，也就是我们可以通过线性回归训练的参数用来解释我们的特征数据

简单线性回归：

公式：y = ax + b

为了表达我们的预测值y^(i)与真实值y(i)的差距，我们采取损失函数的做法

损失函数：Σ(y(i) - y^(i))²

其中我们的预测值 y^(i) = ax(i) + b

目标：找到最优参数 a 和 b 使得我们损失函数不断优化进而优化算法这种做法一般称为最优化原理

我们的目标在这个问题中属于典型最小二乘法问题

这里不再赘述推导过程

衡量指标：均方误差均方根误差平均绝对误差

评判回归问题的指标：RSquare

其中我们的 R²越大越好，如果R²等于0，代表我们的模型等同于基准模型，若R²小于0，代表我们的模型连基准模型都不如，即我们应思考问题是否满足线性关系

R² = 1 - MSE(y^,y) / var(y)

多元线性回归：

我们从一维扩展至了多维

y = θ0 + θ1x1 + θ2x2 + θ3x3 + ...... + θnxn

θ = (θ0,θ1,θ2,θ3,......,θn)T

y^(i) = θ0x0(i) + θ1x1(i) + θ2x2(i) + ...... + θnxn(i)

x0(i) = 1

y^ = xb·θ

多元线性回归正规方程解：

θ = （xbTxb）-¹·xbT·y

详解机器学习基础--线性回归算法相关推荐

机器学习基础-经典算法总结
机器学习基础-经典算法逻辑回归逻辑回归的原理,问题的假设为什么逻辑回归也可称为对数几率回归推导逻辑回归损失函数逻辑回归损失函数求导逻辑回归为什么使用交叉熵作为损失函数 LR是不是凸优化问题 ...
深度 | 详解可视化利器t-SNE算法：数无形时少直觉
T 分布随机近邻嵌入(T-Distribution Stochastic Neighbour Embedding)是一种用于降维的机器学习方法,它能帮我们识别相关联的模式.t-SNE 主要的优势就是保 ...
python 预测算法_通过机器学习的线性回归算法预测股票走势（用Python实现）
本文转自博客园,作者为hsm_computer 原文链接:https://www.cnblogs.com/JavaArchitect/p/11717998.html在笔者的新书里,将通过股票案例讲述P ...
完全手册-MATLAB使用详解：基础、开发及工程应用
[书名]完全手册-MATLAB使用详解:基础.开发及工程应用 [作者]董霖编著 [ISBN]978-7-121-07397-7 [出版社]电子工业出版社 [出版日期]2009年1月 [内容简介] M ...
Java方法详解（基础）
Java方法详解(基础) 什么是方法? System.out.println():调用系统类标准输出对象方法out. 方法是语句的集合,他们在一起执行一个功能. 方法是解决一类问题的步骤的有序组合. ...
用于生成随机数的python标准库模块是_详解Python基础random模块随机数的生成
详解Python基础random模块随机数的生成来源:中文源码网浏览: 次日期:2019年11月5日 [下载文档: 详解Python基础random模块随机数的生成.txt ] ( ...
Subspace Clustering详解（附带CLIQUE算法详解）
Subspace Clustering详解第二十四次写博客,本人数学基础不是太好,如果有幸能得到读者指正,感激不尽,希望能借此机会向大家学习.这一篇作为密度聚类算法族的第三篇,主要是介绍一种用来发现 ...
TF之LiR：基于tensorflow实现机器学习之线性回归算法
TF之LiR:基于tensorflow实现机器学习之线性回归算法目录输出结果代码设计输出结果代码设计 # -*- coding: utf-8 -*-#TF之LiR:基于tensorflow实 ...
Python|线程和进程|阻塞|非阻塞|同步|异步|生成器和协程|资源竞争|进程间通信|aiohttp库|daemon属性值详解|语言基础50课：学习（11）
文章目录系列目录原项目地址第34课:Python中的并发编程-1 线程和进程多线程编程使用 Thread 类创建线程对象继承 Thread 类自定义线程使用线程池守护线程资源竞争 G ...

最新文章

热门文章