多元线性回归系数求解

做地图自动标注，想调用Matlab的多元线性拟合函数Regress，用Matlab Builder For Java转成Java类，因为是Flex编写的程序，无法直接使用Java需要部署到Web，问题来了，本地可以运行，但是写成RemotingObject或者WebService都会出现问题，要么是无法初始化工厂类，要么是Invoke错误，郁闷了！网上查了下好像大家都遇到这种错误，而且没什么解决方案。

搞了2天搞不好，想想，也没有速度要求，干脆自己写一个算了，也不怎么复杂！

原理如下：

建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解使全部观测值与回归值的残差平方和达到最小值。由于残差平方和

（2-2-5）

是的非负二次式，所以它的最小值一定存在。

根据极值原理，当Q取得极值时，应满足

由（2-2-5）式，即满足

（2-2-6）

(2-2-6）式称为正规方程组。它可以化为以下形式

（2-2-7）

如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有

（2-2-8）

式中X是多元线性回归模型中数据的结构矩阵，是结构矩阵X的转置矩阵。

(2-2-7)式右端常数项也可用矩阵D来表示

即

因此(2-2-7)式可写成

Ab=D （2-2-10）

或

（2-2-11）

如果A满秩（即A的行列式）那么A的逆矩阵A^-1存在，则由(2-10)式和(2-11)式得的最小二乘估计为

（2-2-12）

也就是多元线性回归方程的回归系数。

为了计算方便往往并不先求，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为

（2-2-13）

式中

（2-2-14）

将（2-2-13）式代入（2-2-7）式中的其余各方程，得

（2-2-15）

其中

（2-2-16）

将方程组（2-2-15）式用矩阵表示，则有

Lb=F （2-2-17）

其中

于是

b=L^-1F （2-2-18）

因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。

例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x₁)、土壤内溶于K₂CO₃溶液并受溴化物水解的有机磷浓度(x₂)以及土壤内溶于K₂CO₃溶液但不溶于溴化物的有机磷(x₃)的观察数据。求y对x_1, x_2, x₃的线性回归方程。

表2-2-1 土壤含磷情况观察数据

第10行第一个应该是12.6

计算如下：

由(2-2-16)式

代入(2-2-15)式得

（2-2-19）

若用克莱姆法则解上述方程组，则其解为

（2-2-20）

其中

计算得

b₁=1.7848，b₂=-0.0834，b₃=0.1611

回归方程为

应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换

多元线性回归系数求解相关推荐

线性回归系数求解及Python实现
求解线性回归系数已知nnn个观测值集合{(xi,yi),i=1,2,...,n}\{(x_i, y_i), i=1,2,...,n\}{(xi,yi),i=1,2,...,n}, 求回归系数aa ...
基于jupyter notebook的python编程-----利用梯度下降算法求解多元线性回归方程，并与最小二乘法求解进行精度对比
基于jupyter notebook的python编程-----利用梯度下降算法求解多元线性回归方程,并与最小二乘法求解进行精度对比目录一.梯度下降算法的基本原理 1.梯度下降算法的基本原理二.题 ...
线性回归系数的几个性质
线性回归系数的几个性质摘要线性回归问题的描述单变量线性回归系数的公式无偏估计线性回归系数的方差其余的几个性质残差项之和为0 线性拟合直线总会经过 (xˉ,yˉ)(\bar{x}, \ba ...
回归方程带常数项matlab,请教regress命令求解不带常数项的多元线性回归方程的问题...
首先不知道这样做的对不对,我在用[b,bint,r,rint,stats]=regress(y(:,i),x);的时候,之前没有x=[ones(33,1) x];,然后希望这样求出不带常数项的多元线性 ...
多元线性回归预测房价
文章目录一.利用Jupyter实现 1.1 基础包与数据导入 1.3 变量探索 1.3 多元线性回归建模 1.4 模型优化二.用Excel重做上面的多元线性回归,求解回归方程三.用机器学习库Sk ...
多元线性回归分析预测法概述
在市场的经济活动中,经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况,也就是一个因变量和几个自变量有依存关系的情况.而且有时几个影响因素主次难以区分,或者有的因素虽属次要,但也不能略去其作用 ...
【数学建模】多元线性回归分析
多元线性回归分析概念目的:作出以多个自变量估计因变量的多元线性回归方程. 资料:因变量为定量指标:自变量全部或大部分为定量指标,若有少量定性或等级指标需作转换. 用途:解释和预报. 意义:由于事物 ...
数学建模学习笔记（9）多元线性回归分析（非常详细）
多元线性回归分析 1.回归分析的地位.任务和分类 2.数据的分类 3.对线性的理解.系数的解释和内生性 4.取对数预处理.虚拟变量和交互效应 5.使用Stata进行多元线性回归分析 6.异方差 7.多 ...
数学建模-7.多元线性回归分析
多元线性回归分析回归分析是数据分析中最基础也是最重要的分析工具,绝大多数的数据分析问题,都可以使用回归的思想解决回归分析的任务:通过研究自变量X和因变量Y的相关关系(注意相关性≠因果性),尝试解释 ...

多元线性回归系数求解

多元线性回归系数求解相关推荐

最新文章

热门文章