文章目录

一、回归分析概述
- 1、回归分析、相关分析的联系与区别
- 2、建模的基本步骤
二、一元线性回归
- 1、模型的基本假设
- 2、参数估计方法（思想，性质（最小二乘和极大似然估计））
- - 最小二乘法：
  - 极大似然估计：
  - 最小二乘估计性质：
- 3、模型诊断（回归方程检验、回归系数检验、相关系数检验）
- - t检验
  - F检验
  - 相关系数的显著性检验
- 4、预测（单点、区间、均值）
- - 单值预测
  - 区间预测
  - 均值预测

一、回归分析概述

1、回归分析、相关分析的联系与区别

联系：回归分析与相关分析都是研究变量间关系的统计系课题。
区别：
（1）在回归分析中，变量y为因变量；在相关分析中，y与x处于平等的地位。
（2）在回归分析中，y是随机变量，x可以是随机变量也可以是非随机的确定变量；
在相关分析中，y与x均为随机变量
（3）回归分析不仅解释了自变量x对因变量y的影响大小，还可以由回归方程进行回归与预测
相关分析主要是为了刻画两类变量间的线性相关的密切程度

2、建模的基本步骤

实际问题——确立指标变量——收集分析数据——构造理论模型——参数估计——统计诊断——模型应用

二、一元线性回归

1、模型的基本假设

通常一元线性回归模型的线性形式为：y=a+bx+c,
其中a和b是未知参数，a是回归常数，b是回归系数，c表示为其它随机因素的影响（误差项）
（1）误差项c一般满足等方差及不相关条件（高斯马尔科夫条件）：
E（c(i)）= 0 ; i=1,2,3……n
var(c(i))= s^2 ; i=1,2,3……n
cov(c(i),c(j)) = 0 ; i 和 j不相等 ; i=1,2,……n ; j=1,2……n
（2）因变量y和误差项c是都是相互独立的随机变量，自变量x则非随机变量，是确定性变量，其值可以精确测量和控制
（3）为了方便对参数进行区间估计和假设检验；通常假定误差项服从正态分布：c(i)~N(0,s^2) ; i=1,2,3……n
误差项c服从正态分布，进一步的随机变量y也服从正态分布：y(i)~N(a+bx(i),s^2) ; i=1,2,3……n

2、参数估计方法（思想，性质（最小二乘和极大似然估计））

最小二乘法：

对每一个得到的样本观测值（x,y）,最小二乘法考虑观测值y(i)与其回归值E(y(i))=a+bx(i)的离差越小越好。
即Q（a,b）=sum(y(i) - a-bx(i))^2 ; sum表示i=1到n的累加

找到最小离差平方和min(Q),此时对应的a，b即为我们所求的最小二乘估计回归参数，记为A,B。
其中称y(i)-y为y(i)的残差，记为e(i)
则得到的残差平方和为sum(e^2(i)) = sum(y(i)-A-Bx(i))^2

对min(Q)通过微积分求极值的方法得到a,b的最小二乘估计为：

极大似然估计：

最小二乘估计性质：

（1）线性
即A,B为随机变量y(i)的线性函数
（2）无偏性

（3）A,B的方差

3、模型诊断（回归方程检验、回归系数检验、相关系数检验）

t检验

t检验用于检验回归系数的显著性，检验的原假设为 H0 ：B = 0
回归系数的显著性检验就是检验自变量x对因变量y的影响程度是否是显著，若原假设成立，则因变量y与自变量x之间没有线性关系，即自变量x的变化对因变量y并无影响。

接受原假设，则表明一元线性回归不成立；反之则成立

F检验

F检验是根据平方和分解式，直接从回归效果检验回归方程的显著性。
平方和分解式为：SST = SSR + SSE
其中SST为总离差平方和；SSR为回归平方和；SSE为残差平方和。
在建立了y对x的一元线性回归方程后，SST就分解为SSR与SSE，其中SSR是由自变量x的波动引起的，SSE则是由未加控制的因素引起的；即能由自变量解释的部分为SSR，不能由自变量解释的部分为SSE，因此，SSR越大则证明回归方程效果越好。

4、预测（单点、区间、均值）

单值预测

即建立回归方程后，已知确定一点x0，y0 = a+bx0

区间预测

（置信度默认95%）
从上述证明过程中，可以看到，样本量n越大，则置信区间长度越短，此时预测精度高；
在进行预测中，x0不能偏离x的平均值太大，会影响测量结果

均值预测

应用回归分析（知识点整理）（一）相关推荐

山东大学软件学院数据可视化知识点整理
数据可视化知识点整理数据可视化主要工具: Google Refine Echarts Pyecharts Tableau R Rrocessing D3(JS) 主要编程工具: Python Lec ...
C语言考研复试知识点整理
C语言考研复试知识点整理 1.由float x=3e-6,y=3e-6;不能得到x= =y的逻辑值为真. 解析:float类型的变量只能进行>或<运算,不能进行==运算 2.自增和自减运算 ...
【Android 面试基础知识点整理】
针对Android面试中常见的一些知识点整理,Max 仅仅是个搬运工.感谢本文中引用文章的各位作者,给大家分享了这么多优秀文章.对于当中的解析,是原作者个人见解,有错误和不准确的地方,也请大家积极指正 ...
mysql 存储引擎面试_搞定PHP面试 - MySQL基础知识点整理 - 存储引擎
MySQL基础知识点整理 - 存储引擎 0. 查看 MySQL 支持的存储引擎可以在 mysql 客户端中,使用 show engines; 命令可以查看MySQL支持的引擎: mysql> ...
mysql 全面知识点_Mysql知识点整理
1.存储引擎区别 MyISAM:不支持事物.仅支持表级锁.支持B+树索引 MEMORY:不支持事物.仅支持表级锁.支持B+树和HASH索引 InnoDB:支持事物.支持行级锁.支持B+树索引 2.锁机 ...
04741计算机网络原理知识点,04741计算机网络原理知识点整理.doc
04741计算机网络原理知识点整理 1.计算机网络大发展计算机网络从20世纪70年代开始发展,他的演变可以概括为面向终端的计算机网络.计算机-计算机网络.开放式标准化网络以及因特网广泛应用和高速网 ...
python基础知识整理-python入门基础知识点整理-20171214
一.知识点整理 1.python2与python3的区别: (1)宏观比对 python2 源码不标准,较为混乱,并且重复的代码很多. python3 源码统一了标准,同时也去除了重复代码. (2)编 ...
python基础知识整理-python爬虫基础知识点整理
首先爬虫是什么? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 根据我的经验,要学习Python爬虫 ...
JS,JQ,PHP的小知识点整理
在日常开发中所使用的JS,JQ,PHP的小知识点整理持续更新-- 1.js和jq获取当前的时间戳方法一: <script>var timestamp = Date.parse(new ...
计算机地图制图知识点,地图制图知识点整理
地图制图知识点整理第一章地图的定义:按照严密的数学法则,用特定的符号系统,将地图或其他星球的空间事象,以二维或维静态或动态可视化形式,抽象概括.缩小模拟等手段表示在平面或球面上,科学地分析认知与交 ...

应用回归分析（知识点整理）（一）