1. 总体与样本

0x1：数理统计中为什么要引入总体和个体这个概念

概率论与数理统计中，一个很重要的研究对象就是总体的概率分布，理论上说，我们希望获得被研究对象的总体样本，基于这份总体样本进一步研究其概率分布，但是遗憾地是，几乎在100%的情况下，我们都不可能获得真正的总体，我们只能获取有限的样本量（例如自然生物里的统计问题），有时候甚至还是非常少的小样本集（例如宇宙星体观测结果），如何有效、准确、误差可控地利用有限的样本集，进行最大程度合理的统计推断，既是一个理论研究课题，也是非常有现实意义的应用理论。

因此概率论与数理统计科学家们提出了总体和个体这个概念，主要观点如下：

• 在大数定律的理论支撑下，只要我们的个人样本数足够多，个人样本的统计量会在趋近于1的概率下，趋近于总体样本的统计量。这就是我们在没有完整总体样本的情况下，依然能够利用概率论与数理统计这个强大的武器，对未知的事物开展统计研究的理论依据。
• 同样在大数定律的理论支撑下，即使样本数不够多，基于有限的样本数得到的估计结果，和理论总体之间的误差，也可以可以通过概率分布统计量的形式，定量地给出的，这给统计推断的不确定性决策提供了基础。

0x2：总体与样本

1. 总体的形式定义

在一个统计问题中，我们把研究对象的全体称为总体，也即样本空间全集，构成总体的每个成员称为个体，也即样本子集。

对于具体问题中，我们将研究对象的某个数量指标值（例如身高）的全体称为总体，每一个总体都是由一组数据组成的，因此可以用一个概率分布描述，所以说总体数量指标就是服从一个分布的随机变量。

我们用大写字母X表示总体，那么总体X就是具有未知分布函数F(x)的一个随机变量。

2. 样本的形式定义

在数理统计中，总体分布永远是未知的。所以我们希望从客观存在的总体中按一定的规则选取一些个体（即抽样），通过对这些个体作观察或测试来推断关于总体分布的某些统计量（例如总体X的均值、方差、中位数等），被抽取出的这部分个体就组成了总体的一个样本。

这里所谓的”一定规则“，是指保证总体中每一个个体有同等的机会被抽到的规则。

在总体中抽取样本的过程称之为”抽样“，抽取规则则称之为”抽样方案“。在大部分时候，我们都采用简单随机抽样，表示对总体的每一个抽样，总体中的所有个体都有相同的被选概率，用这种抽样方案得到的样本称为简单随机样本。

由于在观测前，样本观测值是不确定的，所以样本是一组随机变量（或随机向量），为了体现随机性，用大写字母（X1，X2，....，Xn）表示，其中n为样本的大小，称之为样本容量。

一旦给定的简单随机抽样方案实施后，样本就是一组数据，用小写英文字母（x1，x2，...，xn）表示，也称为样本观测值。

简单随机样本具有下列两个特性：

• 1）相互独立性：X1，X2，...，Xn相互独立，样本中每个个体的取值不受到其他个体取值的影响
• 2）代表性：Xi 同总体分布（Xi ~ f(xi；θ)），总体中的每一个个体都有同等机会被选入样本

3. 样本的联合分布概率函数公式

我们知道，简单随机样本表示X1，X2，...，Xn是独立同分布的随机变量，且每一个 Xi 的分布都与总体X的分布相同，因此我们可以根据概率论中多维随机变量分布的性质得到样本的联合分布如下：

1）离散型随机变量

设总体X是一个离散型随机变量，分布律为P(X=x；θ)，样本(X1，X2，....，Xn)的联合分布律为：

2）连续型随机变量

设总体X是一个连续型随机变量，密度函数为f(x；θ)，样本(X1，X2，....，Xn)的联合密度函数为：

样本的联合分布累乘公式是一个非常基础且重要的公式，是很多下游算法的公式基础，它表达了一个最质朴的概率论思想，即：任何复杂的事物都可以分解为多个复杂度更低的子事件，所有子事件同时发生等同于复杂事物发生，而所有独立同分布的子事物同时发生在概率论中又等价于所有子事物的概率逐个累乘。即P(AB) = P(A)*P(B)。

样本的联合分布概率函数公式，在模型参数估计、NLP语言模型建模等领域中都有广泛应用。

3）样本联合分布函数举例说明

设总体X~B(1，p)，（X1，X2，...，Xn）为取自该总体的一个样本，求样本（X1，X2，...，Xn）的联合分布律f(x1，x2，...，xn；p)

在概率分布函数的讨论中，我们的讨论对象往往是在某个确定的概率函数前提下，某个点或某个区间的确定性概率问题。而在样本联合分布概率函数的讨论中，我们的讨论对象是多个相同的概率分布函数叠加在一起，综合而成的一个新的概率分布函数。它们二者之间有点像个体与群体的关系。

Relevant Link:

《概率论与数理统计》同济大学数学系 第6章 第一节 

2. 样本随机变量的统计量

0x1：为什么要研究样本的统计量

数理统计中最重要的部分就是研究样本的概率分布，也即抽样分布。

抽样分布也是一种随机变量，因此自然也有对应的概率密度函数以及概率分布函数。但其实对抽样分布的概率分布函数的研究并不是十分重要，或者说相比于抽样分布的统计量研究来说不是那么重要。

我们研究样本的核心目的在于估计总体分布的形式和参数，而抽样分布的统计量，是连接抽样分布和总体分布之间的桥梁，基于抽样样本的统计推断是基于抽样统计量作出的，所以研究抽样分布的统计量是统计推断中一个十分重要的环节。

0x2：样本统计量 - 连接样本和总体未知参数推断之间的桥梁

数理统计的基本任务之一是利用样本所提供的信息来对总体分布中未知的量进行推断，简单来说，就是由样本推断总体。

但是，样本常常表现为一组数据，很难直接用来解决我们所要研究的具体问题，人们常常把数据加工成若干个简单明了的数字特征，由数据加工后的数字特征就是统计量。所以说统计量综合了样本的信息，是统计推断的基础。统计量的选择和运用在统计推断中占核心地位。

1. 样本统计量基本定义

设（X1，X2，...，Xn）为取自总体的一个样本，样本（X1，X2，...，Xn）的函数为g(X1，X2，...，Xn)，若g中不直接包含总体分布中的任何未知参数，则称g(X1，X2，...，Xn)为统计量。统计量本质上也是一种随机变量。

在抽样前，统计量是一个随机变量，在抽样后，得到样本（X1，X2，...，Xn）的一次观测值（x1，x2，...，xn），则所得的g(x1，x2，...，xn)即为统计量的一次观测值。它是一个可以由数据算得的实数。

统计量本身不包含总体分布中的未知参数，我们构造统计量的主要目的就是去估计总体分布中的未知参数。

2. 一些常用的样本统计量

1）样本均值

2）样本方差

称：

为样本方差。

称：

5）词序统计量

词序统计量X(1)，X(2)，...，X(n)是X1，X2，...，Xn由小到大排序得到的，加圆括号的下标表示排序。

设（X1，X2，...，Xn）是取自总体X的一个样本，总体X的密度函数为。

样本中取值最小的一个记为，即，称为最小次序统计量。

样本中取值最大的一个记为，即，称为最大次序统计量。

称为第i次序统计量，i=1，2，...，n，满足：

记和的密度函数分别为和，由概率密度函数的定律可得：

次序统计量本质上是基于原始的概率分布进行了一个函数映射后，得到了一个新的概率分布函数，那么这个新的概率分布函数的形式和原始概率分布函数是什么关系呢？我们以指数分布为例，来具体讨论下。

设（X1，X2，...，Xn）是取自总体X的一个样本，总体X~E(λ)，分别求次序统计量，的分布。

总体X~E(λ)，所以密度函数为：

分布函数为：

根据最小次序统计量的概率密度函数分布式可得：

即：

根据最大次序统计量的概率密度函数分布式可得：

3. 常用样本统计量的性质

由于统计量是样本（X1，X2，...，Xn）的函数，因此统计量也是随机变量，因此统计量也同样具备随机变量的一些性质。而考察随机变量的性质，本质上就是用各种统计量来描述随机变量，所以我们同样可以用随机变量的统计量来考察统计量本身，即统计量本身的统计量。

1）样本均值的统计性质

这个公式要这么理解，我们将样本均值作为一个随机变量，将每次抽样看做一次观测，则在多次观测下，样本均值本身呈现出的均值和方差的统计规律。

样本均值的均值还是均值，样本方差的均值，随着样本数n的增大而负向减小。

该性质表明：样本集可以一定程度上代替总体，实现总体参数估计的目的。因为估计样本的均值就等于估计出了总体的均值，而随着样本数的增加，代表估计误差的均值方差也是逐渐降低，通俗地说就是样本越多，参数估计的就越准确。

2）样本方差和二阶中心矩的统计性质

上式表明样本方差的均值还是方差，样本二阶原点矩的均值，随着样本数n的增加而缓慢增大，这也所谓有偏估计的由来。

该性质表明：样本集并不改变总体的方差分布，对原始的总体来说，样本既不增加新的信息熵，也不减少信息熵。

3）样本均值和方差的依概率收敛性

在大数定理下，不管是有偏估计还是无偏估计，样本均值和样本方差最终都会收敛到总体均值和总体方差。

样本均值和方差的概率收敛性，也是矩估计法和极大似然估计的理论依据，它从理论上证明了基于样本进行数理统计的合法性和有效性。

4）二项分布总体下的样本统计量求解

这个小节我们用一个具体的例子来阐述，如何对统计量的各种概率性质进行定量的分析和计算。

设（X1，X2，...，Xn）是取自总体X的一个样本，当X~B(1，p)时，分别求下列几个统计量：

由二项分布的性质我们知道：

所以有：

0x3：三大分布 - 正态总体假定下，对样本随机变量进行特定统计量函数变换映射后，得到的3种特定概率分布

标题取得有一些绕，笔者这里尽力分解解释一下。

前面说到，样本是从符合一定概率分布的总体（任意概率分布形式）中通过某种采样方案，采样抽取得到的。所以我们将样本看做是一种随机变量，并计算样本随机变量的统计量，例如前面介绍了常用的统计量（例如均值、方差、次序统计量）。但统计量本质也是一种函数变换（例如均值统计量就是一种固定形式的函数），统计量本身又是一种新的随机变量，所以统计量本身也是有概率分布函数形式的。

在所有总体假设中，正态分布是应用最广泛的一种概率分布，根据中心极限定律，所有的概率分布在大数n情况下，都会趋近于正态分布，所以我们本章讨论正态分布总体下的抽样分布。

虽然正态总体假设下，抽样随机变量的统计量形式可以由很多种，但是在学术研究和工业实践中，使用最多的还是3大分布，本章我们讨论数理统计中用的比较多的3种分布，包括x2分布、t分布、F分布，它们在正态总体的统计推断中起着重要作用。

笔者提醒：显然，数理统计中并不只有这3种概率分布，理论上说，针对正态总体的抽样，我们可以用任意的统计量g()函数来得到新的随机变量，在一些特定的工业场景中，也确实需要我们创造新的统计量函数来应对特定的复杂场景。

1. X2分布

1）概率分布数学公式

设X1，X2，...，Xn为相互独立的标准正态分布随机变量，都服从N(0，1)，称随机变量：

所服从的分布为自由度为n的 χ2 分布，记作Y ~ χ2(n)。样本数n越大，自由度越大。

χ2(n)分布的密度函数为：

3）x2分布概率分布计算举例

设（X1，X2，X3，X4，X5，X6）为取自标准正态总体N(0，1)的一个样本，分别求下列三个统计量的分布：，并求a，b的值。

由样本的定义可知，X1，X2，X3，X4，X5，X6相互独立，且都服从N(0，1)分布，所以根据χ2分布的定义可知，即自由度为2个χ2分布。

同理，，即由一个样本组成的概率分布为自由度为1的χ2分布。

，即，又，即

所以由χ2分布的定义可知：

整理可得，a=1/2，b=1/3。

2. t分布

1）概率分布数学公式

设随机变量X与Y相互独立，且X~N(0，1)，Y~χ2(n)。称随机变量：

服从自由度为n的t分布（学生氏分布），记为T~t(n)。

3. F分布

1）概率分布数学公式

设随机变量X与Y相互独立， 且X ~ χ2(m)，Y ~ χ2(n)，称随机变量：

F(m，n)分布的概率密度函数为：

F(m，n)分布的概率密度函数图像如下：

0x4：正态总体假定下的抽样分布的统计量性质

《概率论与数理统计》同济大学数学系 第6章 第二节 

3. 参数估计 - 概率分布模型已知时模型参数估计

0x1：参数估计基本定义

在之前的章节中，我们已经讨论了总体和样本的概念，而总体X的分布永远是未知的，通常根据实际情况假定服从某种类型的分布。例如，假定总体X服从正态分布，那么刻画正态分布的均值μ和方差σ²究竟取什么值，是参数估计范畴内的知识。

在参数估计的知识推导中，需要用到之前讨论过的样本统计量的概念，样本统计量和大数定律是参数估计的连接桥梁和理论支撑。

设总体X~f(x；θ)，其中 f 的形式已知，θ是未知参数。例如，总体X~B(1，p)，其中p未知，这个p即为标记总体分布的未知参数，简称总体参数。

总体参数虽然是未知的，但是它可能取值的范围却是已知的。称总体参数的取值范围为参数空间，记作

如何根据样本来对未知参数进行估计，这就是数理统计中的参数估计问题。参数估计的形式有两类：1）一类是点估计；2）一类是区间估计

设总体X的分布形式已知，但它的一个或多个参数未知，借助于总体X的一个样本来估计总体未知参数值的问题，称为参数的点估计问题。

设（X1，X2，...，Xn）是取自总体X的一个样本，点估计就是依据样本估计未知参数为某个值，这在数轴上表现为一个点。

具体地说，假定要估计某个未知参数θ，求θ的点估计就是根据样本（X1，X2，...，Xn）构造一个参数估计统计量，h(X1，...，Xn)，在通过抽样获得样本观测值(x1，...，xn)之后，便用h(x1，...，xn)的值来估计未知参数的值。

称h(x1，...，xn)为θ的估计量，估计量本质上也是一种随机变量，记作，也简记为。根据随机变量的定义，估计量是参数空间中一个确定的值。

1. 矩估计

1）矩估计形式定义

矩估计的思想就是替换思想：用样本原点矩替换总体原点矩。

设总体X的k阶原点矩：，样本的k阶原点矩为：，如果未知参数，则θ的矩估计量为。这种估计总体未知参数的方法称为矩估计。

2）矩估计性质

设一个总体X的均值E(X)=μ，方差D(X)=σ²都未知，（X1，X2，...，Xn）为取自该总体的一个样本，则是μ的矩估计量，S_n²是σ²的矩估计量，S_n是σ的估计量。

3）矩估计应用实例

设（X1，X2，...，Xn）是取自总体X的一个样本，求X~B(1，p)和X~E(λ)时，总体未知参数的矩估计量。

X~B(1，p)，首先，0-1分布的期望E(X)=p，所以未知参数记为总体一阶原点矩，即p=E(X)，应用矩估计的替换思想，用样本的一阶原点矩替代总体一阶原点矩，可得p的矩估计量为

X~E(λ)，E(X)=1/λ，所以λ=1/E(X)，所以λ的矩估计量为

4）求解总体未知参数θ矩估计量一般步骤

• 1）设k为一正整数，通常取1或者2（即1阶或者2阶），计算总体的k阶原点矩μ^k = E(X^k) = h(θ)
• 2）解出θ = h^-1（E(X^k)） = h^-1（u^k），将未知参数转为为总体k阶原点矩的形式
• 3）用样本的k阶原点矩替换u^k，得到θ的矩估计，即将未知参数转为样本k阶原点矩的形式

矩估计是一种经典的估计方法，它比较直观且计算简单，即使不知道总体分布类型（矩估计法跳过了总体分布形式这个环节，直接采取了替换思想），只要知道未知参数与总体各阶原点矩的关系并运用替代法，就能得到参数的矩估计量。

2. 极大似然估计

1）极大似然估计形式定义

设总体X有分布律P(X=x；θ)或密度函数f(x；θ)，其中θ为一个未知参数或几个未知参数组成的向量θ=(θ₁，θ₂，....，θ_k)，已知 θ∈参数空间。（x₁，x₂，....，x_n）为取自总体X的一个样本（X1，X2，...，Xn）的观测值，将样本的联合分布律或联合概率密度函数看成θ的函数，用L(θ)表示，又称为θ的似然函数，则似然函数形式如下：

在似然函数的基础上，称满足下列关系式：

的解为θ的极大似然估计，也即让似然函数取得极大值时的特定参数值θ叫做：θ的极大似然估计量。显然，极大似然估计量也是一个随机变量。

笔者插入：极大似然估计是因果论的一种逆向应用，总体未知参数θ是因，样本的观测值是果，在所有备选θ中，使得结果发生概率最大的因就是极大似然估计的结果。

2）极大似然估计量的求解方式

0x4：区间估计

1. 由一个例子从点估计推导演进到区间估计

上一章讨论的参数点估计是基于样本观测值计算出一个确定的值去估计总体未知参数。同时上一章也讨论到了点估计量的3种评价标准，即无偏性，有效性，相合性。其实这背后已经暗含了一个重要信息，即参数点估计的结果从概率上是存在误差的，虽然随着样本量的不断扩大，这个误差会无限趋近于零，但永远不可能完全等同于。换句话说，无论是矩估计还是极大似然估计本质上都存在这误差。

相比于给出精确的点估计值，学者们提出了另一种参数估计方法，即区间估计，即给出一个区间，让我们能有更大地把握认为真值被包含在这个区间内，这样的估计就显得更有实用价值，也更为可信，因为我们把可能出现的偏差也考虑在内了。

用一个具体例子来逐步引入后面对区间估计的形式化定义的讨论：

0x5：单正态总体下未知参数的置信区间

参数的区间估计是针对某个已知总体分布的，例如已知总体分布为二项分布，但是其参数未知，需要通过区间估计来得到未知参数分布的置信区间。

在实际应用环境中，正态总体下未知参数的置信区间是应用价值最大的一类置信区间问题，我们这节来讨论当总体分布为正态分布时，其未知参数的区间估计问题。

1. 均值和方差的置信区间估计

设（X1，...，Xn）是取自总体X~N(μ，σ²)的一个样本，置信水平为1-a。

均值μ和方差σ²是否已知对置信区间的估计结果是有影响的，在实际情况中，也存在不同的已知情况，我们分别讨论这3种类型。

1）μ未知但σ²已知

当总体分布为正态分布，方差已知，但是均值未知时。根据上一节讨论确定的置信区间估计的一般步骤，求未知参数μ的置信区间。

μ的极大似然估计是。

设统计量J为：

按总体分布正态标准化定理可知，J~N(0，1)，由于，因此

2）μ已知但σ²未知

3）μ与σ²均未知

未知参数μ的极大似然估计是，令：

按照t分布定理可得，J ~ t(n-1)，由于，因此

2. 单正态总体下未知参数置信区间估计案例

2）置信区间估计

对于具体问题来说，直接套用对应公式即可，u和σ都未知情况下，u的置信区间上下界计算需要涉及到t分布取值以及S的取值。

查表得t_0.975(8)=2.306，同时

Relevant Link:

《概率论与数理统计》同济大学数学系 第7章  

4. 假设检验

0x1：假设检验基本定义

0x4：单正态总体参数的假设检验

上个小节我们举的例子就已经涉及到单正态总体参数下的假设检验了，这个小节我们来形式化讨论一下在单正态总体下，假设检验的各种形式和定义。

1. μ未知但σ²已知

建立假设：

2. μ已知但σ²未知

如果要检验：

3. μ与σ²均未知

1）μ假设检验

如果要检验：

0x5：参数估计和假设检验的关系

在学习了参数估计和假设检验之后，读者朋友可能会有一个疑问，既然有样本了，直接基于样本进行参数估计不就行了吗？为什么还需要假设检验，假设检验最后不还是依靠样本来估计未知参数吗？

1. 联系

• 都是根据样本信息对总体的数量特征进行推断；
• 都是以抽样分布为理论依据，建立在概率论基础之上的统计推断；

2. 区别

• 参数估计是以样本资料估计总体参数的真值，而假设检验是以样本资料对总体的先验假设是否成立，以及成立的置信概率作出判断；
• 参数估计中的区间估计是以大概率为标准，通常以较大的把握度1-a去保证总体参数的置信区间，而假设检验是以小概率原理为标准，通常给定很小的显著性水平a去检验样本对总体参数的先验假设是否成立；

3. 同一个问题的不同理论视角

在为总体未知参数构造置信区间时，如果置信水平为95%，则说明总体未知参数位于两个极限之间的概率达到95%。

而显著性水平反映了总体未知参数将位于某个极限外的概率，如果显著性水平为5%，则意味着拒绝域的概率为5%。

假设检验和区间估计的关系如下。

假设总体X~N(μ，σ²)，μ和σ²均未知，设（X1，X2，....，Xn）是取自总体X的一个样本，给定置信水平为1-a，显著性水平为a，则μ的双侧1-a置信区间为：

也可表达成为：

接着考虑如下关于均值μ的双侧检验问题：

可得相应的拒绝域为：

对比置信区间和假设检验的拒绝域，我们可以发现在单正态总体中，假设σ²未知的情况下，μ的双侧1-a置信区间记为μ的双侧检验问题接受域，如下图所示：

由此可见，假设检验和参数区间估计本质上说的是一件事，只是不同的理论视角。

Relevant Link:

https://zhuanlan.zhihu.com/p/45898097 

5. 从拟合优度角度看一元线性回归拟合程度

回归分析是机器学习中很常用的统计方法，其本质上是利用参数估计与假设检验处理一类特定的数据，这类数据往往受到一个或若干个自变量的影响，本章仅讨论一个自变量的情形，自变量是普通的变量，但因变量是一个随机变量，即一元线性回归。

0x1：相关关系问题

在实际问题中，常常需要研究变量与变量之间的相互关系。变量之间的相互关系基本上可以分为：

• 函数关系：确定性关系
• 相关关系：不确定性关系

1. 函数关系

函数是研究变量之间相互关系的一个有力工具，例如，以速度v作匀速直线运动时，物体经历的时间t与所经过的路程s之间具有函数关系s=vt。函数关系的基本特征是，当自变量x的值确定后，因变量y随之确定。

因此，函数实质上是研究变量之间确定性关系的数学工具。但是在实际的数据分析场景中，确定性的关系并不总是存在，从笔者自己的经验来看，几乎99%的数据分析场景里，变量之间的关系都不是确定性的函数关系。关于该话题的讨论，可以参阅另一篇文章。

2. 相关关系

与此相对的，在客观世界中变量之间还存在另一种普遍的关系，即不确定性关系。

例如，我们会发现人的身高与体重这两个变量之间存在某种关系，例如高的人整体上都会重一些，但是这种关系不能用一个函数来表达，因为当人的身高确定后，人的体重并不随之确定，它们之间存在一种不确定性关系。

变量之间的不确定性关系称为相关关系。

假定要考察自变量x与因变量Y之间的相关关系，由于自变量x给定之后，因变量Y并不随之确定，它是一个与x有关的随机变量，它可能取其值域Ω_Y中的任意某个值，因此，直接研究x与Y之间的相关关系比较困难。因此必须要找一个能够代表Y的统计量，作为”随机变量代表“，来和x进行相关关系分析。

注意到均值E(Y)反映了随机变量Y的平均取值，因此可以将E(Y)统计量作为Y的代表，研究x与E(Y)之间的关系。

随机变量Y所包含的不确定性通过期望E(Y)被消除，这样，x与之间便可以得到一种确定性关系，E(Y)成为x的某个函数。

下面通过研究μ(x)这个函数来达到探讨x与Y之间相关关系的目的。

0x2：概率论与数理统计理论体系下的一元线性回归 - 线性模型的数理统计表达

物理定律告诉我们，弹簧的伸长与拉力之间在理论上存在线性关系。从数据分析的角度，回归分析正是为这条物理定律提供了统计依据。我们这节围绕该问题展开讨论。

为了研究弹簧悬挂重量x(单位:g)与长度Y(单位:cm)的关系，通过试验得到如下一组(6对)数据：

从散点图看出，自变量x与因变量Y之间肯定不存在函数关系，但是显然存在相关关系。这6个点虽然不在同一条直线上，但大致在直线L的周围。

前面说到，在研究x和Y的相关关系的时候，我们一般会给Y选定一个”随机变量代表“，现在直线L就是随机变量Y的代表。

记直线L的线性方程为：

y = β₀ + β₁x。于是，可以把xi与yi之间的关系表示成：

这里，ε_i表示试验误差，它反映了自变量x与因变量Y之间的不确定性关系，即：

，其中，ε~N(0，σ²)，即误差符合正态分布（这是高斯在研究正态分布和随机误差时证明的理论）。

对这一组变量(x，Y)作了n次观测，得到样本观测值

站在抽样前的立场看，这一组样本可以表示成：

其中，ε₁，...，ε_n是独立同分布的随机变量，且都服从N(0，σ)。这个数学模型称为(一元)线性模型。

在线性模型中，自变量x看作一个普通的变量，即它的取值x₁，...，x_n是可以控制或精确测量的。而因变量Y是一个随机变量(因为ε是一个随机变量)，即它的取值y₁，...，y_n在抽样前是不确定的，即是不可控制的。

在线性模型中，总体Y~N(β₀ + β₁x，σ²)，其中是x的线性函数，这个函数称为回归函数，回归函数反映了自变量x与因变量Y之间的相关关系。称β₁为回归系数，称β2为回归偏置。

这里，β₀，β₁，σ²都是未知参数，-∞ < β₀，β₁ < ∞，σ² > 0。

回归分析就是要根据样本(x₁，y₁)，...，(x_n，y_n)找到β₀与β₁适当的估计值，从而用经验公式：

来近似刻画自变量x与因变量Y之间的相关关系。这个经验公式称为经验回归函数。

它代表的直线称为经验回归直线。上图中的直线L即为经验回归直线。

0x3：最小二乘法

1. 最小二乘形式化定义

如何根据(x₁，y₁)，... ，(x_n，y_n)来推测经验回归直线L呢？

从直观上看，这条直线L应最接近已知的n个数据点，通常用

作为任意一条直线y = β₀ + β₁x与这n个数据点偏离程度的定量指标。

即，希望选取适当的β₀，β₁使得Q(β₀，β₁)的值尽量小。用这个方法得到的β₀，β₁的估计称为最小二乘估计，这个估计方法称为最小二乘法。

要求Q(β₀，β₁)的最小值，可以先解下列方程组：

经整理后得到：

称这个方程组为正则(或正规)方程组，由正则方程组解得：

其中，

于是，β₀，β₁的最小二乘估计量为：

由β₀，β₁的最小二乘估计量，得经验回归函数为：

经验回归直线是过n个数据点的几何重点且斜率为的一条直线。

2. 最小二乘估计的性质

分别是β₀，β₁的无偏估计，且：

0x4：回归系数的显著性检验

对于线性回归函数来说，回归系数β₁是一个重要的未知参数，对该参数需要进行假设检验：

| β₁ | 的大小反映了自变量x对因变量Y的影响程度，通俗的话说就是，考量是不是在用线性回归函数来强拟合。

• 如果经检验拒绝H₀，那么可以认为自变量x对因变量有显著性影响，称为回归效果显著；
• 如果经检验不能拒绝H₀，即回归效果不显著，那么原因是多方面的。例如：
  • 可能原来假定E(Y)是x的线性函数β₀+β₁x这个大前提就有问题，x和Y之间根本就没有线性关系、
  • 也可能影响因变量Y的自变量不止x一个，甚至还可能x与Y之间不存在必须重视的相关关系，而只是弱线性关系、
  • 也可能是因为采样过程引入了大量的噪音，导致Y中的噪音方差过大

为了给出回归系数的显著性检验的拒绝域，先作一些准备工作，记：

，并称SS为总偏差平方和

反映了数据中因变量取值的离散程度。记：

，并称SS_R为回归平方和。

由得到：

因此，SS_R反映了n个值相对于其平均的离散程度，它是由于自变量x取不同的值x1，...，xn 而引起的，因而它在一定程度上反映了回归系数β₁对数据中因变量取值产生的影响。

现在来讨论σ²的点估计。σ² = D(ε_i)反映了试验误差，在数据中，它通过来表现，其中

即是按经验回归函数算得自变量 x = x_i 时因变量 y 的值，称为第 i 个残差。

称：

为残差平方和。

残差平方和反映了n次试验的累积误差，它的值恰是Q(β₀，β₁)的最小值，因为

通常取σ^₂的估计为

当n较小时，通常取σ²的估计为

可以证明是σ²的无偏估计，不具有无偏性，但是σ²的渐进无偏估计。

下面推导残差平方和的计算公式，由：

得到：

由残差平方和的计算公式得到平方和分解公式：

有了上面的准备工作，我们可以开始讨论对回归系数对显著性检验了。

与SS_E相互独立，且，当β₁=0时，。

对回归系数作显著性检验，有本质上相同的3种常用方法，接下来逐一讨论：

1. t检验法

设检验统计量：

当β₁=0时，，，且与SS_E相互独立，因此，。

于是在显著性水平a下，当：

时，拒绝H₀。

2. F检验法

设检验统计量：

当β₁=0，并且与SS_E相互独立保证与SS_E相互独立，推得F~F(1，n-2)。

于是，在显著性水平α下，当：

时，拒绝H₀。由T₂=F，可以看出知F检验法本质上与t检验法是相同的。

3. 相关系数检验法

设检验统计量：

，称R为相关系数

类似于随机变量的相关系数ρ(X，Y)，R的取值r反映了自变量x与因变量Y之间的线性相关关系。

于是，在显著性水平α下，当时，拒绝 H₀。

相关系数检验法是实际问题中被广泛应用的一种检验方法，因为它对x与Y之间线性相关关系给出一个数量表示。

可以证明相关系数检验法也与t检验法本质上是相同的，因为它们之间存在下列关系：

4. 回归系数3种显著性检验举例

还是沿用前面的弹簧的例子，为了研究弹簧悬挂重量x(单位:g)与长度Y(单位:cm)的关系，通过试验得到如下一组(6对)数据：

列出计算表格(n=6)

于是，利用得到：

由上面计算计算表格和样本均值计算结果得到：

因此，

从而：

同时得到：

将上面带入t/F/相关系数检验公式，得：

3种检验的临界值分别是：

通过查表得到结论，检验结论都是拒绝H₀，即回归效果显著。这也和我们的直观判断是一致的。

笔者思考：损失函数的损失值是从另一个角度，度量了两个随机变量之间相关度的概率。损失最小就意味着参数估计的极大似然。可以从信息论的统一视角来看它们二者，本质上是同样的概念。

Relevant Link:

《概率论与数理统计》同济大学数学系 第8章