概念：

总体均值

总体方差

样本均值

样本方差

估计值表示：

estimator，常用：p为真值，

为p的估计

无偏(unbias)：

用样本统计估计总体参数时，估计量的均值(数学期望)与未知参数的真值一样时，为无偏估计。

一致性(consistency)：

随着样本量的增加，偏差越来越小，则称为一致性估计。譬如用MLE对方差估计时，其偏差为

，这个值随着样本量n的增大而减小，所以为一致性估计。

有效性(availability)：

到达variance最小的estimator

Empirical：

empirical->从样本中获得的，ture-> 从总体中获得的。譬如：empirical risk minimization，ERM常用的手段就是MLE，structural risk minimization, SRM就比如是加了正则的MLE，ie：MAP

性质：

期望乘法：

方差乘法：

方差加法：

方差分解：

方差：

协方差

X，Y不相关则：

，即

，此时

协方差性质

样本均值是总体均值的无偏估计

样本方差是总体方差的无偏估计(分母为

)

样本均值的方差为

。因此，10个样本和100个样本估计均值都是无偏的，但100个样本估计出来其估计值的方差更小，所以更有效：

部分推论与定理：

1、CLT：样本均值收敛于正态分布。

样本均值为一个随机变量，采样多次计算，获得多个样本值，这个值收敛于u=总体均值的正太分布

2、协方差为0：

cov(X1,X2)=0代表两变量不相关(没有线性关系)，但是不代表其独立。

(correlation does not imply causation)

3、Law of total expectation：

4、Gauss-Markov Theorem

假设：

，误差期望为0

，同方差

，不相关

则：

OLS estimator为BLUE(Best Linear unbiased estimator)

5、Cramer-Rao lower bound(CRLB)

通过variance下界来确定estimator是否是有效的。

6、 Resampling：

Bootstrap：Sampling with replacement from the original sample。[1]

Subsampling：No replacement，and resample size is smaller than the sample size[2]

如果用多个Resampling的mean来估计总体的mean，其实是estimate on estimate，不一定会更好。

当少量离群值的扰动对我们估计有很大的影响时，用Bootstrap可以缓解。[3]

即：这种方式可以降低我们estimate的 variance，但是可能会导致更大的bias。这就引申到bootstrap bias[4]的解决方式了。

[1]:其convergence:

"Unless one is reasonably sure that the underlying distribution is not [heavy tailed], one should hesitate to use the naive bootstrap".

[2]:subsampling leads to valid inference whereas bootstrapping does not

[3]:The basic idea is that if your estimator is very sensitive to perturbations in the data (i.e., the estimator has high variance and low bias), then you can average over lots of bootstrap samples to reduce the amount of overfitting particular examples.

[4]:

[5]:CV或者Bootstrapping的方式估计prediction error：https://stats.stackexchange.com/questions/18348/differences-between-cross-validation-and-bootstrapping-to-estimate-the-predictio