UA MATH 571B 回归 QE练习题一元线性回归理论

2015/1/5
2015/5/5
2016/5/6
2017/1/5
2017/5/6

这是2015年1月第五题，2015年5月第五题，2016年5月第六题，2017年1月第五题，2017年5月第六题。QE methodology的理论题目范围就是一元线性回归的相关理论，具体可以参考UA MATH571A 一元线性回归I 模型设定与估计、UA MATH571A 一元线性回归II 统计推断1、UA MATH571A 一元线性回归II 统计推断2、UA MATH571A 一元线性回归III 方差分析与相关性分析

2015/1/5

注意这道题题干有错，Yˉ\bar{Y}Yˉ后面应该是减号。

Want to show E[b0]=β0E[b_0] = \beta_0E[b0]=β0. Let’s first analyze the origin of randomness in b0b_0b0. Define
ki=Xi−Xˉ∑i=1n(Xi−Xˉ)2k_i = \frac{X_i - \bar{X}}{\sum_{i=1}^n (X_i - \bar{X})^2}ki=∑i=1n(Xi−Xˉ)2Xi−Xˉ

so we can rewrite b0b_0b0 as
b0=Yˉ−Xˉ∑i=1nkiYi=∑i=1n(1n−kiXˉ)Yi=∑i=1n(1n−kiXˉ)(β0+β1Xi+ϵi)=β0∑i=1n(1n−kiXˉ)+β1∑i=1nXi(1n−kiXˉ)+∑i=1n(1n−kiXˉ)ϵib_0 = \bar{Y} - \bar{X}\sum_{i=1}^n k_i Y_i = \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) Y_i = \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) (\beta_0 + \beta_1 X_i + \epsilon_i) \\ = \beta_0 \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) + \beta_1 \sum_{i=1}^n X_i\left( \frac{1}{n} - k_i\bar{X} \right) + \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) \epsilon_ib0=Yˉ−Xˉi=1∑nkiYi=i=1∑n(n1−kiXˉ)Yi=i=1∑n(n1−kiXˉ)(β0+β1Xi+ϵi)=β0i=1∑n(n1−kiXˉ)+β1i=1∑nXi(n1−kiXˉ)+i=1∑n(n1−kiXˉ)ϵi

The first two terms are constant, and for the third term
E∑i=1n(1n−kiXˉ)ϵi=∑i=1n(1n−kiXˉ)Eϵi=∑i=1n(1n−kiXˉ)×0=0E \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) \epsilon_i = \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) E\epsilon_i = \sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) \times 0 = 0Ei=1∑n(n1−kiXˉ)ϵi=i=1∑n(n1−kiXˉ)Eϵi=i=1∑n(n1−kiXˉ)×0=0

Now simplify the first two terms.
∑i=1n(1n−kiXˉ)=∑i=1n1n−Xˉ∑i=1nki=1∑i=1nXi(1n−kiXˉ)=Xˉ−Xˉ∑i=1nkiXi=0\sum_{i=1}^n \left( \frac{1}{n} - k_i\bar{X} \right) = \sum_{i=1}^n \frac{1}{n} - \bar{X} \sum_{i=1}^n k_i = 1 \\ \sum_{i=1}^n X_i\left( \frac{1}{n} - k_i\bar{X} \right) = \bar{X} - \bar{X}\sum_{i=1}^n k_i X_i = 0i=1∑n(n1−kiXˉ)=i=1∑nn1−Xˉi=1∑nki=1i=1∑nXi(n1−kiXˉ)=Xˉ−Xˉi=1∑nkiXi=0

So E[b0]=β0E[b_0] = \beta_0E[b0]=β0.

注意kik_iki是一个非常常用的构造，它的求和有几个很重要的性质，可以参考上面的博文。

2015/5/5

暂时放弃这个题，两周后再做

2016/5/6

Part a
Define
ki=Xi∑i=1nXi2k_i = \frac{X_i}{\sum_{i=1}^n X_i^2}ki=∑i=1nXi2Xi

and we can rewrite b1b_1b1 as
b1=∑i=1nkiYib_1 = \sum_{i=1}^n k_i Y_ib1=i=1∑nkiYi

Let’s analyze the randomness of b1b_1b1, note that Yi=β1Xi+ϵiY_i= \beta_1X_i + \epsilon_iYi=β1Xi+ϵi,
b1=∑i=1nki(β1Xi+ϵi)=β1∑i=1nkiXi+∑i=1nkiϵib_1 = \sum_{i=1}^n k_i (\beta_1 X_i + \epsilon_i) = \beta_1 \sum_{i=1}^n k_i X_i + \sum_{i=1}^{n}k_i\epsilon_ib1=i=1∑nki(β1Xi+ϵi)=β1i=1∑nkiXi+i=1∑nkiϵi

Compute
∑i=1nkiXi=∑i=1nXi2∑j=1nXj2=1⇒b1=β1+∑i=1nkiϵi∼N(β1,σ2∑i=1nki2)\sum_{i=1}^n k_i X_i = \sum_{i=1}^n \frac{X_i^2}{\sum_{j=1}^n X_j^2} = 1 \\ \Rightarrow b_1 = \beta_1 + \sum_{i=1}^n k_i \epsilon_i \sim N(\beta_1,\sigma^2\sum_{i=1}^n k_i^2 )i=1∑nkiXi=i=1∑n∑j=1nXj2Xi2=1⇒b1=β1+i=1∑nkiϵi∼N(β1,σ2i=1∑nki2)

Compute
∑i=1nki2=∑i=1nXi2[∑j=1nXj2]2=1∑i=1nXi2⇒b1∼N(β1,σ2∑i=1nXi2)\sum_{i=1}^n k_i^2 = \sum_{i=1}^n \frac{X_i^2}{[\sum_{j=1}^n X_j^2]^2} = \frac{1}{\sum_{i=1}^n X_i^2} \Rightarrow b_1 \sim N(\beta_1,\frac{\sigma^2}{\sum_{i=1}^n X_i^2})i=1∑nki2=i=1∑n[∑j=1nXj2]2Xi2=∑i=1nXi21⇒b1∼N(β1,∑i=1nXi2σ2)

Part b
Y^h=∑i=1nkiYiXh\hat{Y}_h = \sum_{i=1}^n k_iY_iX_hY^h=i=1∑nkiYiXh

Part c
Var(Y^h)=σ2Xh2∑i=1nXi2Var(\hat{Y}_h) = \frac{\sigma^2X_h^2}{\sum_{i=1}^n X_i^2}Var(Y^h)=∑i=1nXi2σ2Xh2

2017/1/5

Part a
E[Y]=β0+β1ξ=0⇒ξ=−β0β1E[Y] = \beta_0 + \beta_1 \xi = 0 \Rightarrow \xi = -\frac{\beta_0}{\beta_1}E[Y]=β0+β1ξ=0⇒ξ=−β1β0

Part b
ξ^=−β^0β^1=−∑i=1n(1n−kiXˉ)Yi∑i=1nkiYi\hat{\xi} = -\frac{\hat{\beta}_0}{\hat\beta_1}= -\frac{\sum_{i=1}^n (\frac{1}{n} - k_i\bar{X})Y_i}{\sum_{i=1}^n k_iY_i}ξ^=−β^1β^0=−∑i=1nkiYi∑i=1n(n1−kiXˉ)Yi

where β^0\hat\beta_0β^0 and β^1\hat\beta_1β^1 are MLE of β0\beta_0β0 and β1\beta_1β1, and
ki=Xi−Xˉ∑i=1n(Xi−Xˉ)2k_i = \frac{X_i - \bar{X}}{\sum_{i=1}^n (X_i - \bar{X})^2}ki=∑i=1n(Xi−Xˉ)2Xi−Xˉ

Part c
Let ξ^=g(β^0,β^1)=−β^0β^1\hat{\xi} = g(\hat\beta_0,\hat\beta_1) =-\frac{\hat{\beta}_0}{\hat\beta_1}ξ^=g(β^0,β^1)=−β^1β^0. Notice E[β^0]=β0E[\hat{\beta}_0] = \beta_0E[β^0]=β0 and E[β^1]=β1E[\hat{\beta}_1] = \beta_1E[β^1]=β1 and compute
gβ^0′=−1β1,gβ^1′=β0β12g'_{\hat\beta_0} = -\frac{1}{\beta_1},\ \ g'_{\hat\beta_1} = \frac{\beta_0}{\beta_1^2}gβ^0′=−β11, gβ^1′=β12β0

(i)
E[ξ^]≈−β0β1+0+0=ξE[\hat\xi] \approx -\frac{\beta_0}{\beta_1} + 0 + 0= \xiE[ξ^]≈−β1β0+0+0=ξ

(ii)
Var(ξ^)≈σ2β12∑i=1n(Xi−Xˉ)2+σ2β02β14(1n+Xˉ2∑i=1n(Xi−Xˉ)2)−2β0β13Cov(β^0,β^1)Var(\hat\xi) \approx \frac{\sigma^2}{\beta_1^2\sum_{i=1}^n (X_i-\bar{X})^2} + \sigma^2\frac{\beta_0^2}{\beta_1^4}(\frac{1}{n} + \frac{\bar{X}^2}{\sum_{i=1}^n (X_i-\bar{X})^2}) - \\ \frac{2\beta_0}{\beta_1^3}Cov(\hat\beta_0,\hat\beta_1)Var(ξ^)≈β12∑i=1n(Xi−Xˉ)2σ2+σ2β14β02(n1+∑i=1n(Xi−Xˉ)2Xˉ2)−β132β0Cov(β^0,β^1)

Compute
Cov(β^0,β^1)=Cov(β0+∑i=1n(1/n−kiXˉ)Yi,β1+∑i=1nkiYi)=(1n∑i=1nki−Xˉ∑i=1nki2)σ2=−Xˉσ2∑i=1n(Xi−Xˉ)2Cov(\hat\beta_0,\hat\beta_1) = Cov(\beta_0 + \sum_{i=1}^n (1/n - k_i\bar{X})Y_i,\beta_1 + \sum_{i=1}^n k_i Y_i) \\ = (\frac{1}{n}\sum_{i=1}^n k_i - \bar{X}\sum_{i=1}^n k_i^2)\sigma^2 = -\frac{\bar{X}\sigma^2}{\sum_{i=1}^n (X_i - \bar{X})^2}Cov(β^0,β^1)=Cov(β0+i=1∑n(1/n−kiXˉ)Yi,β1+i=1∑nkiYi)=(n1i=1∑nki−Xˉi=1∑nki2)σ2=−∑i=1n(Xi−Xˉ)2Xˉσ2

2017/5/6

注意！这道题用相关结论就非常简单，可以口算写出答案，但标准答案是从头开始推的，LS估计的分布要自己推！
Part a
E[Y]=1+β1ξ=0⇒ξ=−1β1ξ^=g(β1^)≜−1β^1=−1∑i=1nkiYiE[Y] = 1 + \beta_1 \xi = 0 \Rightarrow \xi = -\frac{1}{\beta_1} \\ \hat{\xi} = g(\hat{\beta_1}) \triangleq -\frac{1}{\hat\beta_1} = -\frac{1}{\sum_{i=1}^n k_iY_i}E[Y]=1+β1ξ=0⇒ξ=−β11ξ^=g(β1^)≜−β^11=−∑i=1nkiYi1

Part b
E[ξ^]≈−1β1=ξE[\hat\xi] \approx -\frac{1}{\beta_1} = \xiE[ξ^]≈−β11=ξ

Part c
E[ξ^]=ξ+σ2ξ3∑i=1n(Xi−Xˉ)E[\hat\xi] = \xi + \frac{\sigma^2\xi^3}{\sum_{i=1}^n (X_i-\bar{X})}E[ξ^]=ξ+∑i=1n(Xi−Xˉ)σ2ξ3

UA MATH 571B 回归 QE练习题一元线性回归理论相关推荐

UA MATH 571B Tukey‘s Test for Non-additivity
UA MATH 571B Tukey's Test for Non-additivity 实现上面这个方法的例子: data wash; input stain soap y @@; cards; 1 ...
UA MATH564 概率不等式 QE练习题
UA MATH564 概率不等式 QE练习题 2018年5月第三题 2018年5月第三题 Part a If x<tx<tx<t, 1[t,+∞)(x)=01_{[t,+\infty ...
UA MATH564 概率论 QE练习题概率极限理论
UA MATH564 概率论 QE练习题概率极限理论 2015/5/3 2016/1/3 这是2015年5月的3题.2016年1月的3题 2015/5/3 这个题干有点意思,有一列随机变量但并不是互 ...
用python实现一元线性回归方法与区间估计
一元线性回归方法本文参考浙大<概率论与数理统计>第四版使用python进行实现一元线性回归分析方法,在文末会介绍一个应用实例,有关详细理论可参见书藉,或者参考百度文库下该章对应课件: 浙 ...
数学建模——一元线性回归
文章目录一.理论部分 1.什么是一元线性回归 ? 2.一元线性回归模型与基本假设 ? 3.怎么求出得到回归函数的估计 ? 二.手动实现一元线性回归三.使用Python的statsmodels pa ...
一元线性回归，代价函数，相关系数/决定系数
回归最早由英国科学家弗朗西斯高尔顿提出,生物学家,他发现一个现象,虽然有一个趋势"父母高,儿女也高:父母矮,儿女也矮",但给定父母的身高,儿女的身高却趋向于(回归于)全体人口的平 ...
计量经济学复习笔记（一）：一元线性回归(上)
计量经济学复习笔记(一):一元线性回归(上) 在本文中,我们将对回归的基本概念作出解释,介绍相关分析与因果分析之间的差异:辨析总体回归函数.总体回归模型.样本回归函数.样本回归模型之间的关系,了解我们 ...
机器学习初探：（二）线性回归之一元线性回归
(二)一元线性回归文章目录 (二)一元线性回归一元线性回归(Univariate Linear Regression) 模型形式和基本假设损失函数(Cost Function) 梯度下降(Gra ...
【统计学笔记】第十一章一元线性回归
方差分析表和回归分析表的解读各种统计量检验的决策准则各种假设检验的假设的建立第十一章一元线性回归 11.1 变量间的关系的度量 11.1.1 变量间的关系函数关系:设有两个x和y,y随x一起 ...

UA MATH 571B 回归 QE练习题一元线性回归理论

UA MATH 571B 回归 QE练习题一元线性回归理论

2015/1/5

2015/5/5

2016/5/6

2017/1/5

2017/5/6

UA MATH 571B 回归 QE练习题一元线性回归理论相关推荐

最新文章

热门文章

UA MATH 571B 回归 QE练习题 一元线性回归理论

UA MATH 571B 回归 QE练习题 一元线性回归理论

2015/1/5

2015/5/5

2016/5/6

2017/1/5

2017/5/6

UA MATH 571B 回归 QE练习题 一元线性回归理论相关推荐

最新文章

热门文章

UA MATH 571B 回归 QE练习题一元线性回归理论

UA MATH 571B 回归 QE练习题一元线性回归理论

UA MATH 571B 回归 QE练习题一元线性回归理论相关推荐