【系统辨识】深入浅出分析工具变量法

什么是工具变量法？

Instrumental variable methods

The method of instrumental variables (IV) is used to estimate causal relationships when controlled experiments are not feasible or when a treatment is not successfully delivered to every unit in a randomized experiment. Intuitively, IVs are used when an explanatory variable of interest is correlated with the error term, in which case ordinary least squares and ANOVA give biased results. A valid instrument induces changes in the explanatory variable but has no independent effect on the dependent variable, allowing a researcher to uncover the causal effect of the explanatory variable on the dependent variable.
——From Wikipedia

在随机实验中，当被控实验不可行或处理未能成功送达每个单元时，使用工具变量法(IV)估计因果关系。直观地说，当一个感兴趣的解释变量与误差项相关时，使用IVs，在这种情况下，普通最小二乘和方差分析给出偏倚结果。一个有效的工具变量会引起解释变量的变化，但对因变量没有独立的影响，这使得研究者能够发现解释变量变化的因果效应

Instrumental variable methods allow for consistent estimation when the explanatory variables (covariates) are correlated with the error terms in a regression model. Such correlation may occur 1) when changes in the dependent variable change the value of at least one of the covariates (“reverse” causation),
2) when there are omitted variables that affect both the dependent and independent variables, or
3) when the covariates are subject to non-random measurement error.
Explanatory variables which suffer from one or more of these issues in the context of a regression are sometimes referred to as endogenous. In this situation, ordinary least squares produces biased and inconsistent estimates.
However, if an instrument is available, consistent estimates may still be obtained. An instrument is a variable that does not itself belong in the explanatory equation but is correlated with the endogenous explanatory variables, conditional on the value of other covariates.

当解释变量(协变量)与回归模型中的误差项相关时，工具变量方法允许一致的估计。
1)当因变量的变化改变至少一个协变量的值时(“反向”因果关系)，
2)当有省略的变量同时影响因变量和自变量时
3)当协变量受到非随机测量误差的影响时。
其中一个或多个问题的解释变量回归的在这种情况下被称为内生的。在这种情况下，普通最小二乘产生偏置和不一致的估计。
但是，如果有可以使用工具变量法，仍然可以得到一致的估计值。工具变量法是一种本身不属于解释方程的变量，而是与内生解释变量有条件相关其他协变量的值。

The instrument must be correlated with the endogenous explanatory variables, conditionally on the other covariates. If this correlation is strong, then the instrument is said to have a strong first stage. A weak correlation may provide misleading inferences about parameter estimates and standard errors.
The instrument cannot be correlated with the error term in the explanatory equation, conditionally on the other covariates. In other words, the instrument cannot suffer from the same problem as the original predicting variable. If this condition is met, then the instrument is said to satisfy the exclusion restriction.

该工具必须与内生解释变量相关联，有条件地与其他协变量相关联。如果这种相关性很强，那么该工具的称为强第一阶段。弱相关可能会对参数估计和标准误差提供误导的推论。
工具变量不能与解释方程中的误差项相关，有条件地与其他协变量相关。换句话说，该工具不能出现与原始预测变量相同的问题。如果满足这个条件，那么这个工具就是满足的排除性限制的。

内容分析分析

问题产生的原因
多元线性回归模型，矩阵形式如下，我们假定解释变量fai，是非随机的，如果fai(t)随机，则与e(t)不相关，
cov(fai(t),e(t))=0,然而实际情况是，fai(t)和e(t)可能是相关的，这个时候，我们就出现了内生变量
问题产生的后果
这种情况下，cov(fai(t),e(t))~=0，出现不一致性，使得估计产生很大的偏差，F检验，t检验失去意义。
估计量的渐进无偏性
我们一般研究的是小样本容量，渐进理论就是当我们n变得很大的时候，序列会有怎么样的特性？
渐进无偏估计，也就是说可以通过增加样本容量，改善参数估计的精度。一致性即为渐进的情况下讨论的
工具变量法
下图为普通的LS方法对模型进行参数估计，只有当e(t)是white noise的时候，估计才是一致性的，
这里可以提出一个问题？工具变量法即为我们要获得方程的一致性条件。
就是当随机变量与随机误差相关时，寻找一个与随机解释变量高度相关，但与随机误差项不相关的变量，用该变量替代模型中的随机解释变量，进行模型的参数估计。我们称这一替代随机解释变量的变量为工具变量
满足的4个必要条件
第一，工具变量必须是有明确经济含义的外生变量；
第二，工具变量与其替代的随机解释变量高度相关，而又与随机误差项不相关；
第三，工具变量与模型中的其他解释变量也不相关，以免出现多重共线性；
第四，模型中的多个工具变量之间不相关。

我们现在开始构造，工具变量z(t)，z(t)和e(t)首先应该是不相关的，这个时候我们就可以理所当然的写出，使用我们工具变量之后的参数估计。

此时我们可以验证一下一致性条件，只要满足
1）z(t),fai(t)的协方差矩阵是满秩的，意味着我们的fai(t)一定要是阶数很高的，最好的选择就是随机白噪声序列，z(t)也要和fai(t)是强相关的，也就是和输出和输入是相关的。
2）z(t),e(t) 不相关
我们就可以满足一致性的条件了

这里就是ppt上对工具变量的理解了，一下是一些使用工具变量的例子，如何选取工具变量呢？
1）延迟输入，u(t-1)显然与之前的fai(t)

可以使用recursive method 获得误差

参考链接

An intuitive introduction to Instrumental Variables