工具变量估计与两阶段最小二乘法–潘登同学的计量经济学笔记
文章目录
工具变量估计与两阶段最小二乘法--潘登同学的计量经济学笔记工具变量估计IV估计量IV估计法做统计推断举个例子估计已婚女性的教育回报估计对男性的教育回报二值工具变量弱工具问题IV中的R2R^2R2多元回归模型的IV估计举个例子两阶段最小二乘职业女性的教育回报的例子多个内生解释变量内生性检验职业女性的教育回报的例子过度识别约束检验职业女性的教育回报的例子将2SLS应用于面板数据本篇着重解决内生解释变量问题，内生性就是模型中一个或者多个解释变量与随机扰动项相关；内生性产生的原因有遗漏变量，且遗漏变量与模型中的其他解释变量相关；解释变量与被解释变量相互作用，相互影响，互为因果；自我选择偏误；样本选择偏误；
工具变量估计
举个最简单的例子，经济学里基本的供求模型告诉我们，供给曲线（p = a + bq）和需求曲线（p = c - dq）共同决定了价格（p）和交易量（q）。然而现实中我们能够观察到的，只是一组均衡时的 p 和 q，基于这个数据，我们用回归只能得到斜率和截距两个参数的估计值。但供给曲线和需求曲线里一共有四个参数（a b c d）。此时，通过回归这种 “简约式（reduced form）” 估计得到的参数，无助于我们得知 “结构式（structural form）” 模型中的 “深层参数（deep parameter）”。我们的系统里的p和q都是内生变量，所以才会出现无法识别的情况。怎么解决这个问题呢？经典的办法是，假定存在着某个不影响需求，只影响供给（或者反过来）的外生变量。比如在渔业中，海上的坏天气很可能阻碍渔船出海，形成一个供给侧的冲击，但应该不会改变人们对海产品的需求。根据天气的变化，我们就有可能估计出全部的四个参数。事实上，这也是 “工具变量（instrumental variable）” 这一估计方法的起源。
面对可能发生的遗漏变量偏误(或无法观察的异方差性)，我们已经讨论的三种解决方案
忽略此问题，得到有偏而不一致的估计量；我们尝试为无法观测的变量寻找一个适宜的代理变量；我们假定遗漏变量不随时间变化，运用一阶固定效应或一阶差分法
教育工资模型
log(wage)=β0+β1educ+β2abil+e\log(wage) = \beta_0 + \beta_1 educ + \beta_2 abil + e log(wage)=β0+β1educ+β2abil+e
如果找不到合适的代理变量去代替能力(abil),那么就只能把abil放进误差项里面；此时，若educ与abil相关，那么用OLS得到的估计量就会是有偏而不一致的；
一般起见，将abil放进误差项中，重新一般化上述模型
y=β0+β1x+uy = \beta_0 + \beta_1 x + u y=β0+β1x+u
若x与u相关，我们可以找一个工具变量z，该变量满足
Cov(z,u)=0(1)Cov(z,x)≠0(2)Cov(z,u) = 0 \qquad (1)\\ Cov(z,x) \neq 0 \qquad (2)\\ Cov(z,u)=0(1)Cov(z,x)=0(2)
一般地，人们将满足上述条件的z概括为“z在方程中是外生的”
条件(1)(1)(1)往往无法检验
条件(2)(2)(2)则可以构造简单回归，检验系数是否为零
x=π0+π1z+vx = \pi_0 + \pi_1 z + v x=π0+π1z+v
工具变量选择举例
在选择工具变量时，处理关注π1^\hat{\pi_1}π1^的显著性，更要注意他的符号，显著为正的相关关系更有说服力，显著为负的不一定好(但是解释的好也能用)，除了显著性更重要的是经济学逻辑；
IV估计量
我们改写上述方程
Cov(z,y)=β1Cov(z,x)+Cov(z,u)Cov(z,y) = \beta_1 Cov(z,x) + Cov(z,u) Cov(z,y)=β1Cov(z,x)+Cov(z,u)
将分子分母的样本容量约去后，得到β1\beta_1β1的工具变量估计量
β^1=∑i=1n(zi−zˉ)(yi−yˉ)∑i=1n(zi−zˉ)(xi−xˉ)\hat{\beta}_1 = \frac{\sum_{i=1}^n(z_i-\bar{z})(y_i-\bar{y})}{\sum_{i=1}^n(z_i-\bar{z})(x_i-\bar{x})} β^1=∑i=1n(zi−zˉ)(xi−xˉ)∑i=1n(zi−zˉ)(yi−yˉ)
特别地，当x=zx=zx=z时，我们得到的OLS估计量；若满足(1)(2)(1)(2)(1)(2)的假定，β1\beta_1β1的IV估计量具有一致性,plim(β^1)=β1plim(\hat{\beta}_1) = \beta_1plim(β^1)=β1
注意无论是OLS还是IV都只是一种估计方法，一个模型就是一个方程，至于用什么去估计模型参数可以是不同的，所以在论述的时候不能说‘我估计了一个IV模型’，只能说‘我采用IV方法来估计模型’；
IV估计法做统计推断
与OLS一致，增加一个同方差假定
E(u2∣z)=σ2(3)E(u^2|z) = \sigma^2 \qquad (3) E(u2∣z)=σ2(3)
可以证明，满足三条假定的情况下，β^1\hat{\beta}_1β^1的渐近方差为
σ2nσx2ρx,z2\frac{\sigma^2}{n\sigma^2_x\rho_{x,z}^2} nσx2ρx,z2σ2
其中，
σx2\sigma^2_xσx2是x的总体方差，可以根据样本中的x计算得出；σ2\sigma^2σ2是u的总体方差，可以用回归得到的残差进行估计；ρx,z2\rho_{x,z}^2ρx,z2是x与z之总体相关系数的平方，可以做x对z的回归得到R2R^2R2；与OLS估计量一样，IV估计量的渐近方差以1n\frac{1}{n}n1的速度降至0；
β1^\hat{\beta_1}β1^的渐近标准误则可以写成(是上式的估计渐近方差的平方根)
σ2^SSTxR˙x,z2\sqrt{\frac{\hat{\sigma^2}}{SST_x \dot R^2_{x,z}}} SSTxR˙x,z2σ2^
对比OLS的方差σ2SSTx\frac{\sigma^2}{SST_x}SSTxσ2,IV估计量的方差σ2SSTxR˙x,z2\frac{\sigma^2}{SST_x \dot R^2_{x,z}}SSTxR˙x,z2σ2,区别就在Rx,z2R^2_{x,z}Rx,z2上，由于Rx,z2R^2_{x,z}Rx,z2总是小于1,所以这个IV的方差总是大于OLS的方差；若x与z只是轻度相关，则Rx,z2R^2_{x,z}Rx,z2便很小，而这将转化为IV估计量的一个非常大的抽样方差，而这个值越大，IV估计量的方差就越小，在z=xz=xz=x时，Rx,z2=1R^2_{x,z}=1Rx,z2=1很自然地转化为了OLS的方差；
举个例子
估计已婚女性的教育回报
估计对男性的教育回报
二值工具变量
弱工具问题
当工具变量违背了Cov(z,u)=0Cov(z,u) = 0Cov(z,u)=0，会造成严重的偏误
plimβ^1,IV=β1+Corr(z,u)Corr(z,x)⋅σuσxplim \hat{\beta}_{1,IV} = \beta_1 + \frac{Corr(z,u)}{Corr(z,x)} \cdot \frac{\sigma_u}{\sigma_x} plimβ^1,IV=β1+Corr(z,x)Corr(z,u)⋅σxσu
而当Cov(z,x)Cov(z,x)Cov(z,x)趋近于零的时候，更会加重这种偏误，而当工具违背了Cov(z,x)≠0Cov(z,x) \neq 0Cov(z,x)=0则会导致奇怪的结论； 下面是一个违背了假设(2)(2)(2)的例子
IV中的R2R^2R2
R2=1−SSRSSTR^2 = 1-\frac{SSR}{SST} R2=1−SSTSSR
其中SSRSSRSSR是残差平方和，而SSTSSTSST是y的总平方和，与OLS不同，由于IV的SSR实际上可能大于SST,所以IV的估计中R2R^2R2可能为负。这个R2R^2R2不能用于F检验，如果我们只是想最大R2R^2R2的话，我们倾向于使用OLS； 说白了IV的R2R^2R2就是没啥用.
多元回归模型的IV估计
考虑包含两个解释变量的标准线性模型
y1=β0+β1y2+β2z1+uy_1 = \beta_0 + \beta_1 y_2 + \beta_2z_1 + u y1=β0+β1y2+β2z1+u
称这个方程为结构方程，我们关注的是βj\beta_jβj，做如下规定：
y1y_1y1显然是内生变量z1z_1z1是外生变量y2y_2y2是内生变量，与u中的遗漏变量相关
我们可以寻找y2y_2y2的一个工具变量z2z_2z2，这个工具变量除了要满足
Cov(z2,u)=0(4)Cov(z2,y)≠0(5)Cov(z_2,u) = 0 \quad (4)\\ Cov(z_2,y) \neq 0 \quad (5)\\ Cov(z2,u)=0(4)Cov(z2,y)=0(5)
但是对于(5)(5)(5)的判断不能像之前一样只建立一元回归来判断，而是要考虑偏相关
y2=π0+π1z1+π2z2+v(∗)y_2 = \pi_0 + \pi_1z_1 + \pi_2 z_2 + v \qquad (*) y2=π0+π1z1+π2z2+v(∗)
其中，根据前提假设
E(v)=0,Cov(z1,v2)=0,Cov(z2,v2)=0E(v) = 0, Cov(z_1,v_2) = 0, Cov(z_2,v_2) = 0 E(v)=0,Cov(z1,v2)=0,Cov(z2,v2)=0
而要检验的假设是(我们希望的拒绝他，这样z2z_2z2就是y2y_2y2的工具变量)
π2=0\pi_2 = 0 π2=0
还是那句话，虽然能得到相关，但是我们无法检验z2z_2z2与u无关，这需要经济学逻辑；
其中(∗)(*)(∗)是简约型方程的一个例子，他意味着我们是用外生变量来表示内生变量，这个名称源于联立方程模型； 将其更一般化，我们可以在模型中添加更多外生解释变量:
y1=β0+β1y2+β2z1+…+βkzk−1+uy_1 = \beta_0 + \beta_1 y_2 + \beta_2z_1 + \ldots + \beta_kz_{k-1} + u y1=β0+β1y2+β2z1+…+βkzk−1+u
找一个y2y_2y2的工具变量zkz_kzk,我们做以下假定
E(u)=0,Cov(zj,u)=0,j=1,…,kE(u) = 0, Cov(z_j,u) = 0, j=1,\ldots,k E(u)=0,Cov(zj,u)=0,j=1,…,k
虽然表面上说y2y_2y2的工具变量是zkz_kzk，但实际上,z1,…,zkz_1,\ldots,z_kz1,…,zk都可以是y2y_2y2的工具变量，为了检验zkz_kzk，y2y_2y2的简约模型为
y2=π0+π1z1+…+πk−1zk−1+πkzk+vy_2 = \pi_0 + \pi_1z_1 + \ldots + \pi_{k-1} z_{k-1} + \pi_kz_k + v y2=π0+π1z1+…+πk−1zk−1+πkzk+v
检验的假设是(我们希望的拒绝他，这样zkz_kzk就是y2y_2y2的工具变量)
πk=0\pi_k = 0 πk=0
举个例子
用邻近大学作为教育的IV两阶段最小二乘
两阶段最小二乘的核心思路是： y的工具变量不止有一个，可能有很多个；
考虑以下模型
y1=β0+β1y2+β2z1+uy_1 = \beta_0 + \beta_1 y_2 + \beta_2z_1 + u y1=β0+β1y2+β2z1+u
y2y_2y2是内生变量；z1z_1z1是外生变量；z2、z3z_2、z_3z2、z3是被方程排除在外的外生变量； 为了寻找最好的IV，由y2y_2y2的简约型方程
y2=π0+π1z1+π2z2+π3z3+vy_2 = \pi_0 + \pi_1z_1 + \pi_2 z_2 + \pi_3 z_3 + v y2=π0+π1z1+π2z2+π3z3+v
其中，满足前提假定
E(v2)=0,Cov(z1,v)=0,Cov(z2,v)=0,Cov(z3,v)=0E(v_2) = 0, Cov(z_1,v)=0,Cov(z_2,v)=0,Cov(z_3,v)=0 E(v2)=0,Cov(z1,v)=0,Cov(z2,v)=0,Cov(z3,v)=0y2y_2y2最好的IV，应该是这些zjz_jzj的线性组合，我们称之为y2∗y_2^*y2∗
y2∗=π0+π1z1+π2z2+π3z3(6)y_2^* = \pi_0 + \pi_1 z_1 + \pi_2 z_2 + \pi_3 z_3 \qquad (6) y2∗=π0+π1z1+π2z2+π3z3(6)为了使该IV与z1z_1z1不是完全相关的，我们需要π2或π3\pi_2或\pi_3π2或π3之中至少有一个不为0；
π2≠0或π3≠0\pi_2 \neq 0 或 \pi_3 \neq 0 π2=0或π3=0
采取F检验，原价设为
π2=0且π3=0\pi_2 = 0 且 \pi_3 = 0 π2=0且π3=0利用样本，我们将y2y_2y2对z1,z2,z3z_1,z_2,z_3z1,z2,z3进行回归
y^2=π0^+π1^z1+π2^z2+π3^z3\hat{y}_2 = \hat{\pi_0} + \hat{\pi_1} z_1 + \hat{\pi_2} z_2 + \hat{\pi_3} z_3 y^2=π0^+π1^z1+π2^z2+π3^z3得到y^2\hat{y}_2y^2，就可以当作y2y_2y2的IV，带回原方程，得到IV估计量；在此方法下，得到的IV估计量也称为两阶段最小二乘估计量；
经济学家喜欢这样解释两阶段最小二乘，拟合值y^2\hat{y}_2y^2是y2∗y_2^*y2∗的估计形式，y2∗y_2^*y2∗与u不相关，因此，2SLS在做OLS回归前“清除了”y2y_2y2中与u的相关性；
职业女性的教育回报的例子
多个内生解释变量
如果模型有不止一个内生解释变量，假设为y2,y3y_2,y_3y2,y3，我们至少需要两个外生变量，如z4,z5z_4,z_5z4,z5,但是如果只有一个外生变量z4z_4z4出现在y2,y3y_2,y_3y2,y3约简型方程中，而z5z_5z5没有出现，那么得到的βj\beta_jβj就是有偏的；
总结需要的条件
阶条件：被排斥的外生变量 ≥\geq≥ 结构方程中的内生变量
内生性检验
当解释变量外生时，2SLS估计量的有效性不如OLS；2SLS估计值的标准误较大；
考虑一个疑似有内生变量的模型
y1=β0+β1y2+β2z1+β3z2+uy_1 = \beta_0 + \beta_1 y_2 + \beta_2 z_1 + \beta_3 z_2 + u y1=β0+β1y2+β2z1+β3z2+u
其中，
z1,z2z_1,z_2z1,z2是外生的，z3,z4z_3,z_4z3,z4是被排斥的外生变量；
y2y_2y2可能是内生的；
豪斯曼认为，可以直接比较OLS与2SLS的估计值是否有显著性区别，因为如果变量是外生的，那么估计值应该一致
但利用回归能更好的检验，要以y2y_2y2的简约型为基础
y2=π0+π1z1+π2z2+π3z3+π4z4+vy_2 = \pi_0 + \pi_1 z_1 + \pi_2 z_2 + \pi_3 z_3 +\pi_4 z_4 + v y2=π0+π1z1+π2z2+π3z3+π4z4+v
因为各个zj与uz_j与uzj与u不相关的充要条件是v与uv与uv与u不相关(我理解的是，用外生变量替代的工具变量y2y_2y2应该要与u不相关，而这个工具变量一定与v相关，所以要求v与u不相关才行)
我们需要检验的就是u=δ1v+eu = \delta_1 v + eu=δ1v+e，其中e与ve与ve与v不相关，v与uv与uv与u不相关的充要条件是δ1=0\delta_1 = 0δ1=0,而检验这一点最简单的就是直接将v加入方程,而v^\hat{v}v^则是通过OLS估计得到
y1=β0+β1y2+β2z1+β3z2+δ1v^+ey_1 = \beta_0 + \beta_1 y_2 + \beta_2 z_1 + \beta_3 z_2 + \delta_1 \hat{v} + e y1=β0+β1y2+β2z1+β3z2+δ1v^+e
如果拒绝了原价设δ1=0\delta_1 = 0δ1=0,那么可以断定y2y_2y2是内生的；
总结 --检验单个解释变量内生性
通过将y2y_2y2对所有外生变量回归(包括结构方程中的外生变量和额外的IV)回归而估计y3y_3y3的约简方程，得到残差v^\hat{v}v^在(包括y2y_2y2的)结构方程中添加v^\hat{v}v^,并用一个OLS回归检验v^\hat{v}v^的显著性，若v^\hat{v}v^的系数显著异于零，就判断y2y_2y2确实是内生的。我们可能需要用到一个异方差-稳健的t统计量；
职业女性的教育回报的例子
过度识别约束检验
前面我们对外生工具变量做了两个假定：
Cov(z,u)=0(1)Cov(z,x)≠0(2)Cov(z,u) = 0 \qquad (1)\\ Cov(z,x) \neq 0 \qquad (2)\\ Cov(z,u)=0(1)Cov(z,x)=0(2)
我们说(2)(2)(2)是可以检验的，但是(1)(1)(1)不能检验，需要基于经济学逻辑，然而如果不止有一个工具变量(或者工具变量数大于内生解释变量)，那么我们就能有效地检验他们中的一部分是否与结构误差不相关；
假如内生变量y2y_2y2有两个工具变量z3和z4z_3和z_4z3和z4的条件下，我们可以选择同时用两个工具变量作为y2y_2y2的IV估计；
我们也可以仅用z3z_3z3来作为y2y_2y2的估计，得到β1\beta_1β1的IV估计量，记为β˘1\breve{\beta}_1β˘1;仅用z4z_4z4来作为y2y_2y2的估计，得到β1\beta_1β1的IV估计量，记为β~1\tilde{\beta}_1β~1;如果所有zzz都是外生的，那么β˘1与β~1\breve{\beta}_1与\tilde{\beta}_1β˘1与β~1都是β1\beta_1β1的一致估计量；
总结 --过度识别约束检验
用2SLS法估计结构方程，获得2SLS残差u^\hat{u}u^;将u^\hat{u}u^对所有外生变量回归，获得R2R^2R2,即R12R^2_1R12;在所有IV都与u不相关的原假设下，nR12∼Xq2nR^2_1 \sim \Chi_q^2nR12∼Xq2,其中，q是模型之外的工具变量数目减去内生解释变量的总数目。如果nR2nR^2nR2超过了Xq2\Chi_q^2Xq2分布中的临界值(如5%)，我们拒绝H0H_0H0,并推断出至少部分IV不是外生的；
