OLSのロバスト標準誤差

OLSのロバスト標準誤差#

単回帰モデルの場合#

$n$ 個の観測値による単回帰モデルを想定する。

Y_{i} = α + β X_{i} + u_{i}, i = 1, 2, \dots, n

推定量#

\begin{array}{r} {\begin{cases} \sum {\hat{u}}_{i} = \sum (Y_{i} - \hat{α} - \hat{β} X_{i}) = 0 \\ \sum {\hat{u}}_{i} X_{i} = \sum (Y_{i} - \hat{α} - \hat{β} X_{i}) X_{i} = 0 \end{cases} \Rightarrow \hat{α} = \bar{Y} - \hat{β} \bar{X}, \hat{β} = \frac{S_{X Y}}{S_{X X}} \end{array}

ここで、

S_{X X} = \sum (X_{i} - \bar{X}) X_{i}, S_{X Y} = \sum (X_{i} - \bar{X}) Y_{i}

であるため、 $\hat{β}$ の式に代入すると

\hat{β} = \frac{S_{X Y}}{S_{X X}} = \frac{\sum (X_{i} - \bar{X}) Y_{i}}{S_{X X}} = \sum (\frac{X_{i} - \bar{X}}{S_{X X}}) Y_{i} = \sum w_{i} Y_{i}, w_{i} = \frac{X_{i} - \bar{X}}{S_{X X}}

となり、OLS推定量 $\hat{β}$ は $w_{i}$ という重みによる $Y_{i}$ の線形和の形になっている

推定量の誤差#

\begin{array}{r} \begin{aligned} \hat{β} = \sum w_{i} Y_{i} = \sum w_{i} (α + β X_{i} + u_{i}) & = α \underset{= 0}{\underset{⏟}{\sum w_{i}}} + β \underset{= 1}{\underset{⏟}{\sum w_{i} X_{i}}} + \sum w_{i} u_{i} \\ = β + \sum w_{i} u_{i} \end{aligned} \end{array}

と、 $\hat{β}$ は真値 $β$ の周りを誤差の加重和 $\sum w_{i} u_{i}$ の分だけばらつく確率変数であり、一般に $\hat{β} \neq β$ であることがわかる。

誤差項 $u_{i}$ の仮定により、推定誤差の期待値はゼロになる

E (\sum_{i = 1}^{n} w_{i} u_{i}) = \sum_{i = 1}^{n} w_{i} \underset{= 0}{\underset{⏟}{E (u_{i})}} = 0

古典的線形回帰モデルの場合#

古典的な線形回帰モデルの仮定のうち、

母分散が均一： $Var (u_{i}) = E (u_{i}^{2}) = σ^{2}$

というものが関わってくる

推定量の分散#

Var (\sum_{i = 1}^{n} w_{i} u_{i}) = \sum_{i = 1}^{n} w_{i}^{2} Var (u_{i}) = σ^{2} \sum_{i = 1}^{n} w_{i}^{2} = \frac{σ^{2}}{S_{X X}}

最後の等式は $\sum_{i = 1}^{n} w_{i}^{2} = \frac{1}{S_{X X}}$ を利用している

よって

E (\hat{β}) = β, Var (\hat{β}) = \frac{σ^{2}}{S_{X X}} = \frac{σ^{2}}{\sum (X_{i} - \bar{X})^{2}} = \frac{σ^{2}}{(n - 1) s_{X}^{2}}

$s_{X}^{2}$ は $X$ の標本分散。サンプル数 $n$ が大きいほど $Var (\hat{β})$ は減少する

条件付き分散#

\begin{array}{r} \begin{aligned} Var (\hat{β} ∣ X_{1}, X_{2}, \dots, X_{n}) & = \frac{1}{S_{X X}^{2}} \sum {(X_{i} - \bar{X})}^{2} σ^{2} \\ = \frac{σ^{2}}{S_{X X}^{2}} \underset{= S_{X X}}{\underset{⏟}{\sum (X_{i} - \bar{X})^{2}}} \\ = \frac{σ^{2}}{S_{X X}} \end{aligned} \end{array}

不均一分散#

Var (u_{i}) = E (u_{i}^{2}) = σ_{i}^{2}

条件付き分散#

不均一分散のもとで、OLS推定量の条件付き分散は

Var (\hat{β} ∣ X_{1}, X_{2}, \dots, X_{n}) = \frac{1}{S_{X X}^{2}} \sum {(X_{i} - \bar{X})}^{2} σ_{i}^{2}

と、均一分散の場合より複雑になる

漸近分散#

OLSは漸近正規推定量になる

\hat{β} \overset{a}{\sim} N (β, Avar (\hat{β})), Avar (\hat{β}) = \frac{1}{n σ_{X}^{4}} E [{(X_{i} - μ_{X})}^{2} σ_{i}^{2}]

$Avar (\hat{β})$ は未知の $σ_{i}^{2}$ を含んでいるので、何らかの方法で推定する

Whiteの標準誤差#

よく使われる推定量は、ホワイトの頑健な分散推定量

V = \frac{1}{n s_{X}^{4}} \cdot \frac{1}{n} \sum {(X_{i} - \bar{X})}^{2} {\hat{u}}_{i}^{2} = \frac{1}{n^{2} s_{X}^{4}} \sum {(X_{i} - \bar{X})}^{2} {\hat{u}}_{i}^{2}

その平方根はホワイトの標準誤差として知られる

s.e. (\hat{β}) = \sqrt{V} = \frac{1}{n s_{X}^{2}} \sqrt{\sum {(X_{i} - \bar{X})}^{2} {\hat{u}}_{i}^{2}}

重回帰モデルの場合#

$n \in N$ 個の観測値があるとし、目的変数 $Y \in R^{n}$ 、説明変数 $X \in R^{n \times m}$ 、誤差項 $u \in R^{n}$ について

Y = X β + u

という線形モデルを考える

推定量の誤差#

OLS推定量

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

を真値+αの形式にすると、

\begin{array}{r} \begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + u) \\ = \underset{= I}{\underset{⏟}{(X^{T} X)^{- 1} X^{T} X}} β + (X^{T} X)^{- 1} X^{T} u \\ = β + (X^{T} X)^{- 1} X^{T} u \\ = β + {(\frac{1}{n} X^{T} X)}^{- 1} \frac{1}{n} X^{T} u \end{aligned} \end{array}

と表すことができる。

推定量の一致性#

線形回帰モデルの外生性の仮定 $E (X_{i} u_{i}) = 0$ が満たされるなら、

\frac{1}{n} X^{T} u = \frac{1}{n} \sum_{i = 1}^{n} X_{i} u_{i} \overset{p}{\to} E (X_{i} u_{i}) = 0

であるから、誤差の項 $(X^{T} X)^{- 1} X^{T} u$ は消失する

漸近正規性#

OLS推定量

\hat{β} = β + {(\frac{1}{N} X^{T} X)}^{- 1} \frac{1}{N} X^{T} u

を整理して以下の形にする

\sqrt{N} (\hat{β} - β) = {(\frac{1}{N} X^{T} X)}^{- 1} \frac{1}{\sqrt{N}} X^{T} u

$\frac{1}{\sqrt{N}} X^{T} u$ は $\frac{1}{\sqrt{N}} \sum_{i = 1}^{N} X_{i} u_{i}$ と書くことができる。OLSの仮定より

\begin{array}{r} \begin{aligned} E (X_{i} u_{i}) & = 0 \\ V a r (X_{i} u_{i}) & = E (u^{2} X_{i} X_{i}^{T}) \end{aligned} \end{array}

なので、中心極限定理により

\frac{1}{\sqrt{N}} X^{T} u = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} X_{i} u_{i} \overset{d}{⟶} N (0, E (u_{i}^{2} X_{i} X_{i}^{T}))

となる。

一致性のときに導出した

\frac{1}{N} X^{T} X \overset{p}{⟶} E (X_{i} X_{i}^{T})

を使うと、スルツキーの定理を用いて

\begin{array}{r} \begin{aligned} \sqrt{N} (\hat{β} - β) & = {(\frac{1}{N} X^{T} X)}^{- 1} \frac{1}{\sqrt{N}} X^{T} u \overset{d}{⟶} {(E (X_{i} X_{i}^{T}))}^{- 1} \times N (0, E (u_{i}^{2} X_{i} X_{i}^{T})) \\ = N (0, {(E (X_{i} X_{i}^{T}))}^{- 1} E (u_{i}^{2} X_{i} X_{i}^{T}) {(E (X_{i} X_{i}^{T}))}^{- 1}) \\ = N (0, V) \end{aligned} \end{array}

となる。

$V$ は以下のように一致推定できる

\begin{array}{r} \begin{aligned} {\hat{V}}_{HC 0} & = {[\frac{1}{N} \sum_{i = 1}^{N} X_{i} X_{i}^{T}]}^{- 1} \frac{1}{N} \sum_{i = 1}^{N} {\hat{u}}_{i}^{2} X_{i} X_{i}^{T} {[\frac{1}{N} \sum_{i = 1}^{N} X_{i} X_{i}^{T}]}^{- 1} \\ = {(\frac{1}{N} X^{T} X)}^{- 1} \frac{1}{N} X^{T} diag [{\hat{u}}_{i}^{2}] X {(\frac{1}{N} X^{T} X)}^{- 1} \end{aligned} \end{array}

ただし、 $diag [{\hat{u}}_{i}^{2}]$ は対角要素に ${\hat{u}}_{1}^{2}, \dots, {\hat{u}}_{N}^{2}$ を並べた対角行列である。これはHC0と呼ばれるタイプの誤差分散の推定量である

漸近分散の推定量#

{estimatr}パッケージでの呼び名	分散の推定量 $\hat{V} [\hat{β}]$	notes
`"classical"`	$\frac{e^{⊤} e}{n - m} (X^{⊤} X)^{- 1}$
`"HC0"`	$(X^{⊤} X)^{- 1} X^{⊤} diag [e_{i}^{2}] X (X^{⊤} X)^{- 1}$
`"HC1"`, `"stata"`	$\frac{n}{n - m} (X^{⊤} X)^{- 1} X^{⊤} diag [e_{i}^{2}] X (X^{⊤} X)^{- 1}$	Eicker-Huber-Whiteの分散推定量などと呼ばれる
`"HC2"` (default)	$(X^{⊤} X)^{- 1} X^{⊤} diag [\frac{e_{i}^{2}}{1 - h_{i i}}] X (X^{⊤} X)^{- 1}$
`"HC3"`	$(X^{⊤} X)^{- 1} X ⊤ diag [\frac{e_{i}^{2}}{(1 - h_{i i})^{2}}] X (X^{⊤} X)^{- 1}$

$h_{i i} = X_{i} (X^{T} X)^{- 1} X_{i}^{T}$
$e_{i} = Y_{i} - X_{i} \hat{β}$
$m$ は推定量の次元数

出所：estimatrパッケージのドキュメント

参考#

鹿野繁樹. (2015). 新しい計量経済学: データで因果関係に迫る.
Mathematical notes for estimatr • estimatr
不均一分散 — Pythonで学ぶ入門計量経済学

実験（WIP)#

import numpy as np
import matplotlib.pyplot as plt

n = 100
np.random.seed(0)
x1 = np.random.uniform(0, 5, size=(n, 1))
x0 = np.ones(shape=(n, 1))
X = np.append(x0, x1, axis=1)
beta = np.array([3, 5])

# 均一分散の場合
e = np.random.normal(loc=0, scale=1, size=n)
y = X @ beta + e

# plot
fig, ax = plt.subplots()
ax.scatter(x1, y)

<matplotlib.collections.PathCollection at 0x7f3c942bce80>

../../_images/d6096f8c32697940933b5c4767d6431b2b5ee8b91c08e28b6de1e6b3688dd1e0.png

beta_hat = np.linalg.inv(X.T @ X) @ X.T @ y
beta_hat

array([3.22215108, 4.987387  ])

X.T @ X

array([[100.        , 236.39691976],
       [236.39691976, 766.62957534]])

(X[0, ] @ X[0,].T)**(-1)

0.11723457858134044

OLSのロバスト標準誤差

Contents

OLSのロバスト標準誤差#

単回帰モデルの場合#

推定量#

推定量の誤差#

古典的線形回帰モデルの場合#

推定量の分散#

条件付き分散#

不均一分散#

条件付き分散#

漸近分散#

Whiteの標準誤差#

重回帰モデルの場合#

推定量の誤差#

推定量の一致性#

漸近正規性#

漸近分散の推定量#

参考#

実験（WIP)#