回帰分析

回帰分析#

単回帰モデル#

ある変数 $x_{2}$ を別の変数 $x_{1}$ から予測する問題を考える。

x_{2} = α x_{1} + β + e

$x_{1}$ は予測変数（predictor variable）、 $x_{2}$ は基準変数（criterion variable）と呼ばれる確率変数である。

$e$ は予測誤差を表現する確率変数であり誤差変数といい、以下の性質を仮定する。

$E [e] = 0$ （誤差は正負バランスよく出現する）
$E [e x_{1}] = 0$ （予測変数の値が大きくても小さくても誤差は大きくなったり小さくなったりする傾向はない）

パラメータの推定には最尤法や最小二乗法やモーメント法などが使われる

モーメント法による単回帰モデルの推定#

単回帰モデルの両辺の期待値をとると

\begin{array}{r} E [x_{2}] = α E [x_{1}] + E [β] + \underset{= 0}{\underset{⏟}{E [e]}} \\ ⟹ β = E [x_{2}] - α E [x_{1}] \end{array}

となる。

次に、単回帰モデルの両辺に $x_{1}$ をかけてから期待値をとると

\begin{array}{r} E [x_{2} x_{1}] = α E [x_{1} x_{1}] + β E [x_{1}] + \underset{= 0}{\underset{⏟}{E [e x_{1}]}} \end{array}

$β = E [x_{2}] - α E [x_{1}]$ を代入すると

\begin{array}{r} \begin{aligned} E [x_{2} x_{1}] & = α E [x_{1} x_{1}] + E [x_{1}] (E [x_{2}] - α E [x_{1}]) \\ = α E [x_{1}^{2}] + E [x_{1}] E [x_{2}] - α E [x_{1}]^{2} \\ = E [x_{1}] E [x_{2}] + α (E [x_{1}^{2}] - E [x_{1}]^{2}) \\ = E [x_{1}] E [x_{2}] + α V [x_{1}] \\ ⟹ E [x_{2} x_{1}] - E [x_{1}] E [x_{2}] & = α V [x_{1}] \end{aligned} \end{array}

分散は

\begin{array}{r} V [x] = E [x^{2}] - E [x]^{2} \\ \to E [x^{2}] = V [x] - E [x]^{2} \end{array}

であり、

\begin{array}{r} \begin{aligned} Σ & = E [(x - μ) (x - μ)^{⊤}] \\ = E [x x^{⊤}] - E [x] μ^{⊤} - μ E [x^{⊤}] + μ μ^{⊤} \\ = E [x x^{⊤}] - 2 μ μ^{⊤} + μ μ^{⊤} \\ = E [x x^{⊤}] - μ μ^{⊤} \end{aligned} \end{array}

であり、2変数だと

\begin{array}{r} \begin{aligned} Σ & = E [(\begin{array}{c} x_{1} \\ x_{2} \end{array}) (\begin{array}{c} x_{1} & x_{2} \end{array})] - (\begin{array}{c} E [x_{1}] \\ E [x_{2}] \end{array}) (\begin{array}{c} E [x_{1}] & E [x_{2}] \end{array}) \\ = (\begin{array}{c} E [x_{1}^{2}] & E [x_{1} x_{2}] \\ E [x_{2} x_{1}] & E [x_{2}^{2}] \end{array}) - (\begin{array}{c} E [x_{1}]^{2} & E [x_{1}] E [x_{2}] \\ E [x_{2}] E [x_{1}] & E [x_{2}]^{2} \end{array}) \end{aligned} \end{array}

であることを利用すると

\begin{array}{r} \begin{aligned} E [x_{2} x_{1}] - E [x_{1}] E [x_{2}] & = α V [x_{1}] \\ V [x_{1} x_{2}] & = α V [x_{1}] \\ α & = \frac{V [x_{1} x_{2}]}{V [x_{1}]} \end{aligned} \end{array}

推定では標本の統計量を用いて

\begin{array}{r} \begin{aligned} \hat{α} & = \frac{s_{21}}{s_{1}^{2}} \\ \hat{β} & = {\bar{x}}_{2} - \hat{α} {\bar{x}}_{1} \end{aligned} \end{array}

とする。

import semopy
import numpy as np
import pandas as pd

# 適当なデータを生成
n = 1000
np.random.seed(0)
x = np.random.uniform(size=n)
e = np.random.normal(size=n)
y = 10 + 3 * x + e
data = pd.DataFrame(dict(y=y, x=x))

# モデルを構築
desc = "y ~ x"
model = semopy.Model(desc)
model.fit(data)
model.inspect()

	lval	op	rval	Estimate	Std. Err	z-value	p-value
0	y	~	x	2.903337	0.105092	27.626547	0.0
1	y	~~	y	0.932673	0.041710	22.360680	0.0

# パス図
semopy.semplot(model, filename="/tmp/path_diagram.png")

../../_images/e99bc1fe1f14cea67fe7387c946f2e77ada8a679b16cdd5681c3f610d3e2665c.svg

回帰分析

Contents

回帰分析#

単回帰モデル#

モーメント法による単回帰モデルの推定#