因子分析モデル

因子分析モデル#

「プライドの高さ」「英語力」のような直接観測することができない便宜上の概念を構成概念（construct）という。

構成概念を分析するためのモデルの一つが因子分析モデル（測定方程式モデル）で、例えば次のように表される

\begin{array}{r} v_{1} = α_{11} f_{1} + e_{1} \\ v_{2} = α_{21} f_{1} + e_{2} \\ v_{3} = α_{31} f_{1} + e_{3} \end{array}

ここで $v$ は観測値の偏差 $v = x - E [x]$ 、 $α$ は因子負荷量（factor loading）、 $f$ は構成概念を表す変数で因子スコア（factor score）あるいは因子と呼ばれる。

$f$ は構造的な潜在変数である。

また、モデルの仮定として

潜在変数は原則 $E [f_{i}] = 0, V [f_{i}] = 1$
誤差は平均ゼロ、均一分散 $E [e_{i}] = 0, V [e_{i}] = σ_{e_{i}}^{2}$
誤差と因子スコアは無相関 $E [f_{i} e_{i}] = 0$

をおく

歴史#

まず、現在は探索的因子分析（exploratory factor analysis: EFA)と呼ばれる、事前に特定の仮説を置かずにデータの共分散に基づいて（主成分分析のように）因子スコアを推定する方法が提案された

その後、分析者が仮説（モデル構造）を仮定して推定する確認的因子分析（confirmatory factor analysis: CFA）が提案された。

SEMが提案された後はそれらの因子分析がSEMの下位モデルとして内包されるようになった

推定#

\begin{array}{r} v_{1} = α_{11} f_{1} + e_{1} \\ v_{2} = α_{21} f_{1} + e_{2} \\ v_{3} = α_{31} f_{1} + e_{3} \end{array}

のモデルを例にとる。

共分散の構造化#

観測変数の分散共分散行列を計算していく。

$v_{1}$ の分散 $σ_{1}^{2}$ は

\begin{array}{r} \begin{aligned} σ_{1}^{2} & = E [v_{1}^{2}] \\ = E [(α_{11} f_{1} + e_{1}) (α_{11} f_{1} + e_{1})] \\ = E [α_{11}^{2} f_{1}^{2} + 2 α_{11} f_{1} e_{1} + e_{1}^{2}] \\ = α_{11}^{2} E [f_{1}^{2}] + 2 α_{11} E [f_{1} e_{1}] + E [e_{1}^{2}] \\ = α_{11}^{2} + σ_{e_{1}}^{2} \end{aligned} \end{array}

となる。最後の行は仮定より $E [f_{1} e_{1}] = 0$ となること、それから仮定より $E [e_{1}] = 0$ ゆえに $E [e_{1}^{2}] = V [e_{1}] = σ_{e_{1}}^{2}$ であり、同様に $E [f_{1}] = 0$ から $E [f_{1}^{2}] = V [f_{1}] = 1$ となることを利用している。

$v_{2}$ と $v_{3}$ の分散も同様なので、分散は最終的に

\begin{array}{r} σ_{1}^{2} = α_{11}^{2} + σ_{e_{1}}^{2} \\ σ_{2}^{2} = α_{21}^{2} + σ_{e_{2}}^{2} \\ σ_{3}^{2} = α_{31}^{2} + σ_{e_{3}}^{2} \end{array}

となる。

つづいて共分散は

\begin{array}{r} \begin{aligned} σ_{21} & = E [v_{2} v_{1}] \\ = E [(α_{21} f_{1} + e_{2}) (α_{11} f_{1} + e_{1})] \\ = E [α_{21} α_{11} f_{1}^{2} + α_{21} f_{1} e_{1} + α_{11} f_{1} e_{2} + e_{1} e_{2}] \\ = α_{21} α_{11} \end{aligned} \end{array}

となるため

\begin{array}{r} σ_{21} = α_{21} α_{11} \\ σ_{31} = α_{31} α_{11} \\ σ_{32} = α_{31} α_{21} \end{array}

となる。

観測変数の共分散行列は

\begin{array}{r} Σ = [\begin{array}{c} σ_{1}^{2} \\ σ_{21} & σ_{2}^{2} \\ σ_{31} & σ_{32} & σ_{3}^{2} \end{array}] = [\begin{array}{c} α_{11}^{2} + σ_{e_{1}}^{2} \\ α_{21} α_{11} & α_{21}^{2} + σ_{e_{2}}^{2} \\ α_{31} α_{11} & α_{31} α_{21} & α_{31}^{2} + σ_{e_{3}}^{2} \end{array}] \end{array}

と書き直すことができる。このように共分散を母数の関数で表現することを「構造化」という。上記の式のように共分散を方程式モデルの母数で表現したものを「共分散構造」とよぶ。

推定#

モデルの $α, f, e$ を推定していく。

共分散構造を用いて、

\begin{array}{r} σ_{21} = α_{21} α_{11} \\ σ_{31} = α_{31} α_{11} \\ σ_{32} = α_{31} α_{21} \end{array}

を $α_{11}$ について解くと

\begin{array}{r} \frac{σ_{21} σ_{31}}{σ_{32}} = \frac{α_{21} α_{11} \times α_{31} α_{11}}{α_{31} α_{21}} = α_{11}^{2} \\ \to α_{11} = \pm \sqrt{\frac{σ_{21} σ_{31}}{σ_{32}}} \end{array}

で、これを利用して

\begin{array}{r} α_{21} = \frac{σ_{21}}{α_{11}} \\ α_{31} = \frac{σ_{31}}{α_{11}} \end{array}

となる。

誤差分散は

$σ_{i}^{2} = α_{i j}^{2} + σ_{e_{i}}^{2} ⟹ σ_{e_{i}}^{2} = σ_{i}^{2} - α_{i j}^{2}$ より

\begin{array}{r} σ_{e_{1}}^{2} = σ_{1}^{2} - α_{11}^{2} \\ σ_{e_{2}}^{2} = σ_{2}^{2} - α_{21}^{2} \\ σ_{e_{3}}^{2} = σ_{3}^{2} - α_{31}^{2} \end{array}

となる。

上記の式は母分散を利用しているが、実際には標本分散を用いた推定量とする

# データの生成
from scipy.stats import multivariate_normal
import numpy as np
mean = np.array([10, 5, 3])
cov = np.array([
    [2, 0.5,  1.2],
    [0.5, 1,  0.7],
    [1.2, 0.7, 1.5],
])
mvn = multivariate_normal(mean=mean, cov=cov, seed=0)

n = 100
# データ行列
X = mvn.rvs(size=n, random_state=0)
# 平均偏差行列
V = X - X.mean(axis=0)
# 分散共分散行列
S = np.cov(V, rowvar=False)

S.round(3)

array([[2.275, 0.578, 1.278],
       [0.578, 0.976, 0.69 ],
       [1.278, 0.69 , 1.42 ]])

# alphaの推定
# pythonは0始まりなのでインデックスが全部1ずれる
a11 = np.sqrt( S[1, 0] * S[2, 0] / S[2, 1] )
a21 = S[1, 0] / a11
a31 = S[2, 0] / a11

# 誤差分散sigma_eの推定
s_e1 = S[0,0] - a11
s_e2 = S[1,1] - a21
s_e3 = S[2,2] - a31

# 再現された分散行列
Sigma = np.array([
    [(a11**2 + s_e1**2), a21 * a11, a31 * a11],
    [a21 * a11, (a21**2 + s_e2**2), a31 * a21],
    [a31 * a11, a31 * a21, (a31**2 + s_e3**2)],
])
Sigma.round(3)

array([[2.609, 0.578, 1.278],
       [0.578, 0.486, 0.69 ],
       [1.278, 0.69 , 1.559]])

# residual
(S - Sigma).round(3)

array([[-0.334,  0.   ,  0.   ],
       [ 0.   ,  0.49 , -0.   ],
       [ 0.   , -0.   , -0.138]])

標準化解#

$z, f, e$ の分散が1に標準化されたモデル（標準化モデル）

\begin{array}{r} z_{1} = α_{11}^{*} f_{1} + β_{1} e_{1}^{*} \\ z_{2} = α_{21}^{*} f_{1} + β_{2} e_{2}^{*} \\ z_{3} = α_{31}^{*} f_{1} + β_{3} e_{3}^{*} \end{array}

$β$ は誤差の係数（ $α$ は区別のため係数に $*$ をつけている）

$z, f, e$ の分散は1になるから、その係数は合計が1になる： $1 = α_{11}^{* 2} + β_{1}^{2}$

共分散（相関）も $σ_{r 21} = α_{21}^{*} α_{11}^{*}$ のようになる

共分散行列は

\begin{array}{r} Σ = [\begin{array}{c} σ_{1}^{2} \\ σ_{r 21} & σ_{2}^{2} \\ σ_{r 31} & σ_{r 32} & σ_{3}^{2} \end{array}] = [\begin{array}{c} α_{11}^{* 2} + β_{1}^{2} \\ α_{21}^{*} α_{11}^{*} & α_{21}^{* 2} + β_{2}^{2} \\ α_{31}^{*} α_{11}^{*} & α_{31}^{*} α_{21}^{*} & α_{31}^{* 2} + β_{3}^{2} \end{array}] \end{array}

と構造化される

測定方程式の行列表記#

測定方程式を次のように表記する

v = A f + e

また仮定については

\begin{array}{r} E [f] = o \\ E [e] = o \\ E [f e^{T}] = O \end{array}

となる。

共分散構造は

\begin{array}{r} \begin{aligned} Σ & = E [(x - μ) (x - μ)^{T}] \\ = E [v v^{T}] \\ = E [(A f + e) (A f + e)^{T}] \\ = E [(A f + e) (f^{T} A^{T} + e^{T})] \\ = E [A f f^{T} A^{T}] + E [A f e^{T}] + E [e f^{T} A^{T}] + E [e e^{T}] \\ = A E [f f^{T}] A^{T} + A E [f e^{T}] + E [e f^{T}] A^{T} + E [e e^{T}] \\ = A E [f f^{T}] A^{T} + E [e e^{T}] \\ = A Σ_{r f} A^{T} + Σ_{e} \end{aligned} \end{array}

因子分析モデル

Contents

因子分析モデル#

歴史#

推定#

共分散の構造化#

推定#

標準化解#

測定方程式の行列表記#