MIMICモデル & PLSモデル - データサイエンス関連+αのメモ

多重指標モデル¶

複数の観測変数によって測定される構成概念（潜在変数）同士の関係性を回帰分析にかけるようなモデル

import graphviz

graphviz.Source("""
digraph g {
    graph [rankdir = TB];
    node [shape = rectangle];
    x1, x2, x3, x4, x5, x6

    node [shape = circle]
    f1 -> f2
    
    f1 -> {x1, x2, x3}
    f2 -> {x4, x5, x6}

    { rank = same; f1; f2 }
}
""")

正準相関分析モデル¶

複数の潜在変数同士の相関関係を分析するモデルを 正準相関分析（Canonical Correlation Analysis: CCA） モデルという（豊田 (1991)）。

import graphviz

graphviz.Source("""
digraph g {
    graph [rankdir = TB];
    node [shape = rectangle];
    x1, x2, x3, x4, x5, x6

    node [shape = circle]
    f1 -> f2 [dir = both]
    
    f1 -> {x1, x2, x3}
    f2 -> {x4, x5, x6}

    { rank = same; f1; f2 }
}
""")

MIMICモデル¶

MIMIC (Multiple Indicator Multiple Cause) モデルは、観測変数 $x4,x5,x6$ をまとめた合成変数 $f1$ （共通因子）を別の観測変数 $x1,x2,x3$ に回帰するという、因子分析と回帰分析を組み合わせたようなモデル。

import graphviz

graphviz.Source("""
digraph g {
    graph [rankdir = LR];
    node [shape = rectangle];
    x1, x2, x3, x4, x5, x6

    node [shape = circle]
    f1
    
    {x1, x2, x3} -> f1
    f1 -> {x4, x5, x6}
}
""")

歴史¶

経済学者のArthur Goldbergerが統計学者との共著で1975年に提案

PLSモデル (Partial Least Square Model)¶

MIMICモデルにおける合成変数を別の因子の説明に使ったもの。

観測変数の線形和による合成変数（作成した指標）が別の共通因子にどのくらい影響しているかを測る。

観測変数をまとめた合成変数から、別の複数の観測変数の潜在変数に与える影響の強さを検討するモデル

多重指標モデルでは「潜在変数→観測変数」というパス（観測変数に共通する潜在的な因子）を引いて測定するのみだった。 PLSでは「潜在変数→観測変数」という方向のパスだけでなく「観測変数→潜在変数」の方向のパスも両方含まれる

import graphviz

graphviz.Source("""
digraph g {
    graph [rankdir = LR];
    node [shape = rectangle];
    x1, x2, x3, x4, x5, x6

    node [shape = circle]
    f1 -> f2
    
    {x1, x2, x3} -> f1
    f2 -> {x4, x5, x6}
}
""")

semopyによる実行例¶

import numpy as np
import pandas as pd

# データ生成
n = 1000
np.random.seed(0)

r_12 = 0.1  # x1とx2の関連性（f1）
x1 = np.random.normal(size=n)
x2 = r_12 * x1 + np.random.uniform(size=n)

r_f1f2 = 0.5 # f1とf2の関連性
r_34 = 0.5 * r_f1f2
x3 = np.random.normal(size=n)
x4 = r_34 * x3 + np.random.uniform(size=n)

data = pd.DataFrame(dict(x1=x1, x2=x2, x3=x3, x4=x4))

f1の分散は0に固定する（誤差項を想定せず、単なる重み付き和による合成変数ということ）

※このような定数に固定した母数は**固定母数（fixed parameter）**という

import semopy
desc = """
f1 ~ x1 + x2
f2 =~ x3 + x4
f1 =~ f2
f1 ~~ 0*f1

f2 ~~ f2
x1 ~~ x1
x2 ~~ x2
x3 ~~ x3
x4 ~~ x4

x1 ~~ x2
x3 ~~ x4
"""
model = semopy.Model(desc)
model.fit(data)
model.inspect(std_est=True).round(2)

# パス図
g = semopy.semplot(model, filename="/tmp/path_diagram.png", plot_covs=True, std_ests=True)

with g.subgraph() as s:
    s.attr(rank = "same")
    s.node("x1")
    s.node("x2")

with g.subgraph() as s:
    s.attr(rank = "same")
    s.node("x3")
    s.node("x4")
    
g.attr(rankdir = "LR")
g.attr(pad = "0.2") # padding
g

PLS RegressionとSEMにおける「PLS Model」は違うもの

PLS, CCAはscikit-learnにも実装があり、一見同様のものに見える

sklearn.cross_decomposition.PLSRegression — scikit-learn 1.3.2 documentation

しかし、これは違うもの。

モデル構造の違い：

SEMにおけるPLSモデル：合成変数で別の潜在変数を説明する
PLS回帰：合成変数で観測変数を説明する（次元削減してからOLSにかける「主成分回帰」に近い）

アルゴリズムの違い：

PLSモデル：SEMなので最尤推定などを使う
PLS回帰：非線形反復部分最小二乗法（Nonlinear Iterative Partial Least Squares: NIPALS）

参考：

部分的最小二乗回帰 - Wikipedia
An Introduction to Structural Equation Modeling | SpringerLink
- 1.3節の最後にATTENTIONという項目があり、両者が違うことを述べている
藤原幸一（2022）『スモールデータ解析と機械学習』オーム社
- PLS回帰のアルゴリズムが詳しく載っている

推定結果も違う：

from sklearn.cross_decomposition import PLSRegression
X = data[["x1", "x2"]]
Y = data[["x3", "x4"]]
pls = PLSRegression(n_components=1)
pls.fit(X, Y)

>>> pls.coef_
array([[-0.02380083, -0.02041537],
       [ 0.01237008,  0.01061055]])