順序回帰（ordered regression） - データサイエンス関連+αのメモ

概要¶

Ordered Regression は、順序尺度（ordinal scale）のカテゴリカルデータを目的変数にとる回帰モデル。

例えば目的変数 $y$ が：

のように

というカテゴリ変数である場合、

は不適切となるため、専用のモデルが必要となる。

順序ロジットモデル（orderd logit moodel） や 順序プロビットモデル（ordered probit model） などがある。

ロジット関数（ロジスティック関数）を使うタイプであってもいくつかタイプがある様子

1️⃣ 累積ロジットモデル系 （まとめて 順序ロジットモデル（orderd logit moodel） や 順序ロジスティック回帰（ordered logistic regression） と呼ばれることも）

比例オッズモデル（proportional odds model） ：ロジスティック回帰モデルの差で確率を表現するモデル $P(y = k) = P(y \le k) -P(y \le k-1)$
累積ロジットモデル（cumulative logit model） ：比例オッズモデルの回帰係数がカテゴリごとに異なるよう一般化したモデル $P(y \le k \mid \mathbf{x}) = \frac{1}{1+\exp\left[-(\tau_k - \mathbf{x}^\top \beta_k)\right]}$

\log \frac{P(y \le k \mid \mathbf{x})} {P(y > k \mid \mathbf{x})} = \tau_k - \mathbf{x}^\top \beta \quad (k=1,\dots,K-1)

2️⃣ 隣接カテゴリ・ロジット・モデル (adjacent category logit model)

\log \frac{P(y = k \mid \mathbf{x})}{P(y = k+1 \mid \mathbf{x})} = \alpha_k - \mathbf{x}^\top \boldsymbol{\beta} \quad (k = 1, \dots, K-1)

隣接カテゴリロジットモデルの方が「直前のカテゴリから次のカテゴリへの移行」を直接モデル化するため、各カテゴリ間の遷移の難しさを表現する場合に直感的である。