近年のIRTのトピック - データサイエンス関連+αのメモ

Neural Networkに基づくIRT¶

Deep-IRT¶

木下涼, & 植野真臣. (2020). 深層学習によるテスト理論: item deep response theory. 電子情報通信学会論文誌 D, 103(4), 314-329.
Tsutsumi, E., Kinoshita, R., & Ueno, M. (2021). Deep-IRT with Independent Student and Item Networks. International Educational Data Mining Society.

異なるテスト評価のリンケージにおいては、同一母集団からの独立なランダムサンプリングを仮定する。
Deep-IRTは受験者が単一母集団からのランダムサンプリングを仮定できない場合でも頑健な推定ができる。

提案手法 Deep Response Model は受験者のネットワークと項目のネットワークから成る。

受験者ネットワーク

$i$ 番目の受験者の応答は、 $i$ 番目の要素のみが1のone-hot vector $\boldsymbol{s}_i \in \mathbb{R}^{I}$ を入力とし、 $(\boldsymbol{s}_i, \boldsymbol{\theta}_1^{(i)}, \boldsymbol{\theta}_2^{(i)}, \theta_3^{(i)})$ の4層をもつDNNとする（ $\theta_3^{(i)}$ はスカラー）。

\begin{aligned} \boldsymbol{\theta}_1^{(i)} &= \tanh \left( \boldsymbol{W}^{(\theta_1)} s_i + \boldsymbol{\tau}^{(\theta_1)} \right) \\ \boldsymbol{\theta}_2^{(i)} &= \tanh \left( \boldsymbol{W}^{(\theta_2)} \boldsymbol{\theta}_1^{(i)} + \boldsymbol{\tau}^{(\theta_2)} \right) \\ \theta_3^{(i)} &= \boldsymbol{W}^{(\theta_3)} \boldsymbol{\theta}_2^{(i)} + \tau^{(\theta_3)} \end{aligned}

$\boldsymbol{W}^{(\theta_l)}$ は重み行列、 $\tau^{(\theta_l)}$ はバイアスパラメータである。

項目ネットワーク

こちらも同様に $j$ 番目の項目が1のone-hot vector $\boldsymbol{q}_j \in \mathbb{R}^{J}$ を入力とし、 $(\boldsymbol{q}_j, \boldsymbol{\beta}_1^{(j)}, \boldsymbol{\beta}_2^{(j)}, \beta_3^{(j)})$ の4層のDNNとする。

\begin{aligned} \boldsymbol{\beta}_1^{(j)} &= \tanh \left( \boldsymbol{W}^{\beta_1} \boldsymbol{q}_j + \boldsymbol{\tau}^{\beta_1} \right) \\ \boldsymbol{\beta}_2^{(j)} &= \tanh \left( \boldsymbol{W}^{\beta_2} \boldsymbol{\beta}_1^{(j)} + \boldsymbol{\tau}^{\beta_2} \right) \\ \beta_3^{(j)} &= \boldsymbol{W}^{\beta_3} \boldsymbol{\beta}_2^{(j)} + \tau^{\beta_3} \end{aligned}

出力

IRTのパラメータ解釈に倣い、受検者の能力パラメータと項目の難易度パラメータの差を用いて、受検者の項目への反応をモデル化する

\boldsymbol{h}^{(i, j)}=\left(\boldsymbol{W}^{(y)}\right)^\top \left(\theta_3^{(i)}-\beta_3^{(j)}\right)+\tau^{(y)}

\begin{aligned} \hat{u}_{i, j} & =\operatorname{softmax}\left(\boldsymbol{h}^{(i, j)}\right) \\ & =\frac{\exp \left(h_1^{(i, j)}\right)}{\exp \left(h_0^{(i, j)}\right)+\exp \left(h_1^{(i, j)}\right)} \end{aligned}

Bayesian Deep-IRT¶

堤瑛美子 & 植野真臣. (2023). Bayesian neural network に基づく項目反応理論.

Thurstonian Diffusion IRT モデル¶

分寺・岡田（2020）「現代的なパーソナリティ測定のためのベイズ統計モデリング」『ベイズ統計学が拓く調査データ解析の最前線』

自然言語の評価¶

江原遥. (2024). 項目反応理論に基づく教育のための自然言語処理のモデル. 統計数理= Proceedings of the Institute of Statistical Mathematics, 72(1), 23-41.

Item response theory for natural language processing | Tutorial at EACL 2024

CATのための困難度の予測¶

Settles et al. (2020). Machine learning–driven language assessment. Transactions of the Association for computational Linguistics, 8, 247-263.

Duolingo社の研究

Computer Adaptive Testing（CAT）は困難度パラメタが既知の場合に学習者の能力パラメタを逐次的に推定する手法群のことだが、サンプルが少なく困難度パラメタが未知の場合が問題になる（コールドスタート問題）。

そこでテキストの中の特徴から、機械学習と自然言語処理を活用して困難度パラメタを予測してCATを行う方法を提案。

Duolingo English Testというプロダクトで活用しているとのこと。

Ehara, Y. (2022). No Meaning Left Unlearned: Predicting Learners’ Knowledge of Atypical Meanings of Words from Vocabulary Tests for Their Typical Meanings. International Educational Data Mining Society.