概要 - データサイエンス関連+αのメモ

ノンパラメトリック法¶

ノンパラメトリック法ではモデルの想定を弱めて構造の連続性や滑らかさのみを仮定することが多い。

ノンパラではモデル想定の間違いによって生じる推定の誤りは少なくなり頑健になるものの、一般に推定精度が低くなる。

$n$ をサンプルサイズとして、一般にパラメトリック推定量は $n^{-1/2}$ のオーダーで収束するが、ノンパラメトリック推定量は $n^{-1/2+\delta} (\delta >0)$ のオーダーとなる。

セミパラメトリックモデルは有限次元のパラメータとノンパラメトリックな関数の両方を未知パラメータとして含むモデル

有限次元パラメータについてはパラメトリック推定量と同じ収束のオーダーになる。

モデルを部分的にパラメトリックにできるため、関心のあるパラメータが有限次元である状況とは相性がいいアプローチ

仮定したパラメトリックモデルが誤っているとき、それに基づく推定量は本来意図した量とは異なる量を推定してしまう。

ある密度関数 $f_0(x)$ から無作為標本 $(X_1,\dots,X_n)$ が得られたとする。未知パラメータベクトル $\theta$ を持つパラメトリックモデル $f(x;\theta), \theta \in \Theta$ を想定したとき、最尤推定量は

\hat{\theta} := \arg \max _\theta \sum_{i=1}^n \log f\left(X_i ; \theta\right)

と定義される（ $\Theta$ はパラメータがとりうる値の集合で、パラメータ空間という）。

「モデルが正しい」とは

\exists \theta_0 \in \Theta \text { s.t. } f_0(x)=f\left(x ; \theta_0\right)

すなわち、尤度関数の設計に際して仮定した密度関数 $f(x; \theta_0)$ が真の密度関数 $f_0(x)$ に一致する、ということ。このとき一定の正則条件が満たされれば $\hat\theta$ は一致性、漸近正規性、効率性をもつ。つまり

\hat{\theta} \xrightarrow{p} \theta_0\\ \sqrt{n}(\hat{\theta}-\theta) \xrightarrow{d} N\left(0, I\left(\theta_0\right)^{-1}\right)

が成り立つ。ただし $I(\theta)$ は情報行列

I(\theta)=-\int \frac{\partial^2 \log f(x ; \theta)}{\partial \theta \partial \theta^T} f\left(x ; \theta_0\right) d x

である。情報行列の逆行列が一定の正則条件のもとでの漸近正規性・一致性を持つ推定量の漸近分散の下限となる。（これは不偏推定量の場合の Cramer-Raoの下限に対応する）

もし、仮定したパラメトリックモデルが間違っている、すなわち、どの $\theta \in \Theta$ に対しても $f(x;\theta) \neq f_0(x)$ なら、最尤推定量はカルバック・ライブラー距離を最小にする値

\theta_1=\arg \min \int \log \frac{f_0(x)}{f(x ; \theta)} f_0(x) d x

に収束する（つまり $\hat{\theta} \xrightarrow{p} \theta_1$ ）。これを擬似真値という。

真の分布が左右対称の単峰の分布ならある程度は真の分布に近い密度推定が得られる。しかし真の分布が二峰の場合は視覚的にも全く異なる推定結果となる。