漸近オーダーの表記法

ランダウの記号

ランダウの記号（Landau’s symbol）は関数や数列の漸近挙動を大まかに把握するときに使われる記法。

例えば\(a_n = n^{-2}, b_n = n^{-1}\)のとき、

\[ \frac{a_n}{b_n} = \frac{1/n^2}{1/n} = \frac{n}{n^2} = \frac{1}{n} \to 0 , \hspace{1em} n \to \infty \]

という関係があるが、\(n\)を増やしていったときに\(a_n\)のほうがより早く\(0\)へ収束する。

このように漸近的（\(n \to \infty\)）には\(a_n\)が\(n^{-1}\)「より小さい」ということを

\[ a_n = o(n^{-1}), \hspace{1em} n \to \infty \]

と書く。

（定義） スモール・オーダー

数列\(a_n, b_n (n \in \mathbb{N})\)に対して、\(a_n / b_n \to 0 \ (n \to \infty)\)となるとき

\[ a_n = o(b_n), \hspace{1em} n \to \infty \]

と書き、\(a_n\)は\(b_n\)のスモール・オーダー（small order）であるという。

（定義） キャピタル・オーダー

数列\(a_n, b_n (n \in \mathbb{N})\)に対して、\(a_n / b_n (n \to \infty)\)が有界となるとき、 すなわち、ある定数\(M>0\)が存在して

\[ \DeclareMathOperator*{\liminf}{\lim\inf} \DeclareMathOperator*{\limsup}{\lim\sup} -M < \liminf_{n\to\infty} \frac{a_n}{b_n} \leq \limsup_{n\to\infty} \frac{a_n}{b_n} < M \]

となるとき、

\[ a_n = O(b_n), \hspace{1em} n \to \infty \]

と書き、\(a_n\)は\(b_n\)の キャピタル・オーダー （capital order） あるいは ラージ・オーダー であるという。

特に、\(a_n / b_n\to 1 \ (n \to \infty)\)となるとき

\[ a_n \sim b_n, \quad( n \to \infty) \]

と書いて、\(a_n\)と\(b_n\)は漸近同等（asymptotically equivalent）という。

例：無限小

\(0\)に近づく独立変数\(h\)（独立無限小量 という）に依存する量\(R(h)\)が\(h\to 0\)とともに0に近づくとき、\(R(h)\)を\(h\)の 無限小量 あるいは 無限小 という。

ある\(R(h)\)を標準的な無限小量\(h^n\)と比較してランダウの記号を使って表す場合、以下のようになる。

\(n\)次より高次の無限小

\(\displaystyle \frac{R(h)}{h^n} \to 0\)のとき、\(R(h)\)は\(h\)の\(n\)次より高次の無限小であるといい、

\[ R(h) = o(h^n) \]

と記す。とくに\(n=0\)のときは\(R(h)=o(1)\)と記す（これは\(R(h)\)が無限小量だというのと同じことを言ってるだけ）。

\(n\)次の無限小

\(\displaystyle \frac{R(h)}{h^n}\)が有界に留まるとき、\(R(h)\)は\(h\)の（少なくとも）\(n\)次の無限小であるといい、

\[ R(h) = O(h^n) \]

と記す。

とくに\(n=0\)のときは

\[ R(h)=O(1) \]

と記す。

これは\(R(h)\)が\(h\to 0\)のとき少なくとも値が有界にとどまり、無限に大きくなったりはしないという意味。

確率的ランダウの記号

ランダウの記号の確率バージョン

（定義） スモール・オーダー

確率変数列\(\{X_n\}, \{Y_n\}\)に対して、\(X_n / Y_n \overset{p}{\to} 0 \ (n \to \infty)\)となるとき

\[ X_n = o_p(Y_n), \hspace{1em} n \to \infty \]

と書き、\(X_n\)は\(Y_n\)のスモール・オーダー（small order）であるという。

例：

\(X_n \overset{p}{\to} X\) なる確率変数列\(\{X_n\}\)に対して

\[ X_n = X + o_p(1), \hspace{1em} n \to \infty \]

と書くことができる。\(X_n\)を決める主要な項は\(X\)であり、残りは誤差のようなもの、ということ。

（定義）確率有界

確率変数列\(\{X_n\}\)が

\[ \lim_{M\to\infty} \sup_{n\in \mathbb{N}} P(|X_n| > M) = 0 \]

を満たすとき、\(\{X_n\}\)は確率有界（bounded in probability）、あるいは（一様）緊密（タイト、uniformly tight）であるといい、

\[ X_n = O_p(1), \hspace{1em} n \to \infty \]

と書く。

• \(\sup\)は supremum（上限）

• 任意の\(n\in\mathbb{N}\)について上限の\(P(|X_n| > M)\)が\(M\to\infty\)の極限で0になる？

確率変数\(X\)に対する単独のtightnessは

\[ \lim_{M\to\infty} P(|X| > M) = 0 \]

（定義） キャピタル・オーダー

確率変数列\(\{X_n\}, \{Y_n\}\)が\(X_n/Y_n = O_p(1)\)となるとき、

\[ X_n = O_p(Y_n), \hspace{1em} n \to \infty \]

のように書き、\(X_n\)は\(Y_n\)のキャピタル・オーダーであるという。

特に、\(X_n / Y_n \overset{p}{\to} 1\)となるとき

\[ X_n \sim Y_n \]

と書いて、\(X_n\)と\(Y_n\)は（確率的に）漸近同等（asymptotically equivalent）という。

（\(X_n - Y_n = o_p(1)\)となることを漸近同等という定義もある）

例：\(\sqrt{n}\)-consistency

ある推定量\(\theta_0\)が真の推定量\(\theta\)について

\[ \theta_0 - \theta = O_p(1/\sqrt{n}) , \hspace{1em} n \to \infty \]

である（\(1/\sqrt{n}\)と同程度のレートでゼロに収束する）とき、この推定量は\(\sqrt{n}\)-consistencyと呼ばれる

参考文献

清水泰隆（2021）『統計学への確率論，その先へ』