中心極限定理をラフに証明する

厳密さを捨てて大略理解できれば良いぐらいの証明です。

準備

正規分布のモーメント母関数

確率変数 $X$ が $N(\mu, \sigma^2)$ に従う時、モーメント母関数 $M_{X}[t; \mu , {\sigma}^2 ]$ は、
$\displaystyle M_{X}[t; \mu , {\sigma}^2 ] = \rm exp( \mu t + \frac{1}{2} {\sigma}^2 {t}^2 )$
とくに、 $\mu = 0, \sigma^2 = 1$ のとき、 $\displaystyle M_{X}[ t; \mu=0 , {\sigma}^2=1 ] = \rm exp( \frac{1}{2} {t}^2 )$

指数関数の底eの極限

$\displaystyle \lim_{n \rightarrow \infty } (1+\frac{1}{n} )^n = \rm e$

$\displaystyle \lim_{n \rightarrow \infty } (1+\frac{a}{n} )^n = \lim_{n \rightarrow \infty } ( (1+\frac{a}{n} )^{\frac{n}{a}} )^a =( \lim_{n \rightarrow \infty } (1+\frac{a}{n} )^{\frac{n}{a}} )^a = \rm e^a$

テイラー展開

$\displaystyle f(x) = \sum_{k=0}^{\infty} \frac{ x^k }{k!} f^{(k)}(0) = 1 + xf'(0) + \frac{1}{2}x^2 f''(0) + \cdots \approx 1 + xf'(0) + \frac{1}{2}x^2 f''(0)$
とくに、 $\displaystyle \rm e^x = 1 + x + \frac{1}{2}x^2 + \cdots \approx 1 + x + \frac{1}{2}x^2$

逆数

$\displaystyle \frac{1}{ \frac{1}{\sqrt{n}} } = \Bigl( \frac{1}{\sqrt{n}} \Bigr) ^{-1} = \sqrt{n}$

中心極限定理

示したいこと

確率変数 $X_1, X_2, \cdots X_n$ が平均 $\mu$ 、分散 $\sigma^2$ の分布にi.i.d.で従っている。
このとき、標本平均 $\displaystyle \bar{X}$ を標準化した統計量Tは標準正規分布 $N(0,1)$ に分布収束する。

標準化した確率変数の確認

以下を示す

確率変数 $X_i$ はi.i.d. で平均 $\mu$ 、分散 $\sigma^2$ で従っている。
$X_i$ を標準化した確率変数を $Z_i$ とするとき、
$\displaystyle \bar{X}$ を標準化した確率変数は $\displaystyle \sqrt{n} \bar{Z}$ となる。

導出

$X_i$ を標準化した変数を $Z_i$ とすると、 $\displaystyle Z_i = \frac{X_i - \mu}{\sigma}$ 、 $E[ Z_i ] = 0, V[ Z_i] = 1$ である。

つぎに、 $\bar{X}$ について、 $\displaystyle E[ \bar{X} ] = \mu , V[ \bar{X} ] = \frac{{\sigma}^2}{n}$ であるから、

標本平均 $\displaystyle \bar{X}$ を標準化した統計量 $\rm T$ は $\displaystyle \frac{ \bar{X} - \rm E[\bar{X}] }{ \sqrt{ \rm V[ \bar{X} ]}} = \frac{\bar{X} - \mu }{ \frac{\sigma}{\sqrt{n}}} = \sqrt{n} \Bigl( \frac{\bar{X} - \mu }{\sigma} \Bigr)$
となる。

一方、 $\displaystyle \bar{Z} = \frac{1}{n} \sum Z_i = \frac{1}{n} \sum (\frac{X_i - \mu}{\sigma} ) = \frac{1}{n \sigma} (n \bar{X}-n\mu) = \frac{\bar{X} - \mu}{\sigma}$

となるので、 $\displaystyle \sqrt{n} \bar{Z} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} = T$ となる。

モーメント母関数

統計量Tのモーメント母関数、すなわち $\sqrt{n}\bar{Z}$ のモーメント母関数を求める。 $Z_1, \cdots, Z_n$ が互いに独立であることに留意すると、

$\displaystyle M_{ \sqrt{n}\bar{Z} }(t) = \rm E[ \rm exp( t \sqrt{n}\bar{Z} ) ] = \rm E[ exp( t \sqrt{n} \frac{1}{n} \sum Z_i ) ] = \rm E[ exp( t \frac{1}{\sqrt{n} } \sum Z_i ) ] = \rm \Bigl( E[ exp( t \frac{1}{\sqrt{n} } Z_1 ) ] \Bigr)^n$

とかける。ここで、

$\displaystyle \rm E[ exp( t \frac{1}{\sqrt{n} } Z_1 ) ] \\ = \displaystyle \rm E[ 1 + \frac{t}{\sqrt{n} } Z_1 + \frac{t^2}{2n} {Z_1}^2 + \cdots ] \\ \displaystyle \approx \rm E[ 1 + \frac{t}{\sqrt{n} } Z_1 + \frac{t^2}{2n} {Z_1}^2 ] \\ = \displaystyle 1 + \frac{t}{\sqrt{n} } \rm E[ Z_1 ] + \frac{t^2}{2n} \rm E [ {Z_1}^2 ] \\ = \displaystyle 1 + \frac{t}{\sqrt{n} } \rm 0 + \frac{t^2}{2n} \rm 1 \\ = \displaystyle 1 + \frac{t^2}{2n}$

と近似することができるから、

$\displaystyle M_{ \sqrt{n}\bar{Z} }(t) = \rm \Bigl( E[ exp( t \frac{1}{\sqrt{n} } Z_1 ) ] \Bigr)^n = \rm \Bigl( 1 + \frac{t^2}{2n} \Bigr)^n = \rm \Bigl( 1 + \frac{ \frac{1}{2}t^2 }{n} \Bigr)^n = \rm exp( \frac{1}{2}t^2 ) \ ( as \ n \rightarrow \infty )$

となって、これは標準正規分布のモーメント母関数に一致する。
よって、標本平均 $\displaystyle \bar{X}$ を標準化した統計量Tは標準正規分布 $N(0,1)$ に分布収束する。

axjack's blog

### axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz ###