axjack's blog

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.

期待値の基本からモーメント母関数まで

基本

確率分布の総和は1


\sum f(x) = 1\\

期待値と原点周りのモーメント

以下は記法として覚えてしまうのが得策です。


E\bigl[  X \bigr]  = \sum x f(x)  = \mu \\
E\bigl[  X^1 \bigr]  = \sum x^1 f(x)  = \sum x f(x) = \mu_1 = \mu \\
E\bigl[  X^2 \bigr]  = \sum x^2 f(x)  = \mu_2 \\
\hspace{10pt} \vdots \\
E\bigl[  X^k \bigr]  = \sum x^k f(x)  = \mu_k \\

指数関数

マクローリン展開です。

\displaystyle exp(\theta) = e^{\theta} = \sum_{\theta=0}^{k} \frac {\theta^k} {k!} = 1 + \theta + \frac {\theta^2} {2!} + \dots + \frac {\theta^k} {k!} \\
\displaystyle exp(tx) = e^{tx} = \sum_{tx=0}^{k} \frac {(tx)^k} {k!} = 1 + tx + \frac {(tx)^2} {2!} + \dots + \frac {(tx)^k} {k!} \\
\displaystyle = 1 + tx + \bigl( \frac {t^2} {2!} \bigr) x^2 + \dots + \bigl( \frac {t^k} {k!} \bigr) x^k \\

期待値の性質


E\bigl[  \ 1 \ \bigr]  = \sum  1 \times f(x) =  1 \times \sum  f(x) = 1 \times 1 = 1   \\
E\bigl[  \ 0 \ \bigr]  = \sum  0 \times f(x) = 0 \times \sum f(x) = 0 \times 1 = 0  \\
E\bigl[  \ c \ \bigr]  = \sum  cf(x) = c\sum f(x) = c \times 1  = c \\
E\bigl[  tX \bigr]  = \sum (tx) \times f(x)  = t \sum x f(x) = t E\bigl[X\bigr] = t \mu \\
E\bigl[  g(X) \bigr]  = \sum g(x)  f(x)   \\

モーメント母関数

上記の式を結集すると、モーメント母関数が理解できてく。はず。。


M_X\bigl[ \ t \ \bigr] \equiv E\bigl[  e^{tX} \bigr]  = \sum e^{tx} f(x)  = \sum \Bigl( 1 +tx + \frac{ (tx)^2 } {2!} + \cdots + \frac{(tx)^k}{k!} \Bigr) f(x) \\
= \sum \Bigl( f(x) +txf(x) + \frac{ (tx)^2 } {2!}f(x) + \cdots + \frac{(tx)^k}{k!}f(x) \Bigr) \\
= \sum \Bigl( f(x) +t\bigl( xf(x) \bigr) + \frac{t^2} {2!} \bigl( x^2 f(x) \bigr) + \cdots + \frac{t^k }{k!} \bigl( x^k f(x) \bigl) \Bigr) \\
=  \sum f(x) + \sum t\bigl( xf(x) \bigr) + \sum \frac{t^2} {2!} \bigl( x^2 f(x) \bigr) + \cdots + \sum  \frac{t^k }{k!} \bigl( x^k f(x) \bigl)  \\
=  \sum f(x) + t \sum \bigl( xf(x) \bigr) + \frac{t^2} {2!}  \sum \bigl( x^2 f(x) \bigr) + \cdots + \frac{t^k }{k!} \sum \bigl( x^k f(x) \bigl)  \\
\displaystyle= 1 + t E\bigl[ X \bigr] +  \frac{t^2} {2!} E\bigl[ X^2 \bigr] + \dots + \frac{t^k }{k!} E\bigl[ X^k \bigr] \\
\displaystyle= 1 + t\mu_1 + \frac{t^2} {2!} \mu_2 + \dots + \frac{t^k} {k!} \mu_k

となるので、


\displaystyle \left.M_X\bigl[ \ t \ \bigr]' \right |_{t=0} =  \mu_1 \\
\displaystyle \left.M_X\bigl[ \ t \ \bigr]'' \right |_{t=0} =  \mu_2 \\
\hspace{10pt} \vdots \\
\displaystyle \left.M_X\bigl[ \ t \ \bigr]^{(k)} \right |_{t=0} =  \mu_k \

を得る。