期待値の基本からモーメント母関数まで

基本

確率分布の総和は1

$\sum f(x) = 1\\$

期待値と原点周りのモーメント

以下は記法として覚えてしまうのが得策です。

$E\bigl[ X \bigr] = \sum x f(x) = \mu \\ E\bigl[ X^1 \bigr] = \sum x^1 f(x) = \sum x f(x) = \mu_1 = \mu \\ E\bigl[ X^2 \bigr] = \sum x^2 f(x) = \mu_2 \\ \hspace{10pt} \vdots \\ E\bigl[ X^k \bigr] = \sum x^k f(x) = \mu_k \\$

指数関数

マクローリン展開です。
$\displaystyle exp(\theta) = e^{\theta} = \sum_{\theta=0}^{k} \frac {\theta^k} {k!} = 1 + \theta + \frac {\theta^2} {2!} + \dots + \frac {\theta^k} {k!} \\ \displaystyle exp(tx) = e^{tx} = \sum_{tx=0}^{k} \frac {(tx)^k} {k!} = 1 + tx + \frac {(tx)^2} {2!} + \dots + \frac {(tx)^k} {k!} \\ \displaystyle = 1 + tx + \bigl( \frac {t^2} {2!} \bigr) x^2 + \dots + \bigl( \frac {t^k} {k!} \bigr) x^k \\$

期待値の性質

$E\bigl[ \ 1 \ \bigr] = \sum 1 \times f(x) = 1 \times \sum f(x) = 1 \times 1 = 1 \\ E\bigl[ \ 0 \ \bigr] = \sum 0 \times f(x) = 0 \times \sum f(x) = 0 \times 1 = 0 \\ E\bigl[ \ c \ \bigr] = \sum cf(x) = c\sum f(x) = c \times 1 = c \\ E\bigl[ tX \bigr] = \sum (tx) \times f(x) = t \sum x f(x) = t E\bigl[X\bigr] = t \mu \\ E\bigl[ g(X) \bigr] = \sum g(x) f(x) \\$

モーメント母関数

上記の式を結集すると、モーメント母関数が理解できてく。はず。。

$M_X\bigl[ \ t \ \bigr] \equiv E\bigl[ e^{tX} \bigr] = \sum e^{tx} f(x) = \sum \Bigl( 1 +tx + \frac{ (tx)^2 } {2!} + \cdots + \frac{(tx)^k}{k!} \Bigr) f(x) \\ = \sum \Bigl( f(x) +txf(x) + \frac{ (tx)^2 } {2!}f(x) + \cdots + \frac{(tx)^k}{k!}f(x) \Bigr) \\ = \sum \Bigl( f(x) +t\bigl( xf(x) \bigr) + \frac{t^2} {2!} \bigl( x^2 f(x) \bigr) + \cdots + \frac{t^k }{k!} \bigl( x^k f(x) \bigl) \Bigr) \\ = \sum f(x) + \sum t\bigl( xf(x) \bigr) + \sum \frac{t^2} {2!} \bigl( x^2 f(x) \bigr) + \cdots + \sum \frac{t^k }{k!} \bigl( x^k f(x) \bigl) \\ = \sum f(x) + t \sum \bigl( xf(x) \bigr) + \frac{t^2} {2!} \sum \bigl( x^2 f(x) \bigr) + \cdots + \frac{t^k }{k!} \sum \bigl( x^k f(x) \bigl) \\ \displaystyle= 1 + t E\bigl[ X \bigr] + \frac{t^2} {2!} E\bigl[ X^2 \bigr] + \dots + \frac{t^k }{k!} E\bigl[ X^k \bigr] \\ \displaystyle= 1 + t\mu_1 + \frac{t^2} {2!} \mu_2 + \dots + \frac{t^k} {k!} \mu_k$

となるので、

$\displaystyle \left.M_X\bigl[ \ t \ \bigr]' \right |_{t=0} = \mu_1 \\ \displaystyle \left.M_X\bigl[ \ t \ \bigr]'' \right |_{t=0} = \mu_2 \\ \hspace{10pt} \vdots \\ \displaystyle \left.M_X\bigl[ \ t \ \bigr]^{(k)} \right |_{t=0} = \mu_k \$