統計学実践ワークブック第23章判別分析問23.3の[1]の判別関数の展開

久しぶりに条件付き確率(ベイズの定理)が出てきて分からん！って感じでした。

問題文の一部

$\displaystyle f_q( x ) = \log \frac { P(y=1| x) }{ P(y=-1| x ) } \tag{1}$

を云々。

ポイント(復習)

$C_i$ をカテゴリ、 $x$ をデータとする時、ベイズの定理より

$\displaystyle P(C_i | x ) = \frac{ P(C_i, x) } { P(x) } = \frac{ P(x | C_i ) P(C_i) }{P(x) } \propto P(x | C_i ) P(C_i) \tag{2}$

と表すことができる。

式変形の過程

(2)を用いて(1)を式変形すると、

$\displaystyle (1) = \log \frac { P(x, y=1 ) / P(x) }{ P(x, y = -1 )/P(x) }$

$\displaystyle = \log \frac { P(x, y=1 ) }{ P(x, y = -1 )}$

$\displaystyle = \log \frac { P(x|y=1 )P(y=1) } { P(x|y = -1 )P(y=-1) }$

$\displaystyle = \log \frac { P(x|y=1 )\pi_1 } { P(x|y = -1 )\pi_2 }$

となる。ここで、 $P(x|y=1)$ は正規分布 $\displaystyle N(\mu_1, \Sigma_1)$ の確率密度関数に基づいて表されるということなので、

$\displaystyle P(x|y=1 ) = (2\pi)^{-2/2} (\det\Sigma_1)^{-1/2} \exp\Bigl( - \frac{1}{2} (x - \mu)' {\Sigma_1}^{-1} (x - \mu) \Bigr)$
と置き換えれば良い。 $P(x|y=-1)$ についても同様である。

axjack's blog

### axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz ###

統計学実践ワークブック第23章判別分析問23.3の[1]の判別関数の展開

問題文の一部

ポイント(復習)

式変形の過程