共役事前分布 - axjack's blog

xは分散σ²が既知の正規分布 $\mathcal{N}(μ, σ²)$ に従う。
大きさnの標本 $\mathbf{x} = (x_1, \cdots, x_n)$ が得られている。
$μ$ の事前分布として $\mathcal{N}(ϕ,τ^2)$ を仮定する。

このとき $μ$ の事後分布は、

$π(μ|\mathbf{x}) ∝ f(\mathbf{x}|μ,σ²)π(μ|ϕ,τ^2)$

の右辺を計算すれば良い。

さて、 $π(μ|\mathbf{x})$ ではなく $\log π(μ|\mathbf{x})$ で右辺を計算すると、

$\log π(μ|\mathbf{x}) ∝ \log f(\mathbf{x}|μ,σ²)π(μ|ϕ,τ^2) \\ = \displaystyle \log \left[\left( \prod^n \left( \frac{1}{\sqrt{2π}}\frac{1}{\sqrt{σ²}}\exp(-\frac{1}{2}\frac{1}{σ²}(x_i-μ)^2) \right) \right) \left( \frac{1}{\sqrt{2π}}\frac{1}{\sqrt{τ^2}}\exp(-\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2)\right)\right] \\ = \displaystyle \log \left[ \prod^n \frac{1}{\sqrt{2π}}\frac{1}{\sqrt{σ²}}\exp(-\frac{1}{2}\frac{1}{σ²}(x_i-μ)^2)\right] + \log \left[ \frac{1}{\sqrt{2π}}\frac{1}{\sqrt{τ^2}}\exp(-\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2)\right]\\ = \displaystyle \sum^n \log \left[ \frac{1}{\sqrt{2π}}\frac{1}{\sqrt{σ²}}\exp(-\frac{1}{2}\frac{1}{σ²}(x_i-μ)^2) \right]+ \log \left[ \frac{1}{\sqrt{2π}}\frac{1}{\sqrt{τ^2}}\exp(-\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2)\right]\\ = \displaystyle n\log \frac{1}{\sqrt{2π}} + n\log \frac{1}{\sqrt{σ²}} +\sum (-\frac{1}{2}\frac{1}{σ²}(x_i-μ)^2) + \log \frac{1}{\sqrt{2π}} + \log \frac{1}{\sqrt{τ^2}} + -\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2\\ = \displaystyle \sum (-\frac{1}{2}\frac{1}{σ²}(x_i-μ)^2) + -\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2 + \text{const}\\ ∝ \displaystyle \sum (-\frac{1}{2}\frac{1}{σ²}(x_i-μ)^2) + -\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2\\ = \displaystyle \sum (-\frac{1}{2}\frac{1}{σ²}(μ-x_i)^2) + -\frac{1}{2}\frac{1}{τ^2}(μ-ϕ)^2\\ = \displaystyle \sum (-\frac{1}{2}\frac{1}{σ²}(μ^2-2x_iμ + x_i^2)) + -\frac{1}{2}\frac{1}{τ^2}(μ^2-2ϕμ+ϕ^2)\\ = \displaystyle -\frac{1}{2}\frac{1}{σ²} \left( nμ^2 -2n\bar{x}μ + \sum x_i^2 \right) + -\frac{1}{2}\frac{1}{τ^2}(μ^2-2ϕμ+ϕ^2)\\ = \displaystyle -\frac{1}{2}\frac{1}{σ²} \left( nμ^2 -2n\bar{x}μ \right) + -\frac{1}{2}\frac{1}{τ^2}(μ^2-2ϕμ) + \text{const}\\ ∝ \displaystyle -\frac{1}{2}\frac{1}{σ²} \left( nμ^2 -2n\bar{x}μ \right) + -\frac{1}{2}\frac{1}{τ^2}(μ^2-2ϕμ)\\ = \displaystyle -\frac{1}{2}\frac{1}{σ² τ^2} \left( nτ^2μ^2 -2n\bar{x}τ^2μ + σ²μ^2-2σ²ϕμ \right)\\ = \displaystyle -\frac{1}{2}\frac{1}{σ² τ^2} \left( (nτ^2 + σ²)μ^2 -2( n\bar{x}τ^2 + σ²ϕ)μ \right)\\ = \displaystyle -\frac{1}{2}\frac{nτ^2 + σ²}{σ² τ^2} \left( μ^2 -2\left( \frac{ n\bar{x}τ^2 + σ²ϕ}{nτ^2 + σ²}\right) μ \right)\\ = \displaystyle -\frac{1}{2}\frac{nτ^2 + σ²}{σ² τ^2} \left( μ - \left( \frac{ n\bar{x}τ^2 + σ²ϕ}{nτ^2 + σ²} \right)\right)^2 + \text{const} \\ ∝ \displaystyle -\frac{1}{2}\frac{nτ^2 + σ²}{σ² τ^2} \left( μ - \left( \frac{ n\bar{x}τ^2 + σ²ϕ}{nτ^2 + σ²} \right)\right)^2 \\ = \displaystyle -\frac{1}{2}\frac{τ^2 + \frac{σ²}{n}}{\frac{σ²}{n} τ^2} \left( μ - \left( \frac{ \bar{x}τ^2 + \frac{σ²}{n}ϕ}{τ^2 + \frac{σ²}{n}} \right)\right)^2 \\ = \displaystyle -\frac{1}{2}\left( \frac{\frac{σ²}{n} τ^2}{ \frac{σ²}{n} + τ^2}\right)^{-1} \left( μ - \left( \frac{ ϕ\frac{σ²}{n} + \bar{x}τ^2} {\frac{σ²}{n} + τ^2 } \right)\right)^2 \\$

となるので、事後分布は

$\displaystyle \mathcal{N}\left( \frac{ ϕ\frac{σ²}{n} + \bar{x}τ^2} {\frac{σ²}{n} + τ^2 } , \frac{\frac{σ²}{n} τ^2}{ \frac{σ²}{n} + τ^2} \right)$

と表すことができる。