マルコフ連鎖

統計学実践ワークブック問14.2より。

問題の概要

• 状態空間S = {1,2,3}
• マルコフ連鎖 X = (Xn)を以下に定める
  • Xが状態iにあるとき、カードを１枚ランダムに引く。取り出したカードが
    • a_i であれば状態iにとどまる
    • a_j であれば
      • 確率c_ij = min( j/i, 1 ) で状態jに推移
      • 確率 1 - c_ij で iにとどまる
• カードは復元抽出とする
• (1)マルコフ連鎖Xの確率推移行列Q を求めよ

問題の理解

どのカードもどーよーにたしからしく引く、つまり1/3の確率で引くことができると考える。 また、各状態で「とどまる」とはつまり、状態iから状態iに推移すると言い換えることができる。

これらの点に注意しながら、以下「状態2」について詳細に計算過程を記述する。 なお、カードは[1][2][3]で表し、状態は①②③で表すとする。また、分数および1と0は確率のことを指している。

• ②のとき
  • 1/3で[1]を引き当てる
    • 1/2で①へ推移 ⇔ 確率1/6で ②→①と状態推移する
    • 1/2で[2]へ推移 ⇔ 確率1/6で ②→②と状態推移する
  • 1/3で[2]を引き当てる
    • 1で②へ推移 ⇔ 確率1/3で②→②と状態推移する
  • 1/3で[3]を引き当てる
    • 1で③へ推移 ⇔ 確率1/3で②→③と状態推移する
    • 0で②へ推移 ⇔ 確率0で②→②と状態推移する

これを状態推移ごとにまとめると、

状態推移	確率
②→①	1/6
②→②	1/6
②→②	1/3
②→③	1/3
②→②	0

となって、図で表現すると

となる。

従って、確率推移行列の第２行の成分は(1/6,1/2,1/3)となる。

同様に考えると、

• 第１行の成分は(1/3,1/3,1/3)
• 第３行の成分は(1/9,2/9,2/3)

となる。