ベイズ統計_07_マルコフ連鎖モンテカルロ法(2)

73.5K Views

May 28, 24

スライド概要

神戸大学大学院経営学研究科で2024年度より開講している「ベイズ統計」の講義資料「07_マルコフ連鎖モンテカルロ法(2)」です。代表的なMCMC法のアルゴリズムである「メトロポリス・ヘイスティングス法」「ギブスサンプリング」,stanで採用されている「ハミルトニアンモンテカルロ法」をそれぞれ解説しています。
【変更履歴】
・2026/11/19:マルコフ連鎖の話だったところを修正(p. 10),記号が逆だったところを修正(p. 12),定常分布に収束する様子の説明を追加(p. 15),ある定常分布に収束する推移核の条件の説明を追加(p. 16),MH法に基づいて無理やり推移確率行列を書いてみたものを追加(pp. 28-29)
・2026/09/28:表記の微修正(pp. 7, 11),流れが分かりやすくなるように順序の数字を追加(p. 69),タイポの修正(p. 16)
・2025/08/04:正規分布の表記をN(平均, 分散)に統一,HMCのRコードのミスを修正(p. 79)

profile-image

神戸大学経営学研究科准教授 分寺杏介(ぶんじ・きょうすけ)です。 主に心理学的な測定・教育測定に関する研究を行っています。 講義資料や学会発表のスライドを公開していきます。 ※スライドに誤りを見つけた方は,炎上させずにこっそりお伝えいただけると幸いです。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

ベイズ統計 07 マルコフ連鎖モンテカルロ法(2) 分寺 杏介 神戸大学大学院 経営学研究科  [email protected] ※本スライドは,クリエイティブ・コモンズ 表示-非営利 4.0 国際 ライセンス(CC BY-NC 4.0)に従って利用が可能です。

2.

MCMC ▌stanはMCMC法を行うプログラミング言語です 前回は Markov Chain マルコフ連鎖 と Monte Carlo 法のお話をしました モンテカルロ 今回はこれらを組み合わせたMCMC法の話です 07 マルコフ連鎖モンテカルロ法(2) 2

3.

前回のおさらい|モンテカルロ法 【メリット】 時間さえかければたいていの問題には答えが出せる パラメータの次元が増えてもなんとかなる 【デメリット】 計算に時間がかかる コンピュータに負荷がかかる 乱数生成しやすい分布じゃないと使えない 資料04, 05ではモンテカルロ法によって 点推定・区間推定を行っていた ベイズ統計の場合,共役事前分布がないと厳しい 共役事前分布がないときにも モンテカルロ法使えないかなぁ こんなのだと 乱数も作りづらい 07 マルコフ連鎖モンテカルロ法(2) 3

4.

前回のおさらい|マルコフ連鎖 ▌1時点前の状態のみに依存して確率が決まる 0.4 【例】 昨日はステーキを食べました。なので今日は 0.2 ヘルシー寄りで行こうかと思います。 0.3 0.3 0.2 0.1 クジで今日の晩ごはんを決めます。 0.1 0.5 0 0.2 0.2 0.2 0.3 • 0.3の確率で焼き魚 • 0.1の確率でチャーハン • 0.6の確率でサラダ • 2日連続ステーキにはならない(確率0) 0.6 0.1 0.3 07 マルコフ連鎖モンテカルロ法(2) 4

5.

前回のおさらい|マルコフ連鎖のいいところ ▌どんな初期値から始めても最終的には定常分布に収束する 収束した後は,定常分布からのランダムサンプリングと同じ 1日ずつ「前の日」の結果に基づいて抽選 51日目 [,1] [,2] [,3] [,4] [1,] 0.4 0.3 0.2 0.1 100日目 [,1] [,2] [,3] [,4] [1,] 0.2 0.2 0.3 0.3 > pi_n [,1] [,2] [,3] [,4] [1,] 0.2707483 0.3006803 0.262585 0.1659864 … 50日目 [,1] [,2] [,3] [,4] [1,] 0.2 0.5 0.1 0.2 定常分布から一気にn日分抽選 … 07 マルコフ連鎖モンテカルロ法(2) 5

6.

前回のおさらい|ベイズ統計におけるマルコフ連鎖の利用 ▌どんな初期値から始めても最終的には定常分布に収束する ベイズ統計的にはこれが事後分布になってほしい 晩ごはんの例 定常分布 わからない ベイズ統計モデル 尤度×事前分布ならわかる 事後分布そのものは,周辺尤度=積分があるので無理 推移確率 じゃあどうするか わかる 定常分布=事後分布となるような 推移確率はわからない 推移確率行列を使って計算したら 定常分布がでてくる 推移確率をうまいこと作って,定常分布が 事後分布と同じ形になるようにする 推移確率をどう設定すると 定常分布が事後分布になるか 07 マルコフ連鎖モンテカルロ法(2) 6

7.

前回のおさらい|連続分布での表記 ▌連続分布へ拡張する場合,和→積分に置き換えるだけで良い 特定の事象に限定した場合 離散分布では 𝑃 𝜃 (𝑡+1) = ෍ 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) (定常分布) 事後分布 連続分布では 𝑃 𝜃 𝑡+1 (推移確率) 推移核 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) = 𝑗 = ෍ 𝑃 𝜃 (𝑡) = 𝑖 𝑃 𝜃 (𝑡+1) = 𝑗 𝜃 (𝑡) = 𝑖 𝑖 𝑃 𝜃 (𝑡+1) = 𝑗 = න 𝑃 𝜃 (𝑡) = 𝑖 𝑃 𝜃 (𝑡+1) = 𝑗 𝜃 (𝑡) = 𝑖 𝑑𝑖 ここがどのような設定であれば 𝑃 𝜃 (𝑡) = 𝑃 𝜃 𝑡+1 となるのか? 06 マルコフ連鎖モンテカルロ法(1) 7

8.

前回のおさらい|マルコフ連鎖に基づく乱数生成 (定常分布) 事後分布 連続分布では 𝑃 𝜃 𝑡+1 (推移確率) 推移核 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) = 𝑃 𝜃 𝑌 ∝ 𝐿 𝑌 𝜃 𝑃(𝜃) 𝑃 𝜃 (𝑡) = 𝑃 𝜃 𝑡+1 (に比例する値)の計算は可能なので,上の式を 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) = 𝑃 𝜃 𝑡 , 𝑃 𝜃 𝑡+1 の関数 の形に整理できれば良さそう ▌結局やっていることは 乱数 𝜃 (𝑡) の生成分布から 適当な乱数 𝜃 (𝑡) を生成する 【ポイント】 確率分布(事後分布)全体の形は分からなくても 事後分布における特定の点の確率密度は計算可能 𝜃 (𝑡) 所与のもとで,推移核に従って 次の乱数𝜃 (𝑡+1) の発生確率分布が決まる 06 マルコフ連鎖モンテカルロ法(1) 乱数 𝜃 (𝑡+1) の生成分布から 適当な乱数 𝜃 (𝑡+1) を生成する 8

9.

1 Metropolis-Hastings 略してM-H法 07 マルコフ連鎖モンテカルロ法(2) 9

10.

マルコフ連鎖の十分条件 事後分布 ▌そもそもマルコフ連鎖がある定常分布𝑃 𝜃 (𝑡) に収束するために必要な推移核は? 𝑃 𝜃 𝑡+1 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) が成立するためには? 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) が成り立つような𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) を使えば良い 完全に一致 ▌なぜ? この式 の両辺を𝜃 (𝑡) で積分すると 𝑃 𝜃 𝑡+1 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) になるため න 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) 𝑑𝜃 (𝑡) = 1 (全事象の確率の和なので) 07 マルコフ連鎖モンテカルロ法(2) 10

11.

突然なんですか,この式は ▌詳細釣り合い条件と呼ばれます 特定の状態を例に考えてみましょう チャーハン 𝜃 (𝑡) = ステーキ 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) ×𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) 𝑡 + 1 日目の晩ごはんが である確率 𝑃 𝜃 (𝑡) ×𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) ある日の晩ごはんが 𝑡 日目の晩ごはんが ある日の晩ごはんが のときに 翌日の晩ごはんが である確率 のときに 翌日の晩ごはんが である確率 通常のマルコフ連鎖とは逆に ← という推移が起こる割合 07 マルコフ連鎖モンテカルロ法(2) である確率 通常のマルコフ連鎖的に → という推移が起こる割合 11

12.

詳細釣り合い条件の数値例 ▌超シンプルな例 晩ごはんは2種類のみ 基本的には「前の日と同じもの」を選びがち,という想定です 詳細釣り合い条件 きょう きのう どの𝜃 (𝑡) と𝜃 (𝑡+1) の組み合わせでも 0.9 0.1 0.4 0.6 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) が常に成り立つ (𝜃 (𝑡) = 𝜃 (𝑡+1) の時には常に成り立つ) 定常分布 𝜃 1 = ,𝜃 5 4 = だとすると… 5 𝜃 (𝑡) = , 𝜃 (𝑡+1) = のとき 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 1 5 07 マルコフ連鎖モンテカルロ法(2) × 0.4 = 4 5 × 0.1 12

13.

もう少し感覚的な理解を ▌割合を表すため「100人」を考えてみます。 今日の晩ごはんは,20人が 定常分布 𝜃 ,80人が 1 = ,𝜃 5 4 = 5 20×0.4=8人 72人 12人 80×0.1=8人 2つの状態の間で推移する割合が同じであれば 次の時点でも各状態の確率が変わらない きのう きょう 0.9 0.1 0.4 0.6 定常分布が維持されることがわかる 明日の晩ごはんも,20人が ,80人が 07 マルコフ連鎖モンテカルロ法(2) 13

14.

詳細釣り合い条件とサンプリング ▌詳細釣り合い条件が成り立っているとき 定常分布 𝜃 きょう 1 = ,𝜃 5 4 = 5 きのう 0.9 0.1 0.4 0.6 2つの状態の定常分布における確率𝑃 𝜃 (𝑡) をもとにして 次の時点のサンプリングは 推移先の状態の確率が高いほど 高確率で移動する 0.4 連続分布的には 0.6 0.9 0.1 推移先の状態の確率が低いと 移動する確率も低い 07 マルコフ連鎖モンテカルロ法(2) 14

15.

定常分布に向かって収束していく ▌100人中,今日の晩ごはんが 0 の人数 𝜃 定常分布 1 4 = ,𝜃 = 5 5 50 80 きのう きょう 90 0.9 0.1 0.4 0.6 100 50 : 50 20 : 80 10 : 90 50×0.4=20人 20×0.4=8人 10×0.4=4人 50×0.1=5人 80×0.1=8人 90×0.1=9人 35 : 65 20 : 80 15 : 85 どの状態からも,確実に定常分布(20 : 80)に近づいている! 07 マルコフ連鎖モンテカルロ法(2) 15

16.

ある定常分布に収束する推移核の条件 問 よりも が好きなので,定常分布が 𝜃 1 = ,𝜃 5 = 4 になるように細工することにしました。 5 推移確率行列をどのように決めたら,定常分布が↑に収束するでしょうか? ④ ▌詳細釣り合い条件を満たせば何でも良いので 定常分布での割合(事後確率)の比が1:4ということは の推移確率が きょう ① の4倍になっていれば良い! きょう きのう きょう きのう きのう 0.9 0.1 0.95 0.05 0.75 0.25 0.4 0.6 0.2 0.8 1.0 0 でも良い でも良い 07 マルコフ連鎖モンテカルロ法(2) でも良い 16

17.

詳細釣り合い条件を満たす推移核を探してこい 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) というわけで が成り立つような𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) を使えば良い それがわかっていたら苦労していないって ▌代わりに適当な提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) を用意してみます。 定常分布 𝜃 1 = ,𝜃 5 とすると 4 = 5 きのう きょう きのう 理論上は,提案分布はほぼどんなものでもOKです きょう 0.9 0.1 0.5 0.5 0.4 0.6 0.5 0.5 真の推移核(でもわからない) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 提案分布 𝑄 𝜃 ∗ 𝜃 (𝑡) ただ,本当にこれで良いのか保証がないので 𝜃 (𝑡+1) ではなく𝜃 ∗ と表記しておきます 17

18.

もちろん釣り合わない 定常分布 𝜃 きのう 4 = 5 𝑃 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) ≠ 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 1 4 × × ≠ 0.5 0.5 5 5 0.5 0.5 𝑃 𝜃 (𝑡+1) 𝑄 𝜃 (𝑡) 𝜃 (𝑡+1) ≠ 𝑃 𝜃 (𝑡) 𝑄 𝜃 (𝑡+1) 𝜃 (𝑡) 0.5 0.5 𝑄 𝜃 ∗ 𝜃 (𝑡) だけ用意しても詳細釣り合い条件は満たさない 1 = ,𝜃 5 きょう 提案分布 𝑄 𝜃 ∗ 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) = 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) を考える 真の推移核を「何か」と「提案分布」の積に分解できるように,そんな「何か」を考えます 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 𝑡 𝑃 𝜃 𝑡+1 𝜃 𝑡 𝑃 𝜃 (𝑡+1) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) とりあえずここまでは詳細釣り合い条件が満たされている 07 マルコフ連鎖モンテカルロ法(2) 18

19.

𝑔(⋅) の役割を感覚的に理解する ▌再び「100人」を考えてみます。 今日の晩ごはんは,20人が たどり着きたい 定常分布 𝜃 ,80人が 20×0.5=10人 きのう 40人 10人 80×0.5=40人 1 = ,𝜃 5 4 = 5 きょう 0.5 0.5 0.5 0.5 提案分布 提案分布を真に受けてしまうと 推移の発生割合のバランスが崩れる 𝑄 𝜃 ∗ 𝜃 (𝑡) ターゲットの定常分布には収束しない 明日の晩ごはんは,50人が ,50人が 07 マルコフ連鎖モンテカルロ法(2) 別の定常分布に収束してしまった! 19

20.

𝑔(⋅) の役割を感覚的に理解する(続き) ▌再び「100人」を考えてみます。 今日の晩ごはんは,20人が たどり着きたい 定常分布 𝜃 ,80人が 10人 10人 きのう 100% 10人 10人 75% 30人 提案後に,確率的に一部の人をもとに戻す 定常分布が維持されるようになる 明日の晩ごはんは,20人が 4 = 5 きょう 40人 40人 25% 1 = ,𝜃 5 0.5 0.5 0.5 0.5 提案分布を補正 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 採択確率 ,80人が 07 マルコフ連鎖モンテカルロ法(2) 20

21.

具体的に 𝑔(⋅) の形は? 𝑃 𝜃 (𝑡+1) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 両辺を𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) でわると 𝑃 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) = 𝑃 𝜃 𝑡 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 ∗ 𝜃 (𝑡) 𝑄 𝜃 (𝑡+1) 𝑔(⋅)のみを左辺に持っていくと 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) ∗ 𝜃 ,𝜃 (𝑡+1) が (𝑡) ∗ 𝜃 ,𝜃 (𝑡+1) = 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) であれば詳細釣り合い条件が保たれる 07 マルコフ連鎖モンテカルロ法(2) 21

22.

具体的に 𝑔(⋅) の形は? (つづき) 採択確率そのものではなく 2つの採択確率の比に関する制約 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) が 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 であれば詳細釣り合い条件が保たれる 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) もし提案分布が一様な分布であれば 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 定常分布𝑃(𝜃)における 𝑃 𝜃 𝑡+1 = 𝑃 𝜃 (𝑡) つまり 現在の状態の確率 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 正確には,ここで 対称な(𝑄 𝜃 ∗ 𝜃 𝑡+1 = 𝑄 𝜃 ∗ 𝜃 (𝑡) となる)提案分布 を用いたものはメトロポリス法と呼ばれます。 MH法は,𝑄 𝜃 ∗ 𝜃 𝑡+1 を含めて定式化することで 提案分布が対称でない場合にも一般化された方法です。 𝑃 𝜃 𝑡+1 = 𝑃 𝜃 (𝑡) と 推移先の状態の確率 の比 推移先の状態の確率 = 07 マルコフ連鎖モンテカルロ法(2) 現在の状態の確率 22

23.

数値例 ▌定常分布が 𝜃 1 = ,𝜃 5 いったん𝜃 (𝑡) = = 4 の場合, 5 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) の推移の採択確率は? とすると , 𝜃 (𝑡+1) = 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) と 𝑃 𝜃 𝑡+1 = 𝑃 𝜃 (𝑡) =4 単純に,定常分布上の確率の比が4倍,というだけ のときの採択確率が 10人 100% 10人 75% 10人 80% 4倍 40人 25% p. 17 8人 10人 4倍 のときの4倍になれば良い! 2人 20% 40人 5% 30人 他の数値例 07 マルコフ連鎖モンテカルロ法(2) 2人 95% 38人 23

24.

実際には のときの採択確率が 10人 100% 10人 75% 10人 80% 4倍 40人 25% p. 17 8人 10人 4倍 のときの4倍になれば良い! 2人 20% 40人 5% 30人 他の数値例 メトロポリス法では 確率の低い方から高い方への推移確率を100%として 低い方への推移確率を𝑓 𝜃 の比に基づいて決める 07 マルコフ連鎖モンテカルロ法(2) 2人 95% 38人 両方の採択確率が100%未満の場合 サンプリングが必要以上に動かないため 効率が良くないかもしれない 24

25.

Metropolis-Hastings法の手順 ① 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から乱数発生させる ② 出てきた𝜃 ∗ について確率min 𝑃 𝜃∗ 1, (𝑡) 𝑃 𝜃 p. 22 この後の計算で𝑄 𝜃 𝜃 を無視するため, 一様分布や正規分布から乱数を作るとラクです ∗ (𝑡) で採択する ベイズの定理を使って書き直すと 𝑃 𝜃∗ 𝑃 𝜃 (𝑡) 𝑃 𝑌 𝜃∗ 𝑃 𝜃∗ 𝑃(𝑌) = 𝑃 𝑌𝜃𝑡 𝑃 𝜃𝑡 𝑃(𝑌) = 𝑃 𝑌 𝜃∗ 𝑃 𝜃∗ 𝑃 𝑌𝜃𝑡 𝑃 𝜃𝑡 𝜃 (𝑡) と𝜃 ∗ の2点について 普通に尤度×事前分布の値を 計算するだけなのでかんたん 正規化定数が消えるので 事後分布のある点の確率(密度) 𝑃 𝜃 (𝑡) は分からなくても 2点の確率(密度)の比は簡単に計算できる! 07 マルコフ連鎖モンテカルロ法(2) 25

26.

Metropolis-Hastings法の手順 ① 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から乱数発生させる く り か え す ② 出てきた𝜃 ∗ について確率min 𝑃 𝜃∗ 1, (𝑡) 𝑃 𝜃 p. 22 この後の計算で𝑄 𝜃 𝜃 を無視するため, 一様分布や正規分布から乱数を作るとラクです ∗ (𝑡) で採択する ③ 採択する場合は𝜃 (𝑡+1) = 𝜃 ∗ となり,採択しない場合は𝜃 (𝑡+1) = 𝜃 (𝑡) 𝑃 𝜃 ∗ > 𝑃 𝜃 (𝑡) の場合,確率1で(必ず)採択する 10人 10人 4 𝑃(𝜃 ) = 5 100% 1 𝑃(𝜃 ) = 5 40人 25% 10人 75% 𝑃 𝜃 ∗ < 𝑃 𝜃 (𝑡) の場合,採択しないこともある 07 マルコフ連鎖モンテカルロ法(2) 30人 𝜃 (𝑡) に戻る 26

27.

Metropolis-Hastings法のイメージ 提案された候補の 事後確率密度𝑃 𝜃 ∗ が 𝑃 𝜃 (𝑡) より低い場合 確率的に棄却される 𝑃 𝜃∗ min 1, <1 𝑃 𝜃 (𝑡) 提案された候補の 事後確率密度𝑃 𝜃 ∗ が 𝑃 𝜃 (𝑡) より高い場合 必ず採択される 𝑃 𝜃∗ min 1, =1 𝑃 𝜃 (𝑡) 確率密度の高いところほど サンプリングされやすい 𝜃 (𝑡) をもとに 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から 乱数を発生 07 マルコフ連鎖モンテカルロ法(2) 27

28.

𝜃 (𝑡+1) の生成確率分布を無理やり書いてみたら 確率的に棄却されると 𝜃 (𝑡+1) = 𝜃 (𝑡) となるため 結果的に 𝜃 (𝑡) となる確率が高い 正確なスケールで描くと,この点はもっと高いところにあります こんな感じの確率分布を 𝜃 (𝑡) に応じて毎回作っているようなもの 𝜃 (𝑡) をもとに 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から 乱数を発生 07 マルコフ連鎖モンテカルロ法(2) 28

29.

推移確率行列っぽく書けば きょう きのう 0.4 0.3 0.2 0.1 0.2 0.5 0.1 0.2 0.2 0.2 0.3 0.3 0.3 0.1 0.6 0 0.5の幅に区切って離散変数のように表示しています 事後確率密度が 高い方に動きやすい 07 マルコフ連鎖モンテカルロ法(2) 29

30.

実際には連続変数なので きょう きのう 0.4 0.3 0.2 0.1 0.2 0.5 0.1 0.2 0.2 0.2 0.3 0.3 0.3 0.1 0.6 0 事後確率密度が 高い方に動きやすい この推移確率(行列)をわざわざ計算しなくても MH法のルールで毎回推移 or 棄却を決めていけば 結果的に定常分布が事後分布になる! 07 マルコフ連鎖モンテカルロ法(2) 30

31.

とりあえずやってみる ▌資料05でやった「コンビニの売上」をやってみます 例 あるコンビニチェーンのアナリストは,各店舗の利益に影響する要因を調べることにしました。 その第一歩として,まずは母集団(全店舗)での利益の平均と分散を推測したいと思います。 なお,利益はふつう正規分布に従うと言われているとします。 ほぼ無情報事前分布のときの 解析的な事後分布 2 𝜎 𝑃 𝜇|𝜎 2 , 𝒙 ∝ 𝑁 6.9842, 10 𝑃 𝜎 2 |𝒙 ∝ InvGamma(50.0005, 83.383) これくらいの事後分布が 出てきてくれたら成功 07 マルコフ連鎖モンテカルロ法(2) 31

32.

やってみましょう 【用意するもの】 ▌(共役でなくてもよい)事前分布 ほぼ無情報事前分布を設定しておきます 𝑃(𝜇) = 𝑁 0, 100000 , 𝑃 𝜎 2 = InvGamma(0.001, 0.001) 採択確率の計算をラクにするため,「前の時点から±0.1の範囲」の一様分布としました ▌提案分布 𝑄 𝜇∗ 𝜇 𝑡 = Unif 𝜇 𝑡 − 0.1, 𝜇 𝑡 + 0.1 ∗ 2 𝑄 𝜎 𝜎𝑡 ▌初期値 = Unif 𝑡 2 𝜎 𝑡 2 − 0.1, 𝜎 + 0.1 マルコフ連鎖的には,初期値は何でも良いはずです (0) (0) 2 𝜇 = 1, 𝜎 =1 07 マルコフ連鎖モンテカルロ法(2) 32

33.

改めて手順を確認 ① 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から乱数発生させる く り か え す 今回はそれぞれのパラメータをUnif 𝜃 𝑡 − 0.1, 𝜃 𝑡 + 0.1 から発生 ② 出てきた𝜃 ∗ について確率min 𝑃 𝜃∗ 1, (𝑡) 𝑃 𝜃 で採択する 尤度 事前分布 ∗ ∗ ∗ 2 ∗ 2 𝑃 𝑌 𝜇 ,𝜎 𝑃 𝜇 𝑃 𝜎 𝑃 𝜃∗ = (𝑡) 𝑡 𝑃 𝜃 𝑃 𝑌 𝜇 𝑡 , 𝜎2 𝑃 𝜇 𝑡 𝑃 𝜎2 𝑡 ③ 採択する場合は𝜃 (𝑡+1) = 𝜃 ∗ となり,採択しない場合は𝜃 (𝑡+1) = 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 33

34.
[beta]
(補足)M-H法のRコード
▼準備・パラメータ設定

# M-H sampling
for(s in 2:S){

# データの読み込み

mu_now <- samples$mu[s-1]

dat <- read.csv("data_cvs.csv")

sigma2_now <- samples$sigma2[s-1]

SALES <- dat$sales

# 更新の提案
mu_prop <- runif(1, mu_now-w_prop, mu_now+w_prop)

# initial value

sigma2_prop <- runif(1, sigma2_now-w_prop, sigma2_now+w_prop)

mu_init <- 1; sigma2_init <- 1

if(sigma2_prop < 0) sigma2_prop <- 0.0001

# サンプリング回数

# 採択確率の計算

S <- 10000

# 提案された箇所の対数確率密度

# サンプリング結果を入れておく箱(data.frame)

lp_prop = sum(dnorm(SALES, mu_prop, sqrt(sigma2_prop), log = TRUE)) +

# is_acceptedは提案された値が採択されたかを格納しておく列

dgamma(1/sigma2_prop, 0.001, 0.001, log = TRUE) +

samples <- data.frame(mu = rep(NA,S), sigma2 = NA, is_accepted = NA)

dnorm(mu_prop, 0, 100000, log = TRUE)

samples[1, c("mu","sigma2")] <- c(mu_init, sigma2_init)

# 現在の箇所の対数確率密度

w_prop <- 0.1 # 提案(一様)分布の広さ

lp_now = sum(dnorm(SALES, mu_now, sqrt(sigma2_now), log = TRUE)) +
dgamma(1/sigma2_now, 0.001, 0.001, log = TRUE) +
dnorm(mu_now, 0, 100000, log = TRUE)
prob <- exp(lp_prop - lp_now)
if(runif(1) < prob){

samples[s,] <- c(mu_prop, sigma2_prop, TRUE)
} else {
samples[s,] <- c(mu_now, sigma2_now, FALSE)
}

本体

}

07 マルコフ連鎖モンテカルロ法(2)

34

35.

結果を見てみる plot(samples$mu,type="l") plot(samples$mu, samples$sigma,type="l") 定常っぽく見える 定常っぽく見える 初期値 初期値 トレースプロット サンプリングの動き どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 35

36.

はじめのほうのサンプリング 資料06 p. 40 当然最初の方は初期値に依存するので,事後分布の復元には ある程度経ってからのサンプルのみを使用します 設定した初期値 実際に何回捨てる必要があるかは ・データによります ・アルゴリズムによります ・モデルによります ・事前分布によります ・乱数によります ・初期値によります etc… 07 マルコフ連鎖モンテカルロ法(2) 36

37.

最初をすてて事後分布 M-H法による事後分布 plot(density(samples$mu[-(1:1000)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 37

38.

最初をすてて事後分布 M-H法による事後分布 plot(density(samples$sigma[-(1:1000)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 38

39.

提案分布の重要性 「±0.02の範囲」の一様分布の場合 「±0.1の範囲」の一様分布の場合 おそすぎる うまくいく 「±3の範囲」の一様分布の場合 各ステップの幅(ステップサイズ)が • 小さいとサンプリング効率が悪くなる カクカクしている =採択率が低い • 大きくてもサンプリング効率は悪くなる 適切な設定を探す必要がある 07 マルコフ連鎖モンテカルロ法(2) 39

40.

提案分布を決めるために ▌MCMCにおけるサンプリング効率を考えてみます 最高効率 一つ一つ 事後分布全体から 事後分布から直接乱数を生成する方法 一つ一つのサンプルが独立に情報を与えるため効率的 低効率 縦横無尽に サンプリングできる 「±0.02の範囲」の一様分布を用いたM-H法の場合 2 1 動きが遅すぎるとサンプリング効率が悪い 1 初期値に依存している時間が長いから 2 定常分布に到達した後も 前の値を引きずっているから 少しずつしか移動できないので 事後分布全体を網羅するには 時間がかかるのです 「前の値を引きずっている」程度を 定量化してみてみます 07 マルコフ連鎖モンテカルロ法(2) 40

41.

自己相関 (autocorrelation) ▌n個前のサンプルとの相関係数 最高効率 事後分布から直接乱数を生成する方法 毎回ランダムサンプリングなのでもちろん自己相関は0 低効率 「±0.02の範囲」の一様分布を用いたM-H法の場合 実際に計算してみると… 40個前のサンプルとも およそ0.97の相関がある acf(samples$mu) 07 マルコフ連鎖モンテカルロ法(2) 41

42.

自己相関 (autocorrelation) ▌n個前のサンプルとの相関係数 最高効率 事後分布から直接乱数を生成する方法 毎回ランダムサンプリングなのでもちろん自己相関は0 低効率 「±0.02の範囲」の一様分布を用いたM-H法の場合 極端な話をすると 2500個前くらいで ようやく自己相関はほぼ0になる acf(samples$mu) 𝑠 = 1, 2501, 5001, 7501, ⋯ 乱数を2500個おきに使ってやっと 事後分布から直接乱数を生成する方法 と同じといえる 3000個前までとの 自己相関を出してみた 07 マルコフ連鎖モンテカルロ法(2) 42

43.

自己相関に基づくステップサイズの決定 ▌自己相関が低いほどサンプリング効率が良い 提案分布の幅を色々と変えて自己相関(lag=40)を計算してみます 自己相関 (lag=40) 幅が狭すぎると 移動に時間がかかる 自己相関大 幅が広すぎると 棄却されやすくなる 棄却された場合 前回と同じ値になる 自己相関大 このあたりが ベスト 青: 𝑃 𝜃 ∗ < 𝑃 𝜃 𝑡 赤: 𝑃 𝜃 ∗ ≥ 𝑃 𝜃 𝑡 提案分布の幅が広すぎると 𝑃 𝜃 ∗ が高くなるような𝜃 ∗ が 提案される確率が低くなる 提案分布の幅 07 マルコフ連鎖モンテカルロ法(2) 43

44.

(確認)採択率と自己相関 ▌自己相関が低いほどサンプリング効率が良い 提案分布の幅を色々と変えて自己相関(lag=40)を計算してみます 自己相関 (lag=40) ステップサイズの決め方 提案分布の幅が 広すぎると 採択率は低くなる いろいろなステップサイズで 短いMCMCを回す 自己相関大 採択率と自己相関 提案分布の幅が 狭すぎると 採択率は高くなるが 一歩一歩が小さい このあたりが ベスト 自己相関大 採択率 07 マルコフ連鎖モンテカルロ法(2) がいい感じになる ステップサイズを見つける 決定したステップサイズで 長いMCMCを行う 最適な採択率はモデルによる 試行錯誤するしかない 44

45.

2 Gibbs Sampling 07 マルコフ連鎖モンテカルロ法(2) 45

46.

できることなら ▌事後分布が直接導出できればそこから乱数を出せば良い 例えば2つのパラメータの事後分布が こんな感じとわかっていたとして そこから同時に乱数をつくればいい 同時事後分布から乱数が作れたら…の話 07 マルコフ連鎖モンテカルロ法(2) 46

47.

実際には ▌同時分布を導出するのは結構しんどいことがある 重回帰分析くらいでもパラメータの数が増えるとつらい ▌導出できても乱数を出しづらいことがある 相関関係まで考慮するのは 正規分布以外では厳しそう 例えば「正規分布に従うパラメータ」「ガンマ分布に従うパラメータ」 「ベータ分布に従うパラメータ」の3つを同時に乱数生成できるか? 多分無理 一つずつ順番に乱数を作るほうがまだ望みがある 𝜇, 𝜎 2 を同時に 𝜇 だけをサンプリング 𝜎 2 だけをサンプリング のかわりに 07 マルコフ連鎖モンテカルロ法(2) 47

48.

Gibbs Sampling ▌こんな時に使えます パラメータ数が多すぎて同時事後分布が作れないとき 全てのパラメータの同時事後分布が作れるけど意味不明な(乱数作れない)とき でもパラメータごとの条件付き分布は計算でき,乱数が作りやすいとき 【例】パラメータを2つに分けて考える(𝜽 = {𝜽1 , 𝜽2 }) ※ 𝜽はベクトルでも問題ない ( 𝜽1 = 𝛼, 𝛽 , 𝜽2 = {𝛾}とかでもOK) 同時事後分布はベイズの定理に当てはめれば頑張れば計算可能 𝑃 𝒀 𝜽1 , 𝜽2 𝑃(𝜽1 , 𝜽2 ) 𝑃 𝜽1 , 𝜽2 𝒀 = 𝑃(𝑌) 07 マルコフ連鎖モンテカルロ法(2) 48

49.

Gibbs Sampling 「パラメータごとの条件付き分布は計算でき,乱数が作りやすい」とは… 事後分布 𝑃 𝜽1 , 𝜽2 𝒀 は扱いにくいが 𝑃 他のパラメータを所与とした条件付き分布 𝑡 𝑡−1 𝑡 𝑡−1 𝜽1 𝜽2 , 𝒀 と𝑃 𝜽2 𝜽1 , 𝒀 なら扱いやすい ということ 【例】正規分布の平均 𝜇 と分散 𝜎 2 の推定 • 同時事後分布 𝑃 𝜇, 𝜎 2 𝒙 は扱いにくいが ※第5回では「𝑃(𝜎 2 |𝒙)から 𝜎 2 のサンプリング」→「𝑃 𝜇 𝜎 2 , 𝒙 から 𝜇のサンプリング」の2段階で行いました。 これは,「正規分布と逆ガンマ分布から同時に乱数を作ることは難しい」ためです。 • 𝑃 𝜇 (𝑡) 𝜎 2 (𝑡−1) , 𝒙 と𝑃 𝜎 2 (𝑡) 𝜇 (𝑡−1) , 𝒙 なら扱いやすい ※気をつけてほしいのは,赤い分布と青い分布は別だということです。 07 マルコフ連鎖モンテカルロ法(2) 49

50.

違う分布? ▌平均パラメータ 𝜇 について 第5回で導出した理論的な事後分布は 𝑃 𝜇 𝜎 2 , 𝒙 ギブスのための条件付き分布は 𝑃 𝜇 (𝑡) 𝜎 2 (𝑡−1) ,𝒙 𝜎 2 を 𝑡 − 1 回目のサンプリング に固定した上での 𝜇 の分布 どちらも 𝜎 2 を何らかの値に固定した(条件付けた) 𝜇 の分布 似てる ▌分散パラメータ 𝜎 2 について 第5回で導出した理論的な事後分布は 𝑃 𝜎 2 𝒙 𝜇 の値で条件付けられていない ギブスのための条件付き分布は 𝑃 𝜎 2 (𝑡) 𝜇 (𝑡−1) , 𝒙 少し違う 𝜇 の値で条件付けられている 07 マルコフ連鎖モンテカルロ法(2) 50

51.

分布の比較 平均パラメータ 分散パラメータ𝜎 2 の逆数 𝜇 𝜏 共役事前分布|𝜇 ∼ 𝑁 理論的な事後分布 資料05 p. 85 𝜎2 𝜇0 , 𝑛0 𝑃 𝜇 𝜎, 𝒙, 𝜇0 , 𝑛0 , 𝜈0 , 𝜎0 𝑛0 𝜇0 + 𝑛𝑥ҧ 𝜎 2 =𝑁 , 𝑛0 + 𝑛 𝑛0 + 𝑛 準共役で独立な事前分布|𝜇 ∼ 𝑁 , 𝜏 ∼ Gamma 𝜈0 𝜈0 𝜎02 , をおいた場合 2 2 𝑃 𝜏 𝒙, 𝜈0 , 𝜎02 𝑛0 𝑛 2 2 𝜈 𝜎 + 𝑛 − 1 𝑠 + 𝑥ҧ − 𝜇0 2 0 𝑥 0 𝜈0 + 𝑛 𝑛0 + 𝑛 = Gamma , 2 2 1 𝜇0 , 𝜏0 , 𝜏 ∼ Gamma 𝜈0 𝜈0 𝜎02 , 2 2 をおいた場合 資料05 p. 72 ギブスのための 条件付き分布 𝑃 𝜇 (𝑡) 𝜏 (𝑡−1) , 𝒙, 𝜇0 , 𝜎02 , 𝜈0 , 𝜎0 𝜏0 𝜇0 + 𝑛𝜏 (𝑡−1) 𝑥ҧ 1 =𝑁 , 𝜏0 + 𝑛𝜏 (𝑡−1) 𝜏0 + 𝑛𝜏 (𝑡−1) 𝑃 𝜏 (𝑡) 𝜇 (𝑡−1) , 𝒙, 𝜇0 , 𝜎02 , 𝑛0 , 𝛾0 = Gamma 07 マルコフ連鎖モンテカルロ法(2) 𝜈0 + 𝑛 , 2 𝜈0 𝜎02 + σ𝑛𝑖=1 𝑥𝑖 − 𝜇 𝑡−1 2 51 2

52.

ギブスサンプラーの目的 ▌もともとのMCMCがやりたいことは 𝑃 𝜃 𝑡+1 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) が成り立つように推移核を設定することだった 事後分布 (定常分布) 推移核 ▌正規分布のケースでは2変数なので 推移確率は 𝑡 回目のサンプリング のみに依存して決まるため, 確かにこれはマルコフ連鎖なのです 𝑃(𝜇 𝑡+1 , 𝜏 (𝑡+1) ) = න 𝑃 𝜇 𝑡 , 𝜏 (𝑡) 𝑃 𝜇 𝑡+1 , 𝜏 (𝑡+1) 𝜇 𝑡 , 𝜏 (𝑡) 𝑑𝜇𝑑𝜏 以下のように置き換えると式が成り立つのです 𝑃 𝜇 𝑡+1 , 𝜏 (𝑡+1) 𝜇 𝑡 , 𝜏 (𝑡) = 𝑃 𝜇 𝑡+1 𝜏 𝑡+1 , 𝜇 𝑡 , 𝜏 𝑡 𝑃 𝜏 𝑡+1 |𝜇 𝑡 , 𝜏 (𝑡) (𝜇, 𝜏)の(同時)推移核 𝜏 を固定した 𝜇の(同時)推移核 07 マルコフ連鎖モンテカルロ法(2) 𝜇 を固定した 𝜏の(同時)推移核 52

53.

ギブスサンプラーの手順 ① とりあえず初期値𝜇 (0) , 𝜏 (0) を決める 𝜏 の条件付き事後分布 ② 初期値を使って𝜇 = 𝜇 (0) に固定した状態で𝑃(𝜏 (1) |𝜇 (0) , 𝒙)から𝜏 ∗ を乱数発生させる ③ 出てきた𝜏 ∗ = 𝜏 (1) として𝑃(𝜇 (1) |𝜏 (1) , 𝒙)から𝜇∗ を乱数発生させる ④ 出てきた𝜇∗ = 𝜇 (1) として𝑃(𝜏 (2) |𝜇 (1) , 𝒙)から𝜏 ∗ を乱数発生させる ⑤ ③と④をひたすら繰り返す 𝜇 の条件付き 事後分布に基づいて 𝜇 (1) 𝜇 (2) 𝜇 (3) 𝜇 (4) 𝜏 の条件付き 事後分布に基づいて 𝜏 (1) 𝜏 (2) 𝜏 (3) 𝜏 (4) 07 マルコフ連鎖モンテカルロ法(2) … 𝜇 (𝑆) 𝜏 (𝑆) 53

54.
[beta]
(補足)Gibbs SamplingのRコード
▼本体

▼準備・パラメータ設定
# データの読み込み

# Gibbs sampling

dat <- read.csv("data_cvs.csv")

for(s in 2:S){

SALES <- dat$sales

# muの条件付き事後分布
mean_s <- (tau0*mu0 + n*samples$tau[s-1]*mean_Y)/(tau0 + n*samples$tau[s-1])

# initial value

sd_s <- 1/sqrt(tau0 + n*samples$tau[s-1])

mu_init <- 1

# 条件付き事後分布から普通に乱数生成

tau_init <- 1

# 精度(sigmaの逆数)の初期値

samples$mu[s] <- rnorm(1, mean_s, sd_s)

# prior distribution

# sigmaの条件付き事後分布

mu0 <- 0

alpha_s <- (nu0 + n)/2

tau0 <- nu0 <- 0.001

beta_s <- (nu0 * sigma0 + sum((SALES-samples$mu[s])^2))/2

sigma0 <- 1

# 条件付き事後分布から普通に乱数生成

# サンプリング回数

samples$tau[s] <- rgamma(1, alpha_s, beta_s)

S <- 10000

}

# sigmaに戻す
# サンプリング結果を入れておく箱(data.frame)

samples$sigma2 <- 1/samples$tau

# 計算時にはtauを使うが,関心があるのはsigma2
samples <- data.frame(mu = rep(NA,S), tau = NA, sigma2 = NA)
samples[1,c("mu","tau")] <- c(mu_init, tau_init)

# 繰り返し必要な計算は先にやっておく
n <- length(SALES)
mean_Y <- mean(SALES)

07 マルコフ連鎖モンテカルロ法(2)

54

55.

結果を見てみる plot(samples$mu,type="l") plot(samples$mu, samples$sigma,type="l") 定常っぽく見える 定常っぽく見える 初期値 初期値 トレースプロット サンプリングの動き どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 55

56.

最初をすてて事後分布 Gibbsによる事後分布 plot(density(samples$mu[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 56

57.

最初をすてて事後分布 Gibbsによる事後分布 plot(density(samples$sigma[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 57

58.

M-H法とGibbs ▌Gibbsの利点 (M-H法的に言えば)採択率が必ず1になる 効率的なことが多い ステップサイズを決める必要がない ▌M-H法の利点 (条件付き)事後分布の形が分からなくても使える ▌組み合わせても良い 条件付き事後分布が導出できるパラメータはGibbsでサンプリングして そうでないパラメータはM-H法で ▲ これを交互に繰り返すのもアリ 07 マルコフ連鎖モンテカルロ法(2) 58

59.

3 Hamiltonian Monte Carlo いよいよstanの中身に迫る 07 マルコフ連鎖モンテカルロ法(2) 59

60.

M-Hの弱点 ▌M-Hがうまく機能するためには パラメータが十分なスピードで動き 採択される確率が低すぎない 必要があり,そのために (一様分布であれば)適切な幅を定める必要がある p. 39 適切な幅はパラメータのスケールによるので パラメータごとに決める必要がある パラメータがいっぱいあったら 全部手作業で探さないといけないんですか? 07 マルコフ連鎖モンテカルロ法(2) 60

61.

一番の問題は なので多変量でM-H法を使う場合 Gibbsのように変数を分割して 順番に更新していくことが多いです ▌採択率が低すぎること 1変量の場合,少なくとも半分の確率で 今よりも事後密度が低い値が提案されてしまう 多変量になるほど 今よりも事後密度が高い値は出にくくなる 青: 𝑃 𝜃 ∗ < 𝑃 𝜃 𝑡 赤: 𝑃 𝜃 ∗ ≥ 𝑃 𝜃 𝑡 そもそも事後密度の高い値が提案されやすかったら良いのでは? 07 マルコフ連鎖モンテカルロ法(2) 61

62.

突然ですが物理の話 ▌お椀型の地形があったとさ このサッカーボールを 左に蹴るとどうなる? 坂で勢いを失って 右に戻った後 行ったり来たりして 最終的に谷底で止まる 07 マルコフ連鎖モンテカルロ法(2) 62

63.

物体がもつエネルギー ▌高校物理で出てくるらしい話 力学的エネルギー = 位置エネルギー + 運動エネルギー またの名をハミルトニアン 出発して𝜏秒後の ℎ(𝜏) 高さをℎ(𝜏),位置を𝜃(𝜏)とします ハミルトニアンを 𝐻 𝜏 位置エネルギーを 𝑈 𝜏 運動エネルギーを 𝐾(𝜏) 𝜃(𝜏) 𝐻 𝜏 = 𝑈 𝜏 + 𝐾(𝜏) 07 マルコフ連鎖モンテカルロ法(2) 63

64.

エネルギー 力学的エネルギー = 位置エネルギー + 運動エネルギー 𝐻 𝜏 = 𝑈 𝜏 + 𝐾(𝜏) ▌【位置エネルギー】 𝑈 𝜏 = 質量×重力加速度×高さ = 𝑚𝑔ℎ(𝜏) 重いものほど,高いところにあるものほど位置エネルギーが大きい ▌【運動エネルギー】 1 1 1 2 2 𝐾 𝜏 = ×質量× 速さ = 𝑚𝑣 𝜏 = 𝑝 𝜏 2 2 2 2𝑚 重いものほど,速いものほど運動エネルギーが大きい 07 マルコフ連鎖モンテカルロ法(2) 運動量を一つの変数で表すため 𝑝 𝜏 = 𝑚𝑣 𝜏 = 質量×速さ として変形しています (ニュートンの運動方程式) 64

65.

エネルギー保存の法則 力学的エネルギー = 位置エネルギー + 運動エネルギー 𝐻 𝜏 = 𝑈 𝜏 + 𝐾(𝜏) 摩擦などがなければ,常に𝐻 𝜏 が一定に保たれる ℎ(𝜏) 理想的な状況では, どんな強さでボールを弾いたら,何秒後 にどこまでどれくらいの速さで転がるか この高さにあるボールを 左に0.5の強さで蹴ったら (摩擦や空気抵抗などが無ければ) 𝜏 秒後にはちょうどここにくるはず が全て計算できるということ 𝜃(𝜏) 07 マルコフ連鎖モンテカルロ法(2) 65

66.

なぜ急に物理の話をしたのか? ▌もしもここまでの考え方を事後分布上で表現できたら? 事後分布 対数をとって ひっくり返すと このサッカーボールを 適当な強さで蹴って 𝜏 秒の位置を記録する 𝜏 秒後の位置 𝜃(𝜏) を サンプリングする 07 マルコフ連鎖モンテカルロ法(2) 66

67.

なぜ急に物理の話をしたのか? ▌もしもここまでの考え方を事後分布上で表現できたら? この手続きを繰り返せば𝜏 秒後の位置 𝜃(𝜏) は 開始時の位置(一時点前のサンプリング) のみに依存するサンプリングになる 次はここから再び サッカーボールを 適当な強さで蹴って 𝜏 秒の位置を記録する マルコフ連鎖 で,結局M-Hと比べて 何が嬉しいのか? 𝜏 秒後の位置 𝜃(𝜏) を サンプリングする 07 マルコフ連鎖モンテカルロ法(2) 67

68.

M-H法との比較 Metropolis-Hastings法 物理学的な考え方 実際にはもとの事後分布に基づいて 計算が行われます エネルギー保存の法則のおかげで ボールの位置を計算すること自体は とても簡単です 蹴る方向と強さ 提案分布 変な方向に蹴ったとしても 時間が経てばボールは低いところに いることが多いはず 次の候補をただランダムに決めるので 今よりも確率密度の高いところが選ばれる確率が高くない =提案が棄却されることが多い =効率的なサンプリングにつながる 07 マルコフ連鎖モンテカルロ法(2) 68

69.

ちょっと式変形 出発して𝜏秒後の高さをℎ(𝜏),位置を𝜃(𝜏)とすると 𝜃(𝜏)がわかれば自動的にℎ(𝜏)もわかる ℎ 𝜏 = ℎ(𝜃 𝜏 )とおく ℎ(𝜏) 摩擦などが無ければ,一度蹴ったボールは 同じ範囲を無限に行ったり来たりする ある時点の位置からその高さは逆算できる さらに一旦𝜏も消して考えてみる さらにさらに質量と重力加速度がそれぞれ 1であると仮定すると(𝑚 = 𝑔 = 1) 位置エネルギー 𝑈 𝜏 =ℎ 𝜃 , 𝜃(𝜏) 運動エネルギー 1 2 𝐾 𝜏 = 𝑝 2 1 2 𝐻 𝜃, 𝑝 = ℎ 𝜃 + 𝑝 2 ハミルトニアンは 位置𝜃と運動量𝑝による関数で表現される 07 マルコフ連鎖モンテカルロ法(2) 69

70.

Hamiltonian Monte Carlo ▌ベイズに戻ります。 事後分布𝑃(𝜃|𝑌)と,独立な標準正規分布𝑃(𝑝)の同時分布を考える 𝑃 𝜃, 𝑝 𝑌 = 𝑃 𝜃 𝑌 𝑃(𝑝) ※𝑝は𝜃と無関係に生成される乱数 あってもなくても事後分布には影響しない 𝑃 𝜃, 𝑝 𝑌 = 𝑃 𝜃 𝑌 log 𝑃 𝜃, 𝑝 𝑌 = log 𝑃 𝜃 𝑌 + log 𝑃 𝑝 1 2 ∝ log 𝑃 𝜃 𝑌 − 𝑝 2 1 2 − log 𝑃 𝜃 𝑌 = ℎ(𝜃)とすると = −ℎ 𝜃 − 𝑝 2 = −𝐻 𝜃, 𝑝 𝑃 𝜃, 𝑝 𝑌 = exp −𝐻 𝜃, 𝑝 標準正規分布の確率密度関数は 1 𝑥2 𝑃 𝑥 = exp − 2 2𝜋 𝑥2 カーネルの対数を取ると − 2 事後分布とハミルトニアンが繋がった! つまり「まるで蹴ったボールの位置を記録するかのように」事後分布からのサンプリングができる,ということ 07 マルコフ連鎖モンテカルロ法(2) 70

71.

HMCのアルゴリズム ① 適当なところ𝜃 (0) に ② をおく(初期値) を適当な強さで適当な方向に蹴る 𝑡 運動量𝑝(𝑡) を与える これが「事後分布とは独立な標準正規分布𝑃(𝑝)からの乱数」 ③ しばらくしたら ④ また を止めて位置𝜃 (𝑡) を記録 𝑡+1 蹴る方向と強さ を𝑝(𝑡+1) ではじく→ 𝜃 (𝑡+1) を記録 事後分布によって作られた傾斜のおかげで基本的には 低いところ=事後確率密度が高いところに集まりやすい 07 マルコフ連鎖モンテカルロ法(2) 71

72.

ハミルトニアンは変わらない 時点𝑡で𝜃 (𝑡) にいた が 𝑝(𝑡) = −1.6のパワーで蹴られたら ハミルトニアンの地図 (内側ほど𝐻 𝜃, 𝑝 が低い) 𝑝(𝜏) 𝜃 (𝑡) 蹴られた瞬間と ハミルトニアン𝐻(𝜃, 𝑝)が同じ (𝜃, 𝑝)の組み合わせの集合 -1.6 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 𝜃(𝜏) 72

73.

ハミルトニアンは変わらない 時点𝑡で𝜃 (𝑡) にいた が 𝑝(𝑡) = −1.6のパワーで蹴られたら 1. まずちょっと左に行こうとする 摩擦などが無ければ 等高線上をぐるぐる回り続ける 2. でも傾斜がきついのですごい勢いで右に転がっていく 3. 同じ高さまで到達したらまた左に動き出す ハミルトニアンの地図 (内側ほど𝐻 𝜃, 𝑝 が低い) 4. しばらくしたら𝜃 (𝑡+1) にいる …そしてまた適当なパワーで弾かれていく… 𝑝(𝜏) (2) +方向に動く力 を持っている (1) 𝜃 (𝑡) (4) (3) 𝑝(𝑡+1) = 0.8 -方向に動く力 を持っている (1) (3) -1.6 (2) (4) 𝜃 (𝑡+1) 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 𝜃 (𝑡+1) 𝜃(𝜏) 73

74.

位置が計算できる 位置𝜃と蹴った強さ𝑝がわかれば,何秒後に どこにいて (𝜃(𝜏)) どれだけの運動量を持っているか (𝑝(𝜏)) が計算できる ハミルトンの運動方程式 𝑑𝑝(𝜏) = −ℎ′ 𝜃 𝜏 𝑑𝜏 𝑑𝜃(𝜏) = 𝑝(𝜏) 𝑑𝜏 𝑝(𝜏) 運動量の変化率は高さの微分 =斜面の傾きで決まる 位置の変化率は運動量で決まる -1.6 どちらも変化率が時間 𝜏 に応じて変化するので ちょっとずつ動かしながら計算していく 07 マルコフ連鎖モンテカルロ法(2) 𝜃 (𝑡) 𝜃 (𝑡+1) 𝜃(𝜏) 74

75.

実際の計算は少しずつ動かしながら ▌リープフロッグ法 リープフロッグは「馬跳び」という意味 位置の変化率 𝑑𝜃(𝜏) = 𝑝(𝜏) 𝑑𝜏 運動量の変化率 𝑑𝑝(𝜏) = −ℎ′ 𝜃 𝜏 𝑑𝜏 運動量と位置を交互に計算していく 𝜃(0) と 𝑝(0) から 1 1 秒後の位置𝜃 を 2 2 計算する 1 𝜃 2 と 𝑝(1) から 3 3 秒後の位置𝜃 を 2 2 計算する ︙ 𝜃 1 𝜏−2 を計算する 1 𝜏+2 𝑝(𝜏) 3 𝜃 と 𝑝(1) から 2 2秒後の運動量𝑝 2 を計算する ︙ と 𝑝(𝜏) から 1 𝜏 + 2秒後の位置𝜃 1 𝜃 2 と 𝑝(0) から 1秒後の運動量𝑝 1 を計算する 1 𝜏+2 -1.6 𝜃 と 𝑝(𝜏) から 𝜏 + 1 秒後の運動量 𝑝 𝜏 + 1 を計算する 07 マルコフ連鎖モンテカルロ法(2) 𝜃 (𝑡) 𝜃(𝜏) 75

76.

ちょっとずつ動かしながら ▌リープフロッグ法 リープフロッグは「馬跳び」という意味 位置の変化率 𝑑𝜃(𝜏) = 𝑝(𝜏) 𝑑𝜏 運動量の変化率 𝑑𝑝(𝜏) = −ℎ′ 𝜃 𝜏 𝑑𝜏 運動量と位置を交互に計算していく 【開始時】 1 1 𝜃 = 𝜃 0 + 𝑝(0) 2 2 1 ′ 𝑝 1 =𝑝 0 −ℎ 𝜃 2 【繰り返す】 𝑝(𝜏) 1 1 𝜃 𝜏+ =𝜃 𝜏− +𝑝 𝜏 2 2 1 ′ 𝑝 𝜏+1 =𝑝 𝜏 −ℎ 𝜃 𝜏+ 2 -1.6 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 𝜃(𝜏) 76

77.

嬉しいポイント ▌蹴った後 𝜏 秒後の位置と運動量(𝜃 𝜏 , 𝑝(𝜏))をサンプリング候補 𝜃 ∗ , 𝑝∗ とすると… ① ハミルトニアンは変わらない 等高線上をぐるぐる回るだけ 𝑃 𝜃 𝑡 , 𝑝(𝑡) 𝑌 = exp −𝐻 𝜃(0), 𝑝(0) ② リープフロッグしていると = exp −𝐻 𝜃(𝜏), 𝑝(𝜏) = 𝑃 𝜃 ∗ , 𝑝∗ 𝑌 交互に計算するならば,𝜃 ∗ からスタートしても矢印を全部逆にすることで 同じ時間𝜏で𝜃 𝑡 に戻るはず,ということ 𝑃 𝜃 ∗ , 𝑝∗ 𝜃 𝑡 , 𝑝 𝑡 = 𝑃 𝜃 𝑡 , 𝑝 𝑡 𝜃 ∗ , 𝑝∗ ▌ 以上より,自動的に詳細釣り合い条件が成立する! 𝑃 𝜃 ∗ , 𝑝∗ 𝜃 𝑡 , 𝑝 𝑡 𝑃 𝜃 𝑡 , 𝑝(𝑡) 𝑌 = 𝑃 𝜃 𝑡 , 𝑝 𝑡 𝜃 ∗ , 𝑝∗ 𝑃 𝜃 ∗ , 𝑝∗ 𝑌 理論上は採択確率1でいける! 実際にはリープフロッグ法(数値計算)による微妙な誤差があるので わずかに1になりません 07 マルコフ連鎖モンテカルロ法(2) 77

78.

HMCの流れ ① とりあえず位置𝜃 (𝑡) にいる ② 正規分布から乱数𝑝(𝑡) を発生させる ③ リープフロッグ法によって𝐿時点後の位置𝜃(𝐿),運動量𝑝(𝐿)を計算する ④ 得られた値をそれぞれサンプリング候補 𝜃 ∗ , 𝑝∗ とする ⑤ (一応)確率min 1, 𝑃 𝜃 ∗ , 𝑝∗ 𝑌 𝑡 𝑡 𝑃 𝜃 ,𝑝 𝑌 で採択する 前ページの説明によって 基本的にはほぼ1になりますが ⑥ 採択する場合は𝜃 (𝑡+1) = 𝜃 ∗ ,採択しない場合は𝜃 (𝑡+1) = 𝜃 (𝑡) にする 07 マルコフ連鎖モンテカルロ法(2) 78

79.

HMCのチューニング ▌割と大事な要素 𝜀|1ステップの計算で何秒進むか 𝑝(𝜏) 【開始時】 p. 72の式より細かい時間𝜀で区切って更新していく 1 1 𝜀 = 𝜃 0 + 𝜀𝑝(0) 2 2 1 𝑝 𝜀 = 𝑝 0 + 𝜀ℎ′ 𝜃 𝜀 2 𝜃 【繰り返す】 𝜃 𝜏+ 1 𝜀 =𝜃 2 𝜏− 1 𝜀 + 𝜀𝑝 𝜏𝜀 2 𝑝 𝜏 + 1 𝜀 = 𝑝 𝜏𝜀 + 𝜀ℎ′ 𝜃 𝜏+ 1 𝜀 2 𝜀が大きいほど,移動距離が伸びるが 計算の精度が低下する→採択率が下がる 𝜃 (𝑡) 本当は一瞬一瞬変化するので 一瞬ごとに計算していきたい 𝜃(𝜏) 𝜀が小さいほど,計算の精度は上がるが 移動距離が短くなる →必要な繰り返し数が増え,自己相関が高くなる 07 マルコフ連鎖モンテカルロ法(2) 79

80.

HMCのチューニング 更新の回数は同じだとします 𝑝(𝜏) 𝜀が小さい場合 𝑝(𝜏) 𝜀が大きい場合 最終的な位置 最終的な位置 等高線上に近いが移動距離が短い 𝜃(𝜏) 𝜃(𝜏) 距離は長いが等高線から離れてしまうことがある 実際には各ステップでの計算誤差は蓄積していくと考えられます 07 マルコフ連鎖モンテカルロ法(2) 80

81.

HMCのチューニング(2) ▌もう一つ大事なのはステップ数𝐿 移動距離が長くなるほど,最初の位置から離れる つまり,実際のサンプリングが行われる時点 𝜏 = 𝜀𝐿 𝑝(𝜏) 𝐿が小さい場合 自己相関が低くなり,サンプリング効率が上がる 𝑝(𝜏) 𝐿が大きい場合 最終的な位置 最終的な位置 計算はすぐ終わるがあまり動けない 𝜃(𝜏) 07 マルコフ連鎖モンテカルロ法(2) 𝜃(𝜏) たくさん動けるが計算は大変 やりすぎると帰ってきちゃう 81

82.

Stanの何がすごいって ▌この𝜀と𝐿を自動的にいい感じに決めてくれる 詳しくは”No U-Turn Sampler (NUTS)”で検索! 最後にHMCをRで試してみたいと思います 【用意するもの】 • 対数事後確率 𝑃 𝜃 𝑌 ∝ 𝐿 𝜃 𝑌 𝑃(𝜃) • それをパラメータごとに偏微分したやつ − log 𝑃 𝜃 𝑌 = ℎ(𝜃)であり リープフロッグ法でℎ′ 𝜃 𝜏 の計算が必要なため log 𝑃 𝜃 𝑌 ∝ 𝐿𝐿 𝜃 𝑌 + log 𝑃(𝜃) 面倒なので今回は「完全な無情報事前分布」として 一様分布を設定します 一様分布は尤度の形に影響を与えないため 対数尤度の偏微分さえ用意できればOKとなる 05料 p. 55 資 正規分布モデルにおける対数尤度の偏微分は 資料05 p. 55 07 マルコフ連鎖モンテカルロ法(2) 82

83.
[beta]
(補足)HMCのRコード

# HMC sampling
for(s in 2:S){

p_l <- p_0 <- rnorm(2,0,1) # パラメータが2つなので,運動量も2方向

▼準備・パラメータ設定

theta_l <- theta_0 <- samples[s-1, ] # 時点lでのパラメータの位置を入れる箱
# leapfrog start

# データの読み込み

# 最初だけ1/2時点の移動なので調整

dat <- read.csv("data_cvs.csv")

theta_l <- theta_l - (epsilon/2)*p_l

SALES <- dat$sales

for(l in 1:L){

# 偏微分を返す関数

theta_l <- theta_l + epsilon*p_l # muとsigma2の位置

diff_mu <- function(Y,mu,sigma2){

# muの運動量
p_l[1] <- p_l[1] + epsilon*diff_mu(SALES,theta_l$mu,theta_l$sigma2)

return((1/sigma2)*sum(Y-mu))
}

# sigma2の運動量

diff_sigma <- function(Y,mu,sigma2){

p_l[2] <- p_l[2] + epsilon*diff_sigma(SALES,theta_l$mu,theta_l$sigma2)
}

return((-length(Y)/(2*sigma2))+(1/(2*sigma2^2))*sum((Y-mu)^2))
}

# ループが終わった段階ではthetaがL-1/2時点にいるため,1/2時点分進める

# initial value

theta_l <- theta_l + (epsilon/2)* p_l

mu_init <- 5 # 1にするとハミルトニアンの計算がなぜか破綻する

# leapfrog finish

sigma2_init <- 1

# 提案された箇所のハミルトニアン

# repetition times

lp_prop <- sum(dnorm(SALES,theta_l$mu,sqrt(theta_l$sigma2),log=T)) - sum(1/2*p_l^2)

S <- 10000

# 動き始めた箇所のハミルトニアン

# HMCパラメータ

lp_old <- sum(dnorm(SALES,theta_0$mu,sqrt(theta_0$sigma2),log=T)) - sum(1/2*p_0^2)

epsilon <- 0.01

prob <- exp(lp_prop-lp_old)

L <- 15

if(runif(1) < prob){

# サンプリング結果を入れておく箱(data.frame)

samples[s,] <- theta_l
} else {

samples <- data.frame(mu = rep(NA,S), sigma2 = NA)

samples[s,] <- theta_0

samples[1,c("mu","sigma2")] <- c(mu_init, sigma2_init)

本体

}

}

07 マルコフ連鎖モンテカルロ法(2)

83

84.

結果を見てみる plot(samples$mu,type="l") plot(samples$mu,samples$sigma2, type="l") 定常っぽく見える 定常っぽく見える 初期値 初期値 トレースプロット サンプリングの動き どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 84

85.

最初をすてて事後分布 HMCによる事後分布 plot(density(samples$mu[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 85

86.

最初をすてて事後分布 HMCによる事後分布 plot(density(samples$sigma[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 86

87.

チューニングの重要性 𝜀 = 1, 𝐿 = 15 とすると ▌ 𝜀 = 0.01, 𝐿 = 15とすると 計算が吹っ飛ぶ 戻ってこないかも 標本平均・SDはここ 素早く定常分布に到着 𝜀 = 0.01, 𝐿 = 1とすると stanの内部では,この 𝜀 と 𝐿 を 自動的にチューニングしてくれる 07 マルコフ連鎖モンテカルロ法(2) おそすぎる =サンプリング回数が必要 87

88.

まとめと次回予告 【まとめ】 ▌マルコフ連鎖モンテカルロ法の仕組みが分かりましたか? M-H法は基本的にどんな確率分布からもサンプリング可能 HMCは「まるでボールを転がすように」サンプリングしている (そんな難しいことが理解できなくても使えるstanはありがたい) 【次回予告】 ▌MCMC (stan) を利用する際のプラクティカルな話をします ちゃんと「定常分布からのサンプリング」になっているかはどうやって確認する? 作成したコード・推定結果をもっと細かく診断するには? 07 マルコフ連鎖モンテカルロ法(2) …etc. 88