73.5K Views
May 28, 24
スライド概要
神戸大学大学院経営学研究科で2024年度より開講している「ベイズ統計」の講義資料「07_マルコフ連鎖モンテカルロ法(2)」です。代表的なMCMC法のアルゴリズムである「メトロポリス・ヘイスティングス法」「ギブスサンプリング」,stanで採用されている「ハミルトニアンモンテカルロ法」をそれぞれ解説しています。
【変更履歴】
・2026/11/19:マルコフ連鎖の話だったところを修正(p. 10),記号が逆だったところを修正(p. 12),定常分布に収束する様子の説明を追加(p. 15),ある定常分布に収束する推移核の条件の説明を追加(p. 16),MH法に基づいて無理やり推移確率行列を書いてみたものを追加(pp. 28-29)
・2026/09/28:表記の微修正(pp. 7, 11),流れが分かりやすくなるように順序の数字を追加(p. 69),タイポの修正(p. 16)
・2025/08/04:正規分布の表記をN(平均, 分散)に統一,HMCのRコードのミスを修正(p. 79)
神戸大学経営学研究科准教授 分寺杏介(ぶんじ・きょうすけ)です。 主に心理学的な測定・教育測定に関する研究を行っています。 講義資料や学会発表のスライドを公開していきます。 ※スライドに誤りを見つけた方は,炎上させずにこっそりお伝えいただけると幸いです。
ベイズ統計 07 マルコフ連鎖モンテカルロ法(2) 分寺 杏介 神戸大学大学院 経営学研究科 [email protected] ※本スライドは,クリエイティブ・コモンズ 表示-非営利 4.0 国際 ライセンス(CC BY-NC 4.0)に従って利用が可能です。
MCMC ▌stanはMCMC法を行うプログラミング言語です 前回は Markov Chain マルコフ連鎖 と Monte Carlo 法のお話をしました モンテカルロ 今回はこれらを組み合わせたMCMC法の話です 07 マルコフ連鎖モンテカルロ法(2) 2
前回のおさらい|モンテカルロ法 【メリット】 時間さえかければたいていの問題には答えが出せる パラメータの次元が増えてもなんとかなる 【デメリット】 計算に時間がかかる コンピュータに負荷がかかる 乱数生成しやすい分布じゃないと使えない 資料04, 05ではモンテカルロ法によって 点推定・区間推定を行っていた ベイズ統計の場合,共役事前分布がないと厳しい 共役事前分布がないときにも モンテカルロ法使えないかなぁ こんなのだと 乱数も作りづらい 07 マルコフ連鎖モンテカルロ法(2) 3
前回のおさらい|マルコフ連鎖 ▌1時点前の状態のみに依存して確率が決まる 0.4 【例】 昨日はステーキを食べました。なので今日は 0.2 ヘルシー寄りで行こうかと思います。 0.3 0.3 0.2 0.1 クジで今日の晩ごはんを決めます。 0.1 0.5 0 0.2 0.2 0.2 0.3 • 0.3の確率で焼き魚 • 0.1の確率でチャーハン • 0.6の確率でサラダ • 2日連続ステーキにはならない(確率0) 0.6 0.1 0.3 07 マルコフ連鎖モンテカルロ法(2) 4
前回のおさらい|マルコフ連鎖のいいところ ▌どんな初期値から始めても最終的には定常分布に収束する 収束した後は,定常分布からのランダムサンプリングと同じ 1日ずつ「前の日」の結果に基づいて抽選 51日目 [,1] [,2] [,3] [,4] [1,] 0.4 0.3 0.2 0.1 100日目 [,1] [,2] [,3] [,4] [1,] 0.2 0.2 0.3 0.3 > pi_n [,1] [,2] [,3] [,4] [1,] 0.2707483 0.3006803 0.262585 0.1659864 … 50日目 [,1] [,2] [,3] [,4] [1,] 0.2 0.5 0.1 0.2 定常分布から一気にn日分抽選 … 07 マルコフ連鎖モンテカルロ法(2) 5
前回のおさらい|ベイズ統計におけるマルコフ連鎖の利用 ▌どんな初期値から始めても最終的には定常分布に収束する ベイズ統計的にはこれが事後分布になってほしい 晩ごはんの例 定常分布 わからない ベイズ統計モデル 尤度×事前分布ならわかる 事後分布そのものは,周辺尤度=積分があるので無理 推移確率 じゃあどうするか わかる 定常分布=事後分布となるような 推移確率はわからない 推移確率行列を使って計算したら 定常分布がでてくる 推移確率をうまいこと作って,定常分布が 事後分布と同じ形になるようにする 推移確率をどう設定すると 定常分布が事後分布になるか 07 マルコフ連鎖モンテカルロ法(2) 6
前回のおさらい|連続分布での表記 ▌連続分布へ拡張する場合,和→積分に置き換えるだけで良い 特定の事象に限定した場合 離散分布では 𝑃 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) (定常分布) 事後分布 連続分布では 𝑃 𝜃 𝑡+1 (推移確率) 推移核 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) = 𝑗 = 𝑃 𝜃 (𝑡) = 𝑖 𝑃 𝜃 (𝑡+1) = 𝑗 𝜃 (𝑡) = 𝑖 𝑖 𝑃 𝜃 (𝑡+1) = 𝑗 = න 𝑃 𝜃 (𝑡) = 𝑖 𝑃 𝜃 (𝑡+1) = 𝑗 𝜃 (𝑡) = 𝑖 𝑑𝑖 ここがどのような設定であれば 𝑃 𝜃 (𝑡) = 𝑃 𝜃 𝑡+1 となるのか? 06 マルコフ連鎖モンテカルロ法(1) 7
前回のおさらい|マルコフ連鎖に基づく乱数生成 (定常分布) 事後分布 連続分布では 𝑃 𝜃 𝑡+1 (推移確率) 推移核 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) = 𝑃 𝜃 𝑌 ∝ 𝐿 𝑌 𝜃 𝑃(𝜃) 𝑃 𝜃 (𝑡) = 𝑃 𝜃 𝑡+1 (に比例する値)の計算は可能なので,上の式を 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) = 𝑃 𝜃 𝑡 , 𝑃 𝜃 𝑡+1 の関数 の形に整理できれば良さそう ▌結局やっていることは 乱数 𝜃 (𝑡) の生成分布から 適当な乱数 𝜃 (𝑡) を生成する 【ポイント】 確率分布(事後分布)全体の形は分からなくても 事後分布における特定の点の確率密度は計算可能 𝜃 (𝑡) 所与のもとで,推移核に従って 次の乱数𝜃 (𝑡+1) の発生確率分布が決まる 06 マルコフ連鎖モンテカルロ法(1) 乱数 𝜃 (𝑡+1) の生成分布から 適当な乱数 𝜃 (𝑡+1) を生成する 8
1 Metropolis-Hastings 略してM-H法 07 マルコフ連鎖モンテカルロ法(2) 9
マルコフ連鎖の十分条件 事後分布 ▌そもそもマルコフ連鎖がある定常分布𝑃 𝜃 (𝑡) に収束するために必要な推移核は? 𝑃 𝜃 𝑡+1 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) が成立するためには? 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) が成り立つような𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) を使えば良い 完全に一致 ▌なぜ? この式 の両辺を𝜃 (𝑡) で積分すると 𝑃 𝜃 𝑡+1 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) になるため න 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) 𝑑𝜃 (𝑡) = 1 (全事象の確率の和なので) 07 マルコフ連鎖モンテカルロ法(2) 10
突然なんですか,この式は ▌詳細釣り合い条件と呼ばれます 特定の状態を例に考えてみましょう チャーハン 𝜃 (𝑡) = ステーキ 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) ×𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) 𝑡 + 1 日目の晩ごはんが である確率 𝑃 𝜃 (𝑡) ×𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) ある日の晩ごはんが 𝑡 日目の晩ごはんが ある日の晩ごはんが のときに 翌日の晩ごはんが である確率 のときに 翌日の晩ごはんが である確率 通常のマルコフ連鎖とは逆に ← という推移が起こる割合 07 マルコフ連鎖モンテカルロ法(2) である確率 通常のマルコフ連鎖的に → という推移が起こる割合 11
詳細釣り合い条件の数値例 ▌超シンプルな例 晩ごはんは2種類のみ 基本的には「前の日と同じもの」を選びがち,という想定です 詳細釣り合い条件 きょう きのう どの𝜃 (𝑡) と𝜃 (𝑡+1) の組み合わせでも 0.9 0.1 0.4 0.6 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) が常に成り立つ (𝜃 (𝑡) = 𝜃 (𝑡+1) の時には常に成り立つ) 定常分布 𝜃 1 = ,𝜃 5 4 = だとすると… 5 𝜃 (𝑡) = , 𝜃 (𝑡+1) = のとき 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 1 5 07 マルコフ連鎖モンテカルロ法(2) × 0.4 = 4 5 × 0.1 12
もう少し感覚的な理解を ▌割合を表すため「100人」を考えてみます。 今日の晩ごはんは,20人が 定常分布 𝜃 ,80人が 1 = ,𝜃 5 4 = 5 20×0.4=8人 72人 12人 80×0.1=8人 2つの状態の間で推移する割合が同じであれば 次の時点でも各状態の確率が変わらない きのう きょう 0.9 0.1 0.4 0.6 定常分布が維持されることがわかる 明日の晩ごはんも,20人が ,80人が 07 マルコフ連鎖モンテカルロ法(2) 13
詳細釣り合い条件とサンプリング ▌詳細釣り合い条件が成り立っているとき 定常分布 𝜃 きょう 1 = ,𝜃 5 4 = 5 きのう 0.9 0.1 0.4 0.6 2つの状態の定常分布における確率𝑃 𝜃 (𝑡) をもとにして 次の時点のサンプリングは 推移先の状態の確率が高いほど 高確率で移動する 0.4 連続分布的には 0.6 0.9 0.1 推移先の状態の確率が低いと 移動する確率も低い 07 マルコフ連鎖モンテカルロ法(2) 14
定常分布に向かって収束していく ▌100人中,今日の晩ごはんが 0 の人数 𝜃 定常分布 1 4 = ,𝜃 = 5 5 50 80 きのう きょう 90 0.9 0.1 0.4 0.6 100 50 : 50 20 : 80 10 : 90 50×0.4=20人 20×0.4=8人 10×0.4=4人 50×0.1=5人 80×0.1=8人 90×0.1=9人 35 : 65 20 : 80 15 : 85 どの状態からも,確実に定常分布(20 : 80)に近づいている! 07 マルコフ連鎖モンテカルロ法(2) 15
ある定常分布に収束する推移核の条件 問 よりも が好きなので,定常分布が 𝜃 1 = ,𝜃 5 = 4 になるように細工することにしました。 5 推移確率行列をどのように決めたら,定常分布が↑に収束するでしょうか? ④ ▌詳細釣り合い条件を満たせば何でも良いので 定常分布での割合(事後確率)の比が1:4ということは の推移確率が きょう ① の4倍になっていれば良い! きょう きのう きょう きのう きのう 0.9 0.1 0.95 0.05 0.75 0.25 0.4 0.6 0.2 0.8 1.0 0 でも良い でも良い 07 マルコフ連鎖モンテカルロ法(2) でも良い 16
詳細釣り合い条件を満たす推移核を探してこい 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) というわけで が成り立つような𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) を使えば良い それがわかっていたら苦労していないって ▌代わりに適当な提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) を用意してみます。 定常分布 𝜃 1 = ,𝜃 5 とすると 4 = 5 きのう きょう きのう 理論上は,提案分布はほぼどんなものでもOKです きょう 0.9 0.1 0.5 0.5 0.4 0.6 0.5 0.5 真の推移核(でもわからない) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 提案分布 𝑄 𝜃 ∗ 𝜃 (𝑡) ただ,本当にこれで良いのか保証がないので 𝜃 (𝑡+1) ではなく𝜃 ∗ と表記しておきます 17
もちろん釣り合わない 定常分布 𝜃 きのう 4 = 5 𝑃 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) ≠ 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 1 4 × × ≠ 0.5 0.5 5 5 0.5 0.5 𝑃 𝜃 (𝑡+1) 𝑄 𝜃 (𝑡) 𝜃 (𝑡+1) ≠ 𝑃 𝜃 (𝑡) 𝑄 𝜃 (𝑡+1) 𝜃 (𝑡) 0.5 0.5 𝑄 𝜃 ∗ 𝜃 (𝑡) だけ用意しても詳細釣り合い条件は満たさない 1 = ,𝜃 5 きょう 提案分布 𝑄 𝜃 ∗ 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) = 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) を考える 真の推移核を「何か」と「提案分布」の積に分解できるように,そんな「何か」を考えます 𝑃 𝜃 (𝑡+1) 𝑃 𝜃 (𝑡) 𝜃 (𝑡+1) = 𝑃 𝜃 𝑡 𝑃 𝜃 𝑡+1 𝜃 𝑡 𝑃 𝜃 (𝑡+1) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) とりあえずここまでは詳細釣り合い条件が満たされている 07 マルコフ連鎖モンテカルロ法(2) 18
𝑔(⋅) の役割を感覚的に理解する ▌再び「100人」を考えてみます。 今日の晩ごはんは,20人が たどり着きたい 定常分布 𝜃 ,80人が 20×0.5=10人 きのう 40人 10人 80×0.5=40人 1 = ,𝜃 5 4 = 5 きょう 0.5 0.5 0.5 0.5 提案分布 提案分布を真に受けてしまうと 推移の発生割合のバランスが崩れる 𝑄 𝜃 ∗ 𝜃 (𝑡) ターゲットの定常分布には収束しない 明日の晩ごはんは,50人が ,50人が 07 マルコフ連鎖モンテカルロ法(2) 別の定常分布に収束してしまった! 19
𝑔(⋅) の役割を感覚的に理解する(続き) ▌再び「100人」を考えてみます。 今日の晩ごはんは,20人が たどり着きたい 定常分布 𝜃 ,80人が 10人 10人 きのう 100% 10人 10人 75% 30人 提案後に,確率的に一部の人をもとに戻す 定常分布が維持されるようになる 明日の晩ごはんは,20人が 4 = 5 きょう 40人 40人 25% 1 = ,𝜃 5 0.5 0.5 0.5 0.5 提案分布を補正 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 採択確率 ,80人が 07 マルコフ連鎖モンテカルロ法(2) 20
具体的に 𝑔(⋅) の形は? 𝑃 𝜃 (𝑡+1) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) = 𝑃 𝜃 (𝑡) 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 両辺を𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) でわると 𝑃 𝜃 (𝑡+1) 𝑄 𝜃 ∗ 𝜃 (𝑡+1) = 𝑃 𝜃 𝑡 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 ∗ 𝜃 (𝑡) 𝑄 𝜃 (𝑡+1) 𝑔(⋅)のみを左辺に持っていくと 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) ∗ 𝜃 ,𝜃 (𝑡+1) が (𝑡) ∗ 𝜃 ,𝜃 (𝑡+1) = 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) であれば詳細釣り合い条件が保たれる 07 マルコフ連鎖モンテカルロ法(2) 21
具体的に 𝑔(⋅) の形は? (つづき) 採択確率そのものではなく 2つの採択確率の比に関する制約 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) が 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 であれば詳細釣り合い条件が保たれる 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) もし提案分布が一様な分布であれば 𝑃 𝜃 𝑡+1 𝑄 𝜃 ∗ 𝜃 𝑡+1 𝑃 𝜃 (𝑡) 𝑄 𝜃 ∗ 𝜃 (𝑡) 定常分布𝑃(𝜃)における 𝑃 𝜃 𝑡+1 = 𝑃 𝜃 (𝑡) つまり 現在の状態の確率 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) 正確には,ここで 対称な(𝑄 𝜃 ∗ 𝜃 𝑡+1 = 𝑄 𝜃 ∗ 𝜃 (𝑡) となる)提案分布 を用いたものはメトロポリス法と呼ばれます。 MH法は,𝑄 𝜃 ∗ 𝜃 𝑡+1 を含めて定式化することで 提案分布が対称でない場合にも一般化された方法です。 𝑃 𝜃 𝑡+1 = 𝑃 𝜃 (𝑡) と 推移先の状態の確率 の比 推移先の状態の確率 = 07 マルコフ連鎖モンテカルロ法(2) 現在の状態の確率 22
数値例 ▌定常分布が 𝜃 1 = ,𝜃 5 いったん𝜃 (𝑡) = = 4 の場合, 5 𝑔 𝜃 (𝑡) 𝜃 ∗ , 𝜃 (𝑡+1) の推移の採択確率は? とすると , 𝜃 (𝑡+1) = 𝑔 𝜃 (𝑡+1) 𝜃 ∗ , 𝜃 (𝑡) と 𝑃 𝜃 𝑡+1 = 𝑃 𝜃 (𝑡) =4 単純に,定常分布上の確率の比が4倍,というだけ のときの採択確率が 10人 100% 10人 75% 10人 80% 4倍 40人 25% p. 17 8人 10人 4倍 のときの4倍になれば良い! 2人 20% 40人 5% 30人 他の数値例 07 マルコフ連鎖モンテカルロ法(2) 2人 95% 38人 23
実際には のときの採択確率が 10人 100% 10人 75% 10人 80% 4倍 40人 25% p. 17 8人 10人 4倍 のときの4倍になれば良い! 2人 20% 40人 5% 30人 他の数値例 メトロポリス法では 確率の低い方から高い方への推移確率を100%として 低い方への推移確率を𝑓 𝜃 の比に基づいて決める 07 マルコフ連鎖モンテカルロ法(2) 2人 95% 38人 両方の採択確率が100%未満の場合 サンプリングが必要以上に動かないため 効率が良くないかもしれない 24
Metropolis-Hastings法の手順 ① 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から乱数発生させる ② 出てきた𝜃 ∗ について確率min 𝑃 𝜃∗ 1, (𝑡) 𝑃 𝜃 p. 22 この後の計算で𝑄 𝜃 𝜃 を無視するため, 一様分布や正規分布から乱数を作るとラクです ∗ (𝑡) で採択する ベイズの定理を使って書き直すと 𝑃 𝜃∗ 𝑃 𝜃 (𝑡) 𝑃 𝑌 𝜃∗ 𝑃 𝜃∗ 𝑃(𝑌) = 𝑃 𝑌𝜃𝑡 𝑃 𝜃𝑡 𝑃(𝑌) = 𝑃 𝑌 𝜃∗ 𝑃 𝜃∗ 𝑃 𝑌𝜃𝑡 𝑃 𝜃𝑡 𝜃 (𝑡) と𝜃 ∗ の2点について 普通に尤度×事前分布の値を 計算するだけなのでかんたん 正規化定数が消えるので 事後分布のある点の確率(密度) 𝑃 𝜃 (𝑡) は分からなくても 2点の確率(密度)の比は簡単に計算できる! 07 マルコフ連鎖モンテカルロ法(2) 25
Metropolis-Hastings法の手順 ① 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から乱数発生させる く り か え す ② 出てきた𝜃 ∗ について確率min 𝑃 𝜃∗ 1, (𝑡) 𝑃 𝜃 p. 22 この後の計算で𝑄 𝜃 𝜃 を無視するため, 一様分布や正規分布から乱数を作るとラクです ∗ (𝑡) で採択する ③ 採択する場合は𝜃 (𝑡+1) = 𝜃 ∗ となり,採択しない場合は𝜃 (𝑡+1) = 𝜃 (𝑡) 𝑃 𝜃 ∗ > 𝑃 𝜃 (𝑡) の場合,確率1で(必ず)採択する 10人 10人 4 𝑃(𝜃 ) = 5 100% 1 𝑃(𝜃 ) = 5 40人 25% 10人 75% 𝑃 𝜃 ∗ < 𝑃 𝜃 (𝑡) の場合,採択しないこともある 07 マルコフ連鎖モンテカルロ法(2) 30人 𝜃 (𝑡) に戻る 26
Metropolis-Hastings法のイメージ 提案された候補の 事後確率密度𝑃 𝜃 ∗ が 𝑃 𝜃 (𝑡) より低い場合 確率的に棄却される 𝑃 𝜃∗ min 1, <1 𝑃 𝜃 (𝑡) 提案された候補の 事後確率密度𝑃 𝜃 ∗ が 𝑃 𝜃 (𝑡) より高い場合 必ず採択される 𝑃 𝜃∗ min 1, =1 𝑃 𝜃 (𝑡) 確率密度の高いところほど サンプリングされやすい 𝜃 (𝑡) をもとに 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から 乱数を発生 07 マルコフ連鎖モンテカルロ法(2) 27
𝜃 (𝑡+1) の生成確率分布を無理やり書いてみたら 確率的に棄却されると 𝜃 (𝑡+1) = 𝜃 (𝑡) となるため 結果的に 𝜃 (𝑡) となる確率が高い 正確なスケールで描くと,この点はもっと高いところにあります こんな感じの確率分布を 𝜃 (𝑡) に応じて毎回作っているようなもの 𝜃 (𝑡) をもとに 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から 乱数を発生 07 マルコフ連鎖モンテカルロ法(2) 28
推移確率行列っぽく書けば きょう きのう 0.4 0.3 0.2 0.1 0.2 0.5 0.1 0.2 0.2 0.2 0.3 0.3 0.3 0.1 0.6 0 0.5の幅に区切って離散変数のように表示しています 事後確率密度が 高い方に動きやすい 07 マルコフ連鎖モンテカルロ法(2) 29
実際には連続変数なので きょう きのう 0.4 0.3 0.2 0.1 0.2 0.5 0.1 0.2 0.2 0.2 0.3 0.3 0.3 0.1 0.6 0 事後確率密度が 高い方に動きやすい この推移確率(行列)をわざわざ計算しなくても MH法のルールで毎回推移 or 棄却を決めていけば 結果的に定常分布が事後分布になる! 07 マルコフ連鎖モンテカルロ法(2) 30
とりあえずやってみる ▌資料05でやった「コンビニの売上」をやってみます 例 あるコンビニチェーンのアナリストは,各店舗の利益に影響する要因を調べることにしました。 その第一歩として,まずは母集団(全店舗)での利益の平均と分散を推測したいと思います。 なお,利益はふつう正規分布に従うと言われているとします。 ほぼ無情報事前分布のときの 解析的な事後分布 2 𝜎 𝑃 𝜇|𝜎 2 , 𝒙 ∝ 𝑁 6.9842, 10 𝑃 𝜎 2 |𝒙 ∝ InvGamma(50.0005, 83.383) これくらいの事後分布が 出てきてくれたら成功 07 マルコフ連鎖モンテカルロ法(2) 31
やってみましょう 【用意するもの】 ▌(共役でなくてもよい)事前分布 ほぼ無情報事前分布を設定しておきます 𝑃(𝜇) = 𝑁 0, 100000 , 𝑃 𝜎 2 = InvGamma(0.001, 0.001) 採択確率の計算をラクにするため,「前の時点から±0.1の範囲」の一様分布としました ▌提案分布 𝑄 𝜇∗ 𝜇 𝑡 = Unif 𝜇 𝑡 − 0.1, 𝜇 𝑡 + 0.1 ∗ 2 𝑄 𝜎 𝜎𝑡 ▌初期値 = Unif 𝑡 2 𝜎 𝑡 2 − 0.1, 𝜎 + 0.1 マルコフ連鎖的には,初期値は何でも良いはずです (0) (0) 2 𝜇 = 1, 𝜎 =1 07 マルコフ連鎖モンテカルロ法(2) 32
改めて手順を確認 ① 提案分布𝑄 𝜃 ∗ 𝜃 (𝑡) から乱数発生させる く り か え す 今回はそれぞれのパラメータをUnif 𝜃 𝑡 − 0.1, 𝜃 𝑡 + 0.1 から発生 ② 出てきた𝜃 ∗ について確率min 𝑃 𝜃∗ 1, (𝑡) 𝑃 𝜃 で採択する 尤度 事前分布 ∗ ∗ ∗ 2 ∗ 2 𝑃 𝑌 𝜇 ,𝜎 𝑃 𝜇 𝑃 𝜎 𝑃 𝜃∗ = (𝑡) 𝑡 𝑃 𝜃 𝑃 𝑌 𝜇 𝑡 , 𝜎2 𝑃 𝜇 𝑡 𝑃 𝜎2 𝑡 ③ 採択する場合は𝜃 (𝑡+1) = 𝜃 ∗ となり,採択しない場合は𝜃 (𝑡+1) = 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 33
(補足)M-H法のRコード
▼準備・パラメータ設定
# M-H sampling
for(s in 2:S){
# データの読み込み
mu_now <- samples$mu[s-1]
dat <- read.csv("data_cvs.csv")
sigma2_now <- samples$sigma2[s-1]
SALES <- dat$sales
# 更新の提案
mu_prop <- runif(1, mu_now-w_prop, mu_now+w_prop)
# initial value
sigma2_prop <- runif(1, sigma2_now-w_prop, sigma2_now+w_prop)
mu_init <- 1; sigma2_init <- 1
if(sigma2_prop < 0) sigma2_prop <- 0.0001
# サンプリング回数
# 採択確率の計算
S <- 10000
# 提案された箇所の対数確率密度
# サンプリング結果を入れておく箱(data.frame)
lp_prop = sum(dnorm(SALES, mu_prop, sqrt(sigma2_prop), log = TRUE)) +
# is_acceptedは提案された値が採択されたかを格納しておく列
dgamma(1/sigma2_prop, 0.001, 0.001, log = TRUE) +
samples <- data.frame(mu = rep(NA,S), sigma2 = NA, is_accepted = NA)
dnorm(mu_prop, 0, 100000, log = TRUE)
samples[1, c("mu","sigma2")] <- c(mu_init, sigma2_init)
# 現在の箇所の対数確率密度
w_prop <- 0.1 # 提案(一様)分布の広さ
lp_now = sum(dnorm(SALES, mu_now, sqrt(sigma2_now), log = TRUE)) +
dgamma(1/sigma2_now, 0.001, 0.001, log = TRUE) +
dnorm(mu_now, 0, 100000, log = TRUE)
prob <- exp(lp_prop - lp_now)
if(runif(1) < prob){
samples[s,] <- c(mu_prop, sigma2_prop, TRUE)
} else {
samples[s,] <- c(mu_now, sigma2_now, FALSE)
}
本体
}
07 マルコフ連鎖モンテカルロ法(2)
34
結果を見てみる plot(samples$mu,type="l") plot(samples$mu, samples$sigma,type="l") 定常っぽく見える 定常っぽく見える 初期値 初期値 トレースプロット サンプリングの動き どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 35
はじめのほうのサンプリング 資料06 p. 40 当然最初の方は初期値に依存するので,事後分布の復元には ある程度経ってからのサンプルのみを使用します 設定した初期値 実際に何回捨てる必要があるかは ・データによります ・アルゴリズムによります ・モデルによります ・事前分布によります ・乱数によります ・初期値によります etc… 07 マルコフ連鎖モンテカルロ法(2) 36
最初をすてて事後分布 M-H法による事後分布 plot(density(samples$mu[-(1:1000)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 37
最初をすてて事後分布 M-H法による事後分布 plot(density(samples$sigma[-(1:1000)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 38
提案分布の重要性 「±0.02の範囲」の一様分布の場合 「±0.1の範囲」の一様分布の場合 おそすぎる うまくいく 「±3の範囲」の一様分布の場合 各ステップの幅(ステップサイズ)が • 小さいとサンプリング効率が悪くなる カクカクしている =採択率が低い • 大きくてもサンプリング効率は悪くなる 適切な設定を探す必要がある 07 マルコフ連鎖モンテカルロ法(2) 39
提案分布を決めるために ▌MCMCにおけるサンプリング効率を考えてみます 最高効率 一つ一つ 事後分布全体から 事後分布から直接乱数を生成する方法 一つ一つのサンプルが独立に情報を与えるため効率的 低効率 縦横無尽に サンプリングできる 「±0.02の範囲」の一様分布を用いたM-H法の場合 2 1 動きが遅すぎるとサンプリング効率が悪い 1 初期値に依存している時間が長いから 2 定常分布に到達した後も 前の値を引きずっているから 少しずつしか移動できないので 事後分布全体を網羅するには 時間がかかるのです 「前の値を引きずっている」程度を 定量化してみてみます 07 マルコフ連鎖モンテカルロ法(2) 40
自己相関 (autocorrelation) ▌n個前のサンプルとの相関係数 最高効率 事後分布から直接乱数を生成する方法 毎回ランダムサンプリングなのでもちろん自己相関は0 低効率 「±0.02の範囲」の一様分布を用いたM-H法の場合 実際に計算してみると… 40個前のサンプルとも およそ0.97の相関がある acf(samples$mu) 07 マルコフ連鎖モンテカルロ法(2) 41
自己相関 (autocorrelation) ▌n個前のサンプルとの相関係数 最高効率 事後分布から直接乱数を生成する方法 毎回ランダムサンプリングなのでもちろん自己相関は0 低効率 「±0.02の範囲」の一様分布を用いたM-H法の場合 極端な話をすると 2500個前くらいで ようやく自己相関はほぼ0になる acf(samples$mu) 𝑠 = 1, 2501, 5001, 7501, ⋯ 乱数を2500個おきに使ってやっと 事後分布から直接乱数を生成する方法 と同じといえる 3000個前までとの 自己相関を出してみた 07 マルコフ連鎖モンテカルロ法(2) 42
自己相関に基づくステップサイズの決定 ▌自己相関が低いほどサンプリング効率が良い 提案分布の幅を色々と変えて自己相関(lag=40)を計算してみます 自己相関 (lag=40) 幅が狭すぎると 移動に時間がかかる 自己相関大 幅が広すぎると 棄却されやすくなる 棄却された場合 前回と同じ値になる 自己相関大 このあたりが ベスト 青: 𝑃 𝜃 ∗ < 𝑃 𝜃 𝑡 赤: 𝑃 𝜃 ∗ ≥ 𝑃 𝜃 𝑡 提案分布の幅が広すぎると 𝑃 𝜃 ∗ が高くなるような𝜃 ∗ が 提案される確率が低くなる 提案分布の幅 07 マルコフ連鎖モンテカルロ法(2) 43
(確認)採択率と自己相関 ▌自己相関が低いほどサンプリング効率が良い 提案分布の幅を色々と変えて自己相関(lag=40)を計算してみます 自己相関 (lag=40) ステップサイズの決め方 提案分布の幅が 広すぎると 採択率は低くなる いろいろなステップサイズで 短いMCMCを回す 自己相関大 採択率と自己相関 提案分布の幅が 狭すぎると 採択率は高くなるが 一歩一歩が小さい このあたりが ベスト 自己相関大 採択率 07 マルコフ連鎖モンテカルロ法(2) がいい感じになる ステップサイズを見つける 決定したステップサイズで 長いMCMCを行う 最適な採択率はモデルによる 試行錯誤するしかない 44
2 Gibbs Sampling 07 マルコフ連鎖モンテカルロ法(2) 45
できることなら ▌事後分布が直接導出できればそこから乱数を出せば良い 例えば2つのパラメータの事後分布が こんな感じとわかっていたとして そこから同時に乱数をつくればいい 同時事後分布から乱数が作れたら…の話 07 マルコフ連鎖モンテカルロ法(2) 46
実際には ▌同時分布を導出するのは結構しんどいことがある 重回帰分析くらいでもパラメータの数が増えるとつらい ▌導出できても乱数を出しづらいことがある 相関関係まで考慮するのは 正規分布以外では厳しそう 例えば「正規分布に従うパラメータ」「ガンマ分布に従うパラメータ」 「ベータ分布に従うパラメータ」の3つを同時に乱数生成できるか? 多分無理 一つずつ順番に乱数を作るほうがまだ望みがある 𝜇, 𝜎 2 を同時に 𝜇 だけをサンプリング 𝜎 2 だけをサンプリング のかわりに 07 マルコフ連鎖モンテカルロ法(2) 47
Gibbs Sampling ▌こんな時に使えます パラメータ数が多すぎて同時事後分布が作れないとき 全てのパラメータの同時事後分布が作れるけど意味不明な(乱数作れない)とき でもパラメータごとの条件付き分布は計算でき,乱数が作りやすいとき 【例】パラメータを2つに分けて考える(𝜽 = {𝜽1 , 𝜽2 }) ※ 𝜽はベクトルでも問題ない ( 𝜽1 = 𝛼, 𝛽 , 𝜽2 = {𝛾}とかでもOK) 同時事後分布はベイズの定理に当てはめれば頑張れば計算可能 𝑃 𝒀 𝜽1 , 𝜽2 𝑃(𝜽1 , 𝜽2 ) 𝑃 𝜽1 , 𝜽2 𝒀 = 𝑃(𝑌) 07 マルコフ連鎖モンテカルロ法(2) 48
Gibbs Sampling 「パラメータごとの条件付き分布は計算でき,乱数が作りやすい」とは… 事後分布 𝑃 𝜽1 , 𝜽2 𝒀 は扱いにくいが 𝑃 他のパラメータを所与とした条件付き分布 𝑡 𝑡−1 𝑡 𝑡−1 𝜽1 𝜽2 , 𝒀 と𝑃 𝜽2 𝜽1 , 𝒀 なら扱いやすい ということ 【例】正規分布の平均 𝜇 と分散 𝜎 2 の推定 • 同時事後分布 𝑃 𝜇, 𝜎 2 𝒙 は扱いにくいが ※第5回では「𝑃(𝜎 2 |𝒙)から 𝜎 2 のサンプリング」→「𝑃 𝜇 𝜎 2 , 𝒙 から 𝜇のサンプリング」の2段階で行いました。 これは,「正規分布と逆ガンマ分布から同時に乱数を作ることは難しい」ためです。 • 𝑃 𝜇 (𝑡) 𝜎 2 (𝑡−1) , 𝒙 と𝑃 𝜎 2 (𝑡) 𝜇 (𝑡−1) , 𝒙 なら扱いやすい ※気をつけてほしいのは,赤い分布と青い分布は別だということです。 07 マルコフ連鎖モンテカルロ法(2) 49
違う分布? ▌平均パラメータ 𝜇 について 第5回で導出した理論的な事後分布は 𝑃 𝜇 𝜎 2 , 𝒙 ギブスのための条件付き分布は 𝑃 𝜇 (𝑡) 𝜎 2 (𝑡−1) ,𝒙 𝜎 2 を 𝑡 − 1 回目のサンプリング に固定した上での 𝜇 の分布 どちらも 𝜎 2 を何らかの値に固定した(条件付けた) 𝜇 の分布 似てる ▌分散パラメータ 𝜎 2 について 第5回で導出した理論的な事後分布は 𝑃 𝜎 2 𝒙 𝜇 の値で条件付けられていない ギブスのための条件付き分布は 𝑃 𝜎 2 (𝑡) 𝜇 (𝑡−1) , 𝒙 少し違う 𝜇 の値で条件付けられている 07 マルコフ連鎖モンテカルロ法(2) 50
分布の比較 平均パラメータ 分散パラメータ𝜎 2 の逆数 𝜇 𝜏 共役事前分布|𝜇 ∼ 𝑁 理論的な事後分布 資料05 p. 85 𝜎2 𝜇0 , 𝑛0 𝑃 𝜇 𝜎, 𝒙, 𝜇0 , 𝑛0 , 𝜈0 , 𝜎0 𝑛0 𝜇0 + 𝑛𝑥ҧ 𝜎 2 =𝑁 , 𝑛0 + 𝑛 𝑛0 + 𝑛 準共役で独立な事前分布|𝜇 ∼ 𝑁 , 𝜏 ∼ Gamma 𝜈0 𝜈0 𝜎02 , をおいた場合 2 2 𝑃 𝜏 𝒙, 𝜈0 , 𝜎02 𝑛0 𝑛 2 2 𝜈 𝜎 + 𝑛 − 1 𝑠 + 𝑥ҧ − 𝜇0 2 0 𝑥 0 𝜈0 + 𝑛 𝑛0 + 𝑛 = Gamma , 2 2 1 𝜇0 , 𝜏0 , 𝜏 ∼ Gamma 𝜈0 𝜈0 𝜎02 , 2 2 をおいた場合 資料05 p. 72 ギブスのための 条件付き分布 𝑃 𝜇 (𝑡) 𝜏 (𝑡−1) , 𝒙, 𝜇0 , 𝜎02 , 𝜈0 , 𝜎0 𝜏0 𝜇0 + 𝑛𝜏 (𝑡−1) 𝑥ҧ 1 =𝑁 , 𝜏0 + 𝑛𝜏 (𝑡−1) 𝜏0 + 𝑛𝜏 (𝑡−1) 𝑃 𝜏 (𝑡) 𝜇 (𝑡−1) , 𝒙, 𝜇0 , 𝜎02 , 𝑛0 , 𝛾0 = Gamma 07 マルコフ連鎖モンテカルロ法(2) 𝜈0 + 𝑛 , 2 𝜈0 𝜎02 + σ𝑛𝑖=1 𝑥𝑖 − 𝜇 𝑡−1 2 51 2
ギブスサンプラーの目的 ▌もともとのMCMCがやりたいことは 𝑃 𝜃 𝑡+1 = න 𝑃 𝜃 (𝑡) 𝑃 𝜃 (𝑡+1) 𝜃 (𝑡) 𝑑𝜃 (𝑡) が成り立つように推移核を設定することだった 事後分布 (定常分布) 推移核 ▌正規分布のケースでは2変数なので 推移確率は 𝑡 回目のサンプリング のみに依存して決まるため, 確かにこれはマルコフ連鎖なのです 𝑃(𝜇 𝑡+1 , 𝜏 (𝑡+1) ) = න 𝑃 𝜇 𝑡 , 𝜏 (𝑡) 𝑃 𝜇 𝑡+1 , 𝜏 (𝑡+1) 𝜇 𝑡 , 𝜏 (𝑡) 𝑑𝜇𝑑𝜏 以下のように置き換えると式が成り立つのです 𝑃 𝜇 𝑡+1 , 𝜏 (𝑡+1) 𝜇 𝑡 , 𝜏 (𝑡) = 𝑃 𝜇 𝑡+1 𝜏 𝑡+1 , 𝜇 𝑡 , 𝜏 𝑡 𝑃 𝜏 𝑡+1 |𝜇 𝑡 , 𝜏 (𝑡) (𝜇, 𝜏)の(同時)推移核 𝜏 を固定した 𝜇の(同時)推移核 07 マルコフ連鎖モンテカルロ法(2) 𝜇 を固定した 𝜏の(同時)推移核 52
ギブスサンプラーの手順 ① とりあえず初期値𝜇 (0) , 𝜏 (0) を決める 𝜏 の条件付き事後分布 ② 初期値を使って𝜇 = 𝜇 (0) に固定した状態で𝑃(𝜏 (1) |𝜇 (0) , 𝒙)から𝜏 ∗ を乱数発生させる ③ 出てきた𝜏 ∗ = 𝜏 (1) として𝑃(𝜇 (1) |𝜏 (1) , 𝒙)から𝜇∗ を乱数発生させる ④ 出てきた𝜇∗ = 𝜇 (1) として𝑃(𝜏 (2) |𝜇 (1) , 𝒙)から𝜏 ∗ を乱数発生させる ⑤ ③と④をひたすら繰り返す 𝜇 の条件付き 事後分布に基づいて 𝜇 (1) 𝜇 (2) 𝜇 (3) 𝜇 (4) 𝜏 の条件付き 事後分布に基づいて 𝜏 (1) 𝜏 (2) 𝜏 (3) 𝜏 (4) 07 マルコフ連鎖モンテカルロ法(2) … 𝜇 (𝑆) 𝜏 (𝑆) 53
(補足)Gibbs SamplingのRコード
▼本体
▼準備・パラメータ設定
# データの読み込み
# Gibbs sampling
dat <- read.csv("data_cvs.csv")
for(s in 2:S){
SALES <- dat$sales
# muの条件付き事後分布
mean_s <- (tau0*mu0 + n*samples$tau[s-1]*mean_Y)/(tau0 + n*samples$tau[s-1])
# initial value
sd_s <- 1/sqrt(tau0 + n*samples$tau[s-1])
mu_init <- 1
# 条件付き事後分布から普通に乱数生成
tau_init <- 1
# 精度(sigmaの逆数)の初期値
samples$mu[s] <- rnorm(1, mean_s, sd_s)
# prior distribution
# sigmaの条件付き事後分布
mu0 <- 0
alpha_s <- (nu0 + n)/2
tau0 <- nu0 <- 0.001
beta_s <- (nu0 * sigma0 + sum((SALES-samples$mu[s])^2))/2
sigma0 <- 1
# 条件付き事後分布から普通に乱数生成
# サンプリング回数
samples$tau[s] <- rgamma(1, alpha_s, beta_s)
S <- 10000
}
# sigmaに戻す
# サンプリング結果を入れておく箱(data.frame)
samples$sigma2 <- 1/samples$tau
# 計算時にはtauを使うが,関心があるのはsigma2
samples <- data.frame(mu = rep(NA,S), tau = NA, sigma2 = NA)
samples[1,c("mu","tau")] <- c(mu_init, tau_init)
# 繰り返し必要な計算は先にやっておく
n <- length(SALES)
mean_Y <- mean(SALES)
07 マルコフ連鎖モンテカルロ法(2)
54
結果を見てみる plot(samples$mu,type="l") plot(samples$mu, samples$sigma,type="l") 定常っぽく見える 定常っぽく見える 初期値 初期値 トレースプロット サンプリングの動き どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 55
最初をすてて事後分布 Gibbsによる事後分布 plot(density(samples$mu[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 56
最初をすてて事後分布 Gibbsによる事後分布 plot(density(samples$sigma[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 57
M-H法とGibbs ▌Gibbsの利点 (M-H法的に言えば)採択率が必ず1になる 効率的なことが多い ステップサイズを決める必要がない ▌M-H法の利点 (条件付き)事後分布の形が分からなくても使える ▌組み合わせても良い 条件付き事後分布が導出できるパラメータはGibbsでサンプリングして そうでないパラメータはM-H法で ▲ これを交互に繰り返すのもアリ 07 マルコフ連鎖モンテカルロ法(2) 58
3 Hamiltonian Monte Carlo いよいよstanの中身に迫る 07 マルコフ連鎖モンテカルロ法(2) 59
M-Hの弱点 ▌M-Hがうまく機能するためには パラメータが十分なスピードで動き 採択される確率が低すぎない 必要があり,そのために (一様分布であれば)適切な幅を定める必要がある p. 39 適切な幅はパラメータのスケールによるので パラメータごとに決める必要がある パラメータがいっぱいあったら 全部手作業で探さないといけないんですか? 07 マルコフ連鎖モンテカルロ法(2) 60
一番の問題は なので多変量でM-H法を使う場合 Gibbsのように変数を分割して 順番に更新していくことが多いです ▌採択率が低すぎること 1変量の場合,少なくとも半分の確率で 今よりも事後密度が低い値が提案されてしまう 多変量になるほど 今よりも事後密度が高い値は出にくくなる 青: 𝑃 𝜃 ∗ < 𝑃 𝜃 𝑡 赤: 𝑃 𝜃 ∗ ≥ 𝑃 𝜃 𝑡 そもそも事後密度の高い値が提案されやすかったら良いのでは? 07 マルコフ連鎖モンテカルロ法(2) 61
突然ですが物理の話 ▌お椀型の地形があったとさ このサッカーボールを 左に蹴るとどうなる? 坂で勢いを失って 右に戻った後 行ったり来たりして 最終的に谷底で止まる 07 マルコフ連鎖モンテカルロ法(2) 62
物体がもつエネルギー ▌高校物理で出てくるらしい話 力学的エネルギー = 位置エネルギー + 運動エネルギー またの名をハミルトニアン 出発して𝜏秒後の ℎ(𝜏) 高さをℎ(𝜏),位置を𝜃(𝜏)とします ハミルトニアンを 𝐻 𝜏 位置エネルギーを 𝑈 𝜏 運動エネルギーを 𝐾(𝜏) 𝜃(𝜏) 𝐻 𝜏 = 𝑈 𝜏 + 𝐾(𝜏) 07 マルコフ連鎖モンテカルロ法(2) 63
エネルギー 力学的エネルギー = 位置エネルギー + 運動エネルギー 𝐻 𝜏 = 𝑈 𝜏 + 𝐾(𝜏) ▌【位置エネルギー】 𝑈 𝜏 = 質量×重力加速度×高さ = 𝑚𝑔ℎ(𝜏) 重いものほど,高いところにあるものほど位置エネルギーが大きい ▌【運動エネルギー】 1 1 1 2 2 𝐾 𝜏 = ×質量× 速さ = 𝑚𝑣 𝜏 = 𝑝 𝜏 2 2 2 2𝑚 重いものほど,速いものほど運動エネルギーが大きい 07 マルコフ連鎖モンテカルロ法(2) 運動量を一つの変数で表すため 𝑝 𝜏 = 𝑚𝑣 𝜏 = 質量×速さ として変形しています (ニュートンの運動方程式) 64
エネルギー保存の法則 力学的エネルギー = 位置エネルギー + 運動エネルギー 𝐻 𝜏 = 𝑈 𝜏 + 𝐾(𝜏) 摩擦などがなければ,常に𝐻 𝜏 が一定に保たれる ℎ(𝜏) 理想的な状況では, どんな強さでボールを弾いたら,何秒後 にどこまでどれくらいの速さで転がるか この高さにあるボールを 左に0.5の強さで蹴ったら (摩擦や空気抵抗などが無ければ) 𝜏 秒後にはちょうどここにくるはず が全て計算できるということ 𝜃(𝜏) 07 マルコフ連鎖モンテカルロ法(2) 65
なぜ急に物理の話をしたのか? ▌もしもここまでの考え方を事後分布上で表現できたら? 事後分布 対数をとって ひっくり返すと このサッカーボールを 適当な強さで蹴って 𝜏 秒の位置を記録する 𝜏 秒後の位置 𝜃(𝜏) を サンプリングする 07 マルコフ連鎖モンテカルロ法(2) 66
なぜ急に物理の話をしたのか? ▌もしもここまでの考え方を事後分布上で表現できたら? この手続きを繰り返せば𝜏 秒後の位置 𝜃(𝜏) は 開始時の位置(一時点前のサンプリング) のみに依存するサンプリングになる 次はここから再び サッカーボールを 適当な強さで蹴って 𝜏 秒の位置を記録する マルコフ連鎖 で,結局M-Hと比べて 何が嬉しいのか? 𝜏 秒後の位置 𝜃(𝜏) を サンプリングする 07 マルコフ連鎖モンテカルロ法(2) 67
M-H法との比較 Metropolis-Hastings法 物理学的な考え方 実際にはもとの事後分布に基づいて 計算が行われます エネルギー保存の法則のおかげで ボールの位置を計算すること自体は とても簡単です 蹴る方向と強さ 提案分布 変な方向に蹴ったとしても 時間が経てばボールは低いところに いることが多いはず 次の候補をただランダムに決めるので 今よりも確率密度の高いところが選ばれる確率が高くない =提案が棄却されることが多い =効率的なサンプリングにつながる 07 マルコフ連鎖モンテカルロ法(2) 68
ちょっと式変形 出発して𝜏秒後の高さをℎ(𝜏),位置を𝜃(𝜏)とすると 𝜃(𝜏)がわかれば自動的にℎ(𝜏)もわかる ℎ 𝜏 = ℎ(𝜃 𝜏 )とおく ℎ(𝜏) 摩擦などが無ければ,一度蹴ったボールは 同じ範囲を無限に行ったり来たりする ある時点の位置からその高さは逆算できる さらに一旦𝜏も消して考えてみる さらにさらに質量と重力加速度がそれぞれ 1であると仮定すると(𝑚 = 𝑔 = 1) 位置エネルギー 𝑈 𝜏 =ℎ 𝜃 , 𝜃(𝜏) 運動エネルギー 1 2 𝐾 𝜏 = 𝑝 2 1 2 𝐻 𝜃, 𝑝 = ℎ 𝜃 + 𝑝 2 ハミルトニアンは 位置𝜃と運動量𝑝による関数で表現される 07 マルコフ連鎖モンテカルロ法(2) 69
Hamiltonian Monte Carlo ▌ベイズに戻ります。 事後分布𝑃(𝜃|𝑌)と,独立な標準正規分布𝑃(𝑝)の同時分布を考える 𝑃 𝜃, 𝑝 𝑌 = 𝑃 𝜃 𝑌 𝑃(𝑝) ※𝑝は𝜃と無関係に生成される乱数 あってもなくても事後分布には影響しない 𝑃 𝜃, 𝑝 𝑌 = 𝑃 𝜃 𝑌 log 𝑃 𝜃, 𝑝 𝑌 = log 𝑃 𝜃 𝑌 + log 𝑃 𝑝 1 2 ∝ log 𝑃 𝜃 𝑌 − 𝑝 2 1 2 − log 𝑃 𝜃 𝑌 = ℎ(𝜃)とすると = −ℎ 𝜃 − 𝑝 2 = −𝐻 𝜃, 𝑝 𝑃 𝜃, 𝑝 𝑌 = exp −𝐻 𝜃, 𝑝 標準正規分布の確率密度関数は 1 𝑥2 𝑃 𝑥 = exp − 2 2𝜋 𝑥2 カーネルの対数を取ると − 2 事後分布とハミルトニアンが繋がった! つまり「まるで蹴ったボールの位置を記録するかのように」事後分布からのサンプリングができる,ということ 07 マルコフ連鎖モンテカルロ法(2) 70
HMCのアルゴリズム ① 適当なところ𝜃 (0) に ② をおく(初期値) を適当な強さで適当な方向に蹴る 𝑡 運動量𝑝(𝑡) を与える これが「事後分布とは独立な標準正規分布𝑃(𝑝)からの乱数」 ③ しばらくしたら ④ また を止めて位置𝜃 (𝑡) を記録 𝑡+1 蹴る方向と強さ を𝑝(𝑡+1) ではじく→ 𝜃 (𝑡+1) を記録 事後分布によって作られた傾斜のおかげで基本的には 低いところ=事後確率密度が高いところに集まりやすい 07 マルコフ連鎖モンテカルロ法(2) 71
ハミルトニアンは変わらない 時点𝑡で𝜃 (𝑡) にいた が 𝑝(𝑡) = −1.6のパワーで蹴られたら ハミルトニアンの地図 (内側ほど𝐻 𝜃, 𝑝 が低い) 𝑝(𝜏) 𝜃 (𝑡) 蹴られた瞬間と ハミルトニアン𝐻(𝜃, 𝑝)が同じ (𝜃, 𝑝)の組み合わせの集合 -1.6 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 𝜃(𝜏) 72
ハミルトニアンは変わらない 時点𝑡で𝜃 (𝑡) にいた が 𝑝(𝑡) = −1.6のパワーで蹴られたら 1. まずちょっと左に行こうとする 摩擦などが無ければ 等高線上をぐるぐる回り続ける 2. でも傾斜がきついのですごい勢いで右に転がっていく 3. 同じ高さまで到達したらまた左に動き出す ハミルトニアンの地図 (内側ほど𝐻 𝜃, 𝑝 が低い) 4. しばらくしたら𝜃 (𝑡+1) にいる …そしてまた適当なパワーで弾かれていく… 𝑝(𝜏) (2) +方向に動く力 を持っている (1) 𝜃 (𝑡) (4) (3) 𝑝(𝑡+1) = 0.8 -方向に動く力 を持っている (1) (3) -1.6 (2) (4) 𝜃 (𝑡+1) 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 𝜃 (𝑡+1) 𝜃(𝜏) 73
位置が計算できる 位置𝜃と蹴った強さ𝑝がわかれば,何秒後に どこにいて (𝜃(𝜏)) どれだけの運動量を持っているか (𝑝(𝜏)) が計算できる ハミルトンの運動方程式 𝑑𝑝(𝜏) = −ℎ′ 𝜃 𝜏 𝑑𝜏 𝑑𝜃(𝜏) = 𝑝(𝜏) 𝑑𝜏 𝑝(𝜏) 運動量の変化率は高さの微分 =斜面の傾きで決まる 位置の変化率は運動量で決まる -1.6 どちらも変化率が時間 𝜏 に応じて変化するので ちょっとずつ動かしながら計算していく 07 マルコフ連鎖モンテカルロ法(2) 𝜃 (𝑡) 𝜃 (𝑡+1) 𝜃(𝜏) 74
実際の計算は少しずつ動かしながら ▌リープフロッグ法 リープフロッグは「馬跳び」という意味 位置の変化率 𝑑𝜃(𝜏) = 𝑝(𝜏) 𝑑𝜏 運動量の変化率 𝑑𝑝(𝜏) = −ℎ′ 𝜃 𝜏 𝑑𝜏 運動量と位置を交互に計算していく 𝜃(0) と 𝑝(0) から 1 1 秒後の位置𝜃 を 2 2 計算する 1 𝜃 2 と 𝑝(1) から 3 3 秒後の位置𝜃 を 2 2 計算する ︙ 𝜃 1 𝜏−2 を計算する 1 𝜏+2 𝑝(𝜏) 3 𝜃 と 𝑝(1) から 2 2秒後の運動量𝑝 2 を計算する ︙ と 𝑝(𝜏) から 1 𝜏 + 2秒後の位置𝜃 1 𝜃 2 と 𝑝(0) から 1秒後の運動量𝑝 1 を計算する 1 𝜏+2 -1.6 𝜃 と 𝑝(𝜏) から 𝜏 + 1 秒後の運動量 𝑝 𝜏 + 1 を計算する 07 マルコフ連鎖モンテカルロ法(2) 𝜃 (𝑡) 𝜃(𝜏) 75
ちょっとずつ動かしながら ▌リープフロッグ法 リープフロッグは「馬跳び」という意味 位置の変化率 𝑑𝜃(𝜏) = 𝑝(𝜏) 𝑑𝜏 運動量の変化率 𝑑𝑝(𝜏) = −ℎ′ 𝜃 𝜏 𝑑𝜏 運動量と位置を交互に計算していく 【開始時】 1 1 𝜃 = 𝜃 0 + 𝑝(0) 2 2 1 ′ 𝑝 1 =𝑝 0 −ℎ 𝜃 2 【繰り返す】 𝑝(𝜏) 1 1 𝜃 𝜏+ =𝜃 𝜏− +𝑝 𝜏 2 2 1 ′ 𝑝 𝜏+1 =𝑝 𝜏 −ℎ 𝜃 𝜏+ 2 -1.6 𝜃 (𝑡) 07 マルコフ連鎖モンテカルロ法(2) 𝜃(𝜏) 76
嬉しいポイント ▌蹴った後 𝜏 秒後の位置と運動量(𝜃 𝜏 , 𝑝(𝜏))をサンプリング候補 𝜃 ∗ , 𝑝∗ とすると… ① ハミルトニアンは変わらない 等高線上をぐるぐる回るだけ 𝑃 𝜃 𝑡 , 𝑝(𝑡) 𝑌 = exp −𝐻 𝜃(0), 𝑝(0) ② リープフロッグしていると = exp −𝐻 𝜃(𝜏), 𝑝(𝜏) = 𝑃 𝜃 ∗ , 𝑝∗ 𝑌 交互に計算するならば,𝜃 ∗ からスタートしても矢印を全部逆にすることで 同じ時間𝜏で𝜃 𝑡 に戻るはず,ということ 𝑃 𝜃 ∗ , 𝑝∗ 𝜃 𝑡 , 𝑝 𝑡 = 𝑃 𝜃 𝑡 , 𝑝 𝑡 𝜃 ∗ , 𝑝∗ ▌ 以上より,自動的に詳細釣り合い条件が成立する! 𝑃 𝜃 ∗ , 𝑝∗ 𝜃 𝑡 , 𝑝 𝑡 𝑃 𝜃 𝑡 , 𝑝(𝑡) 𝑌 = 𝑃 𝜃 𝑡 , 𝑝 𝑡 𝜃 ∗ , 𝑝∗ 𝑃 𝜃 ∗ , 𝑝∗ 𝑌 理論上は採択確率1でいける! 実際にはリープフロッグ法(数値計算)による微妙な誤差があるので わずかに1になりません 07 マルコフ連鎖モンテカルロ法(2) 77
HMCの流れ ① とりあえず位置𝜃 (𝑡) にいる ② 正規分布から乱数𝑝(𝑡) を発生させる ③ リープフロッグ法によって𝐿時点後の位置𝜃(𝐿),運動量𝑝(𝐿)を計算する ④ 得られた値をそれぞれサンプリング候補 𝜃 ∗ , 𝑝∗ とする ⑤ (一応)確率min 1, 𝑃 𝜃 ∗ , 𝑝∗ 𝑌 𝑡 𝑡 𝑃 𝜃 ,𝑝 𝑌 で採択する 前ページの説明によって 基本的にはほぼ1になりますが ⑥ 採択する場合は𝜃 (𝑡+1) = 𝜃 ∗ ,採択しない場合は𝜃 (𝑡+1) = 𝜃 (𝑡) にする 07 マルコフ連鎖モンテカルロ法(2) 78
HMCのチューニング ▌割と大事な要素 𝜀|1ステップの計算で何秒進むか 𝑝(𝜏) 【開始時】 p. 72の式より細かい時間𝜀で区切って更新していく 1 1 𝜀 = 𝜃 0 + 𝜀𝑝(0) 2 2 1 𝑝 𝜀 = 𝑝 0 + 𝜀ℎ′ 𝜃 𝜀 2 𝜃 【繰り返す】 𝜃 𝜏+ 1 𝜀 =𝜃 2 𝜏− 1 𝜀 + 𝜀𝑝 𝜏𝜀 2 𝑝 𝜏 + 1 𝜀 = 𝑝 𝜏𝜀 + 𝜀ℎ′ 𝜃 𝜏+ 1 𝜀 2 𝜀が大きいほど,移動距離が伸びるが 計算の精度が低下する→採択率が下がる 𝜃 (𝑡) 本当は一瞬一瞬変化するので 一瞬ごとに計算していきたい 𝜃(𝜏) 𝜀が小さいほど,計算の精度は上がるが 移動距離が短くなる →必要な繰り返し数が増え,自己相関が高くなる 07 マルコフ連鎖モンテカルロ法(2) 79
HMCのチューニング 更新の回数は同じだとします 𝑝(𝜏) 𝜀が小さい場合 𝑝(𝜏) 𝜀が大きい場合 最終的な位置 最終的な位置 等高線上に近いが移動距離が短い 𝜃(𝜏) 𝜃(𝜏) 距離は長いが等高線から離れてしまうことがある 実際には各ステップでの計算誤差は蓄積していくと考えられます 07 マルコフ連鎖モンテカルロ法(2) 80
HMCのチューニング(2) ▌もう一つ大事なのはステップ数𝐿 移動距離が長くなるほど,最初の位置から離れる つまり,実際のサンプリングが行われる時点 𝜏 = 𝜀𝐿 𝑝(𝜏) 𝐿が小さい場合 自己相関が低くなり,サンプリング効率が上がる 𝑝(𝜏) 𝐿が大きい場合 最終的な位置 最終的な位置 計算はすぐ終わるがあまり動けない 𝜃(𝜏) 07 マルコフ連鎖モンテカルロ法(2) 𝜃(𝜏) たくさん動けるが計算は大変 やりすぎると帰ってきちゃう 81
Stanの何がすごいって ▌この𝜀と𝐿を自動的にいい感じに決めてくれる 詳しくは”No U-Turn Sampler (NUTS)”で検索! 最後にHMCをRで試してみたいと思います 【用意するもの】 • 対数事後確率 𝑃 𝜃 𝑌 ∝ 𝐿 𝜃 𝑌 𝑃(𝜃) • それをパラメータごとに偏微分したやつ − log 𝑃 𝜃 𝑌 = ℎ(𝜃)であり リープフロッグ法でℎ′ 𝜃 𝜏 の計算が必要なため log 𝑃 𝜃 𝑌 ∝ 𝐿𝐿 𝜃 𝑌 + log 𝑃(𝜃) 面倒なので今回は「完全な無情報事前分布」として 一様分布を設定します 一様分布は尤度の形に影響を与えないため 対数尤度の偏微分さえ用意できればOKとなる 05料 p. 55 資 正規分布モデルにおける対数尤度の偏微分は 資料05 p. 55 07 マルコフ連鎖モンテカルロ法(2) 82
(補足)HMCのRコード
# HMC sampling
for(s in 2:S){
p_l <- p_0 <- rnorm(2,0,1) # パラメータが2つなので,運動量も2方向
▼準備・パラメータ設定
theta_l <- theta_0 <- samples[s-1, ] # 時点lでのパラメータの位置を入れる箱
# leapfrog start
# データの読み込み
# 最初だけ1/2時点の移動なので調整
dat <- read.csv("data_cvs.csv")
theta_l <- theta_l - (epsilon/2)*p_l
SALES <- dat$sales
for(l in 1:L){
# 偏微分を返す関数
theta_l <- theta_l + epsilon*p_l # muとsigma2の位置
diff_mu <- function(Y,mu,sigma2){
# muの運動量
p_l[1] <- p_l[1] + epsilon*diff_mu(SALES,theta_l$mu,theta_l$sigma2)
return((1/sigma2)*sum(Y-mu))
}
# sigma2の運動量
diff_sigma <- function(Y,mu,sigma2){
p_l[2] <- p_l[2] + epsilon*diff_sigma(SALES,theta_l$mu,theta_l$sigma2)
}
return((-length(Y)/(2*sigma2))+(1/(2*sigma2^2))*sum((Y-mu)^2))
}
# ループが終わった段階ではthetaがL-1/2時点にいるため,1/2時点分進める
# initial value
theta_l <- theta_l + (epsilon/2)* p_l
mu_init <- 5 # 1にするとハミルトニアンの計算がなぜか破綻する
# leapfrog finish
sigma2_init <- 1
# 提案された箇所のハミルトニアン
# repetition times
lp_prop <- sum(dnorm(SALES,theta_l$mu,sqrt(theta_l$sigma2),log=T)) - sum(1/2*p_l^2)
S <- 10000
# 動き始めた箇所のハミルトニアン
# HMCパラメータ
lp_old <- sum(dnorm(SALES,theta_0$mu,sqrt(theta_0$sigma2),log=T)) - sum(1/2*p_0^2)
epsilon <- 0.01
prob <- exp(lp_prop-lp_old)
L <- 15
if(runif(1) < prob){
# サンプリング結果を入れておく箱(data.frame)
samples[s,] <- theta_l
} else {
samples <- data.frame(mu = rep(NA,S), sigma2 = NA)
samples[s,] <- theta_0
samples[1,c("mu","sigma2")] <- c(mu_init, sigma2_init)
本体
}
}
07 マルコフ連鎖モンテカルロ法(2)
83
結果を見てみる plot(samples$mu,type="l") plot(samples$mu,samples$sigma2, type="l") 定常っぽく見える 定常っぽく見える 初期値 初期値 トレースプロット サンプリングの動き どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 84
最初をすてて事後分布 HMCによる事後分布 plot(density(samples$mu[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 85
最初をすてて事後分布 HMCによる事後分布 plot(density(samples$sigma[-(1:200)])) 資料05 p. 102 共役事前分布から導出した 事後分布からの生成乱数 どうやらうまく行っています 07 マルコフ連鎖モンテカルロ法(2) 86
チューニングの重要性 𝜀 = 1, 𝐿 = 15 とすると ▌ 𝜀 = 0.01, 𝐿 = 15とすると 計算が吹っ飛ぶ 戻ってこないかも 標本平均・SDはここ 素早く定常分布に到着 𝜀 = 0.01, 𝐿 = 1とすると stanの内部では,この 𝜀 と 𝐿 を 自動的にチューニングしてくれる 07 マルコフ連鎖モンテカルロ法(2) おそすぎる =サンプリング回数が必要 87
まとめと次回予告 【まとめ】 ▌マルコフ連鎖モンテカルロ法の仕組みが分かりましたか? M-H法は基本的にどんな確率分布からもサンプリング可能 HMCは「まるでボールを転がすように」サンプリングしている (そんな難しいことが理解できなくても使えるstanはありがたい) 【次回予告】 ▌MCMC (stan) を利用する際のプラクティカルな話をします ちゃんと「定常分布からのサンプリング」になっているかはどうやって確認する? 作成したコード・推定結果をもっと細かく診断するには? 07 マルコフ連鎖モンテカルロ法(2) …etc. 88