能動的推論と運動制御

第23回認知神経リハビリテーション学会学術集会 2023/10/7(土) 10:20〜11:40 能動的推論と 運動制御 北海道大学 人間知・脳・AI研究教育センター 特任准教授 吉田 正俊

概要 本日のテーマ: 能動的推論

概要 能動的推論とは: 行為とは、環境をよりよく知る認知の過程。 この意味での行為を説明する計算論的モデル。 能動的推論では、運動制御について 従来の理論と大きく異なる見方をする。 • 従来の理論: 大脳が出す信号は運動指令 • 能動的推論: 行為の結果の感覚入力の予測 能動的推論は ペルフェッティや宮本が先導した 認知神経リハビリテーションにおいて、 重要な理論的基盤となる可能性がある。

順を追って説明してゆきます なるたけ数式は使わない予定 熱心な10%に届けるよりも 70%に興味を持ってもらう ことを目指す

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

Q: この絵画はなにを描いた ものでしょうか？

Yarbus, A. L. (1967). Eye movements and vision, Plenum Press, New York http://www.cabinetmagazine.org/issues/30/archibald.php

• http://www.cabinetmagazine.org/issues/30/archibald.php

Q: この絵画はなにを描いた ものでしょうか？ 「予期せぬ帰宅」イリヤ・レーピン (1888年 ロシア) (シベリアに流刑されていた)革命家が 実家の母親を訪ねたときの光景。

ところで Q2: 椅子は何色でしたか？ Q3: 壁は何色でしたか？

Yarbus, A. L. (1967). Eye movements and vision, Plenum Press, New York http://www.cabinetmagazine.org/issues/30/archibald.php

• http://www.cabinetmagazine.org/issues/30/archibald.php

Yarbus, A. L. (1967). Eye movements and vision, Plenum Press, New York http://www.cabinetmagazine.org/issues/30/archibald.php

• http://www.cabinetmagazine.org/issues/30/archibald.php

我々の視覚は視野の中心以外はぼやけてる 視野角にして1度 親指の幅 = 1cm https://en.wikipedia.org/wiki/ File:AcuityHumanEye.svg

• https://en.wikipedia.org/wiki/

我々の視覚は視野の中心以外はぼやけてる 視力 (中心窩を1として) 視野角にして1度 親指の幅 = 1cm https://en.wikipedia.org/wiki/ File:AcuityHumanEye.svg 網膜の色素細胞の密度が違う Wells-Gray EM, Choi SS, Bries A, Doble N. Eye (Lond). 2016 Aug;30(8):1135-43.

• https://en.wikipedia.org/wiki/

「アクティブ・ヴィジョン」 われわれは視線を動かして、周辺視野にある目立つものを 中心視野に持ってくることで視覚シーンを理解している。

「アクティブ・ヴィジョン」 視覚とは受け身の像形成ではない。 行動によって積極的に視覚情報を拾い上げる探索的活動である。

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

脳を入出力のある情報処理として捉える: “Open loop” 外界 従来の脳科学では このような 入出力の図式の中で 知覚、運動、学習 などの現象は 別々に研究されてきた。 感覚器 (例: 網膜) 感覚野 連合野 運動野 運動器 (例: 筋肉) 外界

“Closed loop”としてのagentと外界 外界 Agent 感覚器 (例: 網膜) 感覚野 外界の状態 連合野 運動野 運動器 (例: 筋肉) 知覚、運動、学習はループの中で切り離せない形で実行される

フッサール現象学での視覚論 私が身体を左に動かせば、眼前のサイコロの これまで見えていなかった左側の側面が見えてくる。 われわれが見ているものは、 つねに自分の身体の運動可能性 と結びつけられる仕方で経験されている。 Modified from 田口茂「現象学という思考」筑摩書房 p.74 吉田正俊， 田口茂 (2018) 自由エネルギー原理と視覚的意識. 日本神経回路学会誌 25 (3), 53-70

エナクティヴィズム Enactivism VarelaによるEnactivism、Enactiveアプローチ Enact (役を演ずる) => 「行為からの産出」 Enactivismの定義 (p.246): 「知覚とは、知覚的に導かれた行為のことである」 Perception consists in perceptually guided action. 「認知とは身体化された行為である」 Cognition as embodied action World mutually specify ペルフェッティの「認知」 とはこういう意味の認知。 「認知主義」の認知ではない Agent フランシスコ・ヴァレラ、エヴァン・トンプソン、エレ ノア・ロッシュ (1991) 身体化された心 仏教思想からの エナクティブ・アプローチ. 工作舎 (日本語訳 2006)

外界 Agent 感覚器 (例: 網膜) 感覚野 外界の状態 連合野 運動野 運動器 (例: 筋肉) 問題なのは、このようなループ構造を 包括的に捉えた数理モデルがないこと

そこで自由エネルギー原理(FEP)の出番 FEPの定義: 「いかなる自己組織化された生物(agent)でも、 環境内で安定に存在し続けるためには、 Modified from Friston, K. (2010). そのシステムの変分自由エネルギーFを The free-energy principle: a unified brain theory? Nature Reviews 最小化しつづけなくてはならない」 Neuroscience, 11(2), 127–138. 外界 感覚状態s 外部状態x Agent 信念q 運動状態a 変分自由エネルギーFが減るように 運動状態aを更新 = 行動 (= 能動的推論) 変分自由エネルギーF が減るように 信念qを更新 = 知覚 (= 知覚的推論) Agentを感覚運動ループを 維持するもの(オートポイ エーシス)と捉えたうえで、 知覚、行動、学習を統一的 に説明

しかし、FEP/能動的推論を理解するのは 非常に難しい。 脳の大統一理論: 自由エネルギー原 理とはなにか 乾 敏郎 (著), 阪口 豊 (著) 岩波書店 (2020/12/24) 自由エネルギー原理入門: 知覚・行動・ コミュニケーションの計算理論 乾 敏郎 (著), 阪口 豊 (著) 岩波書店 (2021/11/18) パー, ペッツーロ, フリストン (2021) 「能動的推論 - 心、脳、行 動の自由エネルギー原理」ミネル ヴァ書房 日本語の本は出ているけれど、 「機械学習」の分野を学んだ人でないと、 これらの本を理解するのは無理

(専門家でない)吉田による噛み砕いた説明 日本神経回路学会誌2018年9月号 フリーアクセス: https://www.jstage.jst.go.jp/browse/ jnns/25/3/_contents/-char/ja 吉田のwebサイト http://pooneil.sakura.ne.jp/ 人工知能学会雑誌 2023年11月号 (有料)

• http://pooneil.sakura.ne.jp/
• https://www.jstage.jst.go.jp/browse/

(専門家でない)吉田による噛み砕いた説明 これらをさらに噛み砕いて、 数式を最小限にして説明します。 もっと知りたい人は これらを読んでみてください。 日本神経回路学会誌2018年9月号 フリーアクセス: https://www.jstage.jst.go.jp/browse/ jnns/25/3/_contents/-char/ja 吉田のwebサイト http://pooneil.sakura.ne.jp/ 人工知能学会雑誌 2023年11月号 (予定)

• http://pooneil.sakura.ne.jp/
• https://www.jstage.jst.go.jp/browse/

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

自由エネルギー原理は ベイズ脳仮説の発展形です。 そこでまずベイズ脳仮説について説明します。 具体例として、 「サプライズ」の大きさを測るには？ という問題を考えてみましょう。

眼の前に 蝶がいた。

瞬きしたら 蛾に 変わってた。 なにごと？

なぜ驚いたのだろうか? 蛾の画像そのものがサプライズなわけではない。 蝶から蛾への変化がサプライズ。 =「いま私は蝶を見ている」 という信念が崩れたことがサプライズ。 この状況について 信念の更新いう観点から図式化してみよう。

「外界にいるのは蝶だ」という信念 現在の外界の状態 についての信念 q(x) 1 0 蝶 蛾 x これまでの感覚入力s 新しい感覚入力によって 更新された信念 q(x) 1 0 蝶 蛾 x 新しい感覚入力s

「蝶だ」という推測が外れる = サプライズ 現在の外界の状態 についての信念 q(x) 1 0 蝶 蛾 x これまでの感覚入力s 新しい感覚入力によって 更新された信念 q(x) 1 0 蝶 蛾 x 新しい感覚入力s

「蛾だ」という安定した知覚 現在の外界の状態 についての信念 q(x) 1 0 蝶 蛾 x これまでの感覚入力s 新しい感覚入力によって 更新された信念 q(x) 1 0 蝶 蛾 x 新しい感覚入力s

知覚とサプライズ 現在の外界の状態 についての信念 q(x) 1 ベイズ脳仮説 ベイズ脳仮説によれば 知覚 = 感覚入力sによって信念q(x)を 更新する過程 0 蝶 蛾 x 新しい感覚入力によって 更新された信念 q(x) 1 0 蝶 蛾 x Based on: Itti, L. & Baldi, P. Vision Research 49, 1295–1306 (2009) サプライズ = 時間ごとの信念q(x)の変化量 変分自由エネルギーF ≒ サプライズの時間平均 自由エネルギー原理 変分自由エネルギーFを下げる ≒ サプライズがあったときに それをうまく説明する 新しい信念q(x)を採用する。

ベイズ脳仮説 Agent 外界 感覚入力s (観測値) xについての 信念 q(x) 外界の状態x (隠れ値) x=1 蝶がいる s=1 x=2 蛾がいる x=1 蝶がいる x=2 蛾がいる われわれ生物(agent)の知覚とは 感覚入力sが与えられたときに、外界の状態xについての推定を 確率的に表現したもの: 信念q(x)である。

ベイズ脳仮説 Agent 外界 物理法則 生成過程 外界についての知識 感覚入力s (観測値) xについての 信念 q(x) 外界の状態x (隠れ値) x=1 蝶がいる x=2 蛾がいる 生成モデル s=1 x=1 蝶がいる x=2 蛾がいる なんでそんなことができる？=> 生成モデルを持っているから。 • 生成過程: 外界xと感覚入力sの関係 = 物理法則 • 生成モデル: 生成過程を学習したもの = 外界についての知識、モデル

Agent 外界 物理法則 外界についての知識 生成過程 生成モデル 感覚入力s (観測値) p̄(x, s) 外界の状態x (隠れ値) x=1 蝶がいる x=2 蛾がいる p(x, s) xについての 信念 q(x) s=1 x=1 蝶がいる x=2 蛾がいる 生成モデルの具体的な形: x (隠れ値)とs (感覚入力)の変換テーブル 蝶 蛾 x=1 x=2 0.5 0.0 s=1 0.0 0.5 s=2 確率なので合計1

Agent 外界 物理法則 外界についての知識 生成過程 生成モデル 感覚入力s (観測値) p̄(x, s) 外界の状態x (隠れ値) x=1 蝶がいる x=2 蛾がいる p(x, s) xについての 信念 q(x) s=1 x=1 蝶がいる x=2 蛾がいる 1 0 蝶 蛾 生成モデルの具体的な形: x (隠れ値)とs (感覚入力)の変換テーブル 蝶 蛾 x=1 x=2 s = 1の感覚入力があったときx = 1である確率 0.5 0.0 s=1 0.0 0.5 s=2 確率なので合計1 0.5 = 1.0 0.5 + 0.0 (ベイズの法則) 確信度100%で蝶だという信念を持っている。

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

じっさいに脳ではどうやってる？ ベイズ脳 仮説 外界の潜在変数x についての信念q(x)を 感覚入力sによって更新 脳での実装 予測符号化 理論 階層的な神経ネットワークで 感覚入力sとその予測 とのあいだの誤差を最小化

(古典的な) 脳のシリアル処理モデル 顔ユニット パーツの ユニット 傾きユニット 感覚入力 神経細胞を 特徴を抽出する フィルターとして 捉える フィード フォワード型の DNNが対応

予測誤差最小化理論 神経細胞を 予測する ユニットと 予測誤差を送る ユニットの 組み合わせ として捉える PredNetのような DNNに対応 予測誤差 ユニット 予測誤差 ユニット 予測誤差 ユニット 予測誤差 ユニット 予測ユニット 予測ユニット 予測ユニット 感覚入力 https://en.wikipedia.org/wiki/ File:Emotions_according_to_the_Atlas_of_Personality,_Emotion_and_Behaviour.svg

• https://en.wikipedia.org/wiki/

知覚を予測誤差最小化で説明 信念 x 予測 誤差 x=1 蝶 ϵ s=1 s 感覚入力

知覚を予測誤差最小化で説明 信念 x 予測 誤差 x=1 蝶 生成モデルによる x = 1のときの ϵ 感覚入力sの予測 s=1 s 感覚入力

知覚を予測誤差最小化で説明 信念 x 予測 誤差 x=1 蝶 MidjourneyやStable diffusion などの生成的AIで プロンプト(言葉)から 画像を生成する のと同じ作業 ϵ s=1 s 感覚入力

知覚を予測誤差最小化で説明 信念はこのまま 信念 x x=1 蝶 予測誤差 ゼロ 予測 誤差 ϵ s=1 s 感覚入力

知覚を予測誤差最小化で説明 信念はこのまま 信念 x 信念 x=1 x 蝶 予測誤差 ゼロ 予測 誤差 x=1 蝶 x=1 予測 誤差 ϵ のときの 感覚入力s の予測 ϵ s=2 s=1 s s 感覚入力 感覚入力

知覚を予測誤差最小化で説明 信念はこのまま 信念 x 信念 x=1 x 蝶 予測誤差 大 予測誤差 ゼロ 予測 誤差 信念を更新する 予測 誤差 ϵ x=1 蝶 x=1 のときの 感覚入力s の予測 ϵ s=2 s=1 s s 感覚入力 感覚入力

知覚を予測誤差最小化で説明 信念はこのまま 信念 x 信念 x=1 x 蝶 予測誤差 ゼロ 予測 誤差 x=2 蛾 x=2 予測 誤差 ϵ のときの 感覚入力s の予測 ϵ s=2 s=1 s s 感覚入力 感覚入力

知覚を予測誤差最小化で説明 信念はこのまま 信念 x 信念 x=1 x 蝶 x=2 蛾 予測誤差 ゼロ 予測誤差 ゼロ 予測 誤差 信念はこのまま 予測 誤差 ϵ ϵ s=2 s=1 s s 感覚入力 感覚入力

知覚を予測誤差最小化で説明 信念はこのまま 信念 x 信念 x=1 x 蝶 x=2 蛾 予測誤差 ゼロ 予測誤差 ゼロ 予測 誤差 信念はこのまま 予測 誤差 ϵ ϵ s=2 s=1 s s 感覚入力 感覚入力 「意識的な状態は、感覚入力を現在のところもっとも良く予測するような、 外界の表象である」 ヤコブ・ホーヴィ (2021) 予測する心. 勁草書房 p.324

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

自由エネルギー原理(FEP)とは FEPの定義: 「いかなる自己組織化された生物(agent)でも、 環境内で安定に存在し続けるためには、 Modified from Friston, K. (2010). そのシステムの変分自由エネルギーFを The free-energy principle: a unified brain theory? Nature Reviews 最小化しつづけなくてはならない」 Neuroscience, 11(2), 127–138. 外界 感覚状態s 外部状態x Agent 信念q 運動状態a 変分自由エネルギーF が減るように 信念qを更新 = 知覚 (= 知覚的推論)

じつは最小限必要な説明はすでに済んでいる。 なぜなら、 変分自由エネルギーFを最小化するとは、 ベイズ脳仮説での推測を計算する近似法であり、 脳で予測誤差を最小にすることと(ほぼ)同じだから。

これらの関係は？ ベイズ脳 仮説 外界の状態を 信念として持つ 予測符号化 理論 感覚入力とその予測 とのあいだの誤差を最小化 近似計算方法 自由エネルギー 原理 実際の脳での実装

自由エネルギー原理は ベイズ脳仮説と予測誤差最小化 を繋ぐものであり、 これらと「ほとんど」同じ

変分自由エネルギーとはなにか 変分自由エネルギー 推測 q(x) F(q, p, s) = {q(x)ln } ∑ p(x, s) x 生成モデル x: 外界の状態、隠れ値 s: 感覚入力 q: 信念 p: 生成モデル 式の細かいところには踏み込まない。 ここで大事なのは、 • Fは信念qと生成モデルpの2つだけで決まる。 • Fを下げるために生物はq,p,sを変えることができる。

自由エネルギー原理(FEP)とは 外界 感覚状態s Agent 信念qを更新 = 知覚 (= 知覚的推論) 信念q 外部状態x 生成モデルp 運動状態a 運動状態aを更新 = 行動 (= 能動的推論) 生成モデルpを更新 = 学習、発達、機能回復 いろんな方法で 変分自由エネルギーFを 下げることが可能

それでは 知覚、行為、学習について 順番に図示してゆこう まず知覚の場合

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

眼を開けたら 蝶がいた。

Agent 外界 物理法則 外界についての知識 生成過程 生成モデル 感覚入力s (観測値) p̄(x, s) p(x, s) 外界の状態x (潜在変数) x=1 蝶がいる 外界の状態x の推測 q(x) x=1 s=1 蝶がいる x=0 x=0 蛾がいる 生成モデルp 蛾がいる 信念q 蝶 蛾 x=1 x=2 0.5 0.0 s=1 0.0 0.5 s=2 確率なので合計1 1 1 0 0 蝶 蛾 蝶 蛾 生成モデルpを固定したまま 信念qを更新する = 知覚

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

自由エネルギー原理は ベイズ脳仮説と予測誤差最小化 を繋ぐものであり、 これらと「ほとんど」同じ 違ってる点は、 自由エネルギー原理は 知覚だけでなくさまざまな現象を 説明することができること

例: アクティブ・ヴィジョン 視線を左下に 向けている。 右上に なにかいるが、 ぼんやりしていて わからない。

例: アクティブ・ヴィジョン 視線を 右上に向けると、 蝶がいることが より確かになった。

生成モデルからの 予測 生成過程 生成モデル 感覚入力 s=3 外界の状態 s=1 蝶がいる 蛾がいる 行動選択 「外界の状 態」の推測 蝶がいる 蛾がいる 左下見る 右上見る 生成モデルの概念を拡張する。 Agentは行動の選択肢ごとに、 行動選択とその結果の感覚入力の関係を学習している。 「左下見る」=>感覚入力s = 3をサンプルする 「右上見る」=>感覚入力s = 1をサンプルする

生成モデルからの 予測 生成過程 生成モデル 感覚入力 s=3 「外界の状 態」の推測 外界の状態 s=1 蝶がいる 蛾がいる 蝶がいる 蛾がいる 行動選択 左下見る 右上見る 「左下 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.3 0.2 s=3 0.2 0.3 s=4 「右上 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.5 0.0 s=1 0.0 0.5 s=2

生成モデルからの 予測 生成過程 生成モデル 感覚入力 s=3 「外界の状 態」の推測 外界の状態 s=1 蝶がいる 蛾がいる 蝶がいる 蛾がいる 行動選択 左下見る 右上見る 「左下 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.3 0.2 s=3 0.2 0.3 s=4 蝶だという信念=60% 「右上 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.5 0.0 s=1 0.0 0.5 s=2 蝶だという信念=100%

生成モデルからの 予測 生成過程 生成モデル 感覚入力 s=3 「外界の状 態」の推測 外界の状態 蝶がいる s=1 蝶がいる 右上への視線移動という行為によって、 行動選択 蛾がいる 蛾がいる a=0 感覚入力 s = 3から左下見る s = 1をサンプルした。 これによってより正確な信念q(x)に更新した。 右上見る このとき変分自由エネルギー aF = が下がった。 1 「左下 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.3 0.2 s=3 0.2 0.3 s=4 蝶だという信念=60% 「右上 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.5 0.0 s=1 0.0 0.5 s=2 蝶だという信念=100%

自由エネルギー原理(FEP)とは 外界 感覚状態s Agent 信念qを更新 = 知覚 (= 知覚的推論) 信念q 外部状態x 生成モデルp 運動状態a 運動状態aを更新 =感覚状態sを更新 = 行動 (= 能動的推論) どちらでも 変分自由エネルギーFを 下げることが可能

アクティブ・ヴィジョン Yarbus, A. L. (1967). Eye movements and vision, Plenum Press, New York http://www.cabinetmagazine.org/issues/30/archibald.php 自由エネルギー原理では アクティブ・ヴィジョンにおける視覚と眼球運動の連関を 「外界の状態xを推測する過程」(能動的推論) として統一的に説明できる

• http://www.cabinetmagazine.org/issues/30/archibald.php

アクティブ・ヴィジョン Yarbus, A. L. (1967). Eye movements and vision, Plenum Press, New York http://www.cabinetmagazine.org/issues/30/archibald.php アクティブ・ヴィジョンの目的: 外界の状態xのよりよい推定であって、 感覚入力sの忠実なコピーを作ることではない。

• http://www.cabinetmagazine.org/issues/30/archibald.php

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

例: 知覚的学習 視線を左下に向けている。 右上にあるものは蝶か蛾かあいまい。 しかし弁別を繰り返してゆくと 正答率が60%から90%まで上がってきた。(=>知覚的学習)

例: 知覚的学習 このような知覚的学習は 生成モデルの更新として捉えることができる

s=3 「左下 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.3 0.2 s=3 0.2 0.3 s=4 例: 知覚的学習 s=4

s=3 「左下 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.3 0.2 s=3 0.2 0.3 s=4 例: 知覚的学習 知覚的 学習 蝶 蛾 x=1 x=2 0.45 0.05 s=3 0.05 0.45 s=4 s=4

s=3 「左下 見る」 の生成 モデル 蝶 蛾 x=1 x=2 0.3 0.2 s=3 0.2 0.3 s=4 例: 知覚的学習 知覚的 学習 蝶 蛾 x=1 x=2 0.45 0.05 s=3 0.05 0.45 s=4 s=4 蝶だという信念 は60%から90% へ上昇。

まとめ 信念qを更新 = 知覚 (= 知覚的推論) 信念qを更新 = 知覚 (= 知覚的推論) 運動状態aを更新 感覚入力sを更新 = 行動 (= 能動的推論) 生成モデルp を更新 = 学習

まとめ 信念qを更新 = 知覚 (= 知覚的推論) 信念qを更新 = 知覚 (= 知覚的推論) 運動状態aを更新 感覚入力sを更新 = 行動 (= 能動的推論) 生成モデルp を更新 = 学習 どの方策でも 変分自由エネルギーF を下げることができる。 どれを使うかは状況次第。 並行して使ってもよい。

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

応用問題 外界 感覚状態s Agent 信念q 外部状態x 生成モデルp 運動状態a これまでの例) 蝶と蛾 外部状態x 感覚状態s 蝶 or 蛾が いる 網膜の活動 パターン 離散値 離散値 ほかの現象について 同じように捉えてみよう。

応用問題 外界 Agent 感覚状態s 信念q 外部状態x 生成モデルp 運動状態a 例1) 幻聴 外部状態x 人がいる orいない 離散値 感覚状態s 音の大きさ 連続値 これまでの例) 蝶と蛾 外部状態x 感覚状態s 蝶 or 蛾が いる 網膜の活動 パターン 離散値 離散値 ほかの現象について 同じように捉えてみよう。

応用問題 外界 Agent 感覚状態s 信念q 外部状態x 生成モデルp 運動状態a 例1) 幻聴 外部状態x 人がいる orいない 離散値 これまでの例) 蝶と蛾 外部状態x 感覚状態s 蝶 or 蛾が いる 網膜の活動 パターン 離散値 離散値 ほかの現象について 同じように捉えてみよう。 例2) ボール投げ 感覚状態s 感覚状態s 音の大きさ 連続値 外部状態x 飛距離 連続値 球速 連続値 運動状態a 投げる行動を選択

例: ボール投げ 運動状態a 外部状態x 投げる強さを選択 球速 感覚状態s 飛距離 0m 生成モデル (行為の結果の 感覚入力 の予測) 軽く投げる 強く投げる 実際の結果 軽く投げる 強く投げる 小学生ソフト の塁間 16m 老化を実感。実際の結果に照らし合わせて、生成モデルを更新 生成モデルは発達、老化、損傷で変化する => リハビリ的視点 (後述)

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

三種類の感覚 自由エネルギー原理によれば、生物(agent)は 外界の状態xについての信念(推定)から 感覚入力sの予測を生成して、 実際の感覚入力sとの予測誤差を最小化する。 これは知覚以外でも成り立つ。 外部のセンサー: 視覚、聴覚、触覚、 嗅覚、味覚 骨格筋の状態のセンサー: 関節角、姿勢、 運動状態など 体内環境のセンサー: 心拍、体温、 空腹など 外受容 感覚 固有受容 感覚 内受容 感覚 知覚 運動制御 感情/情動 このようにして知覚、運動制御、感情/情動 が説明可能となる。

外受容感覚の予測としての知覚 網膜の 活動 外受容感覚 世界 蝶か蛾 感覚状態s 外部状態x Agent 信念q 運動状態a

固有容感覚の予測としての運動制御 固有受容感覚 筋紡錘 身体 感覚状態s 外部状態x 骨格筋の状態 (関節角など) Agent 信念q 運動状態a 知覚と同様に感覚運動ループを考慮する。 違いは「外部」として身体を対象とすること。 外部の状態(隠れ値)xとして骨格筋の状態があり、 それを筋紡錘による固有受容感覚sから推定している。

運動制御 従来の理論: 大脳が出した運動指令を筋肉が実現 大脳 運動野 運動指令 脊髄 α運動ニューロン 感覚 フィードバック (脊髄反射) 筋紡錘 = 筋緊張 のセンサー 筋肉 運動指令が リレーされる a 脊髄は運動指令を リレーしているだけで 積極的な意義を持たない Based on: Friston KJ, Daunizeau J, Kilner J, Kiebel SJ. (2010) Action and behavior: a free-energy formulation. Biol Cybern. 102(3):227-60.

運動制御 能動的推論: 固有受容感覚の予測誤差を最小化するように筋肉が動く 生成モデル x 大脳 運動野 潜在変数: 望ましい関節角 外部状態x 関節角 ŝ 脊髄 じっさいの 感覚入力 筋紡錘 = 筋緊張 のセンサー 筋肉 予測誤差 ϵ = s − ŝ a 筋紡錘 予測の生成 α運動ニューロン s 感覚状態s 運動野が出しているのは 運動指令ではなくて、 筋紡錘での感覚入力の予測 運動指令という概念を否定 反射弓の積極的な意義 Based on: Friston KJ, Daunizeau J, Kilner J, Kiebel SJ. (2010) Action and behavior: a free-energy formulation. Biol Cybern. 102(3):227-60.

知覚とは予測誤差の最小化 知覚 信念 蝶 視覚野 感覚入力 の予測 予測誤差 センサー 網膜

予測符号化からみた知覚と運動制御 知覚 運動制御 信念 蝶 望ましい 骨格筋の状態 (関節角など) 運動野 視覚野 感覚入力 の予測 感覚入力 の予測 予測誤差 脊髄 予測誤差 センサー センサー 効果器 網膜 筋紡錘 筋肉 大脳が行っているのは いつも「感覚入力の予測」 乾 敏郎, 阪口 豊 (2020) 脳の大統一理論: 自 由エネルギー原理とはなにか. 岩波書店 p.44およびp.78を元に作成

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

能動的推論を批判的に検証したい 能動的推論は従来の運動制御理論と比べると 多くの点で異なる。 能動的推論はまだ新しい理論で、 充分な実験的検証がない。 能動的推論が提案するアイデアについては 批判的な検証が必要。 それぞれの利点、弱点を理解するために まずは運動制御理論について概括する。

従来の運動制御理論 遠心性コピー 予測器 (内部モデル) 予測誤差 運動指令 運動プラント (筋肉と筋紡錘) 運動指令が遠心性コピーを送って感覚入力を予測する だから我々は自分で自分をくすぐることができない Blakemore SJ, Wolpert D, Frith C. (2000) Why can't you tickle yourself? Neuroreport. 11(11):R11-6.

最適制御理論 身体 Agent 網膜 感覚状態s 外部状態x 筋肉の状態 についての 固有受容感覚の 座標での表現 筋紡錘 運動指令 状態推定x ̂ 最適制御a (=逆モデル) 逆モデルはコスト関数 (到達位置の正確さ + 軌道の最小化) によって運動指令を決める Based on: Friston K. What is optimal about motor control? Neuron. 2011 Nov 3;72(3):488-98.

最適制御理論 身体 網膜 Agent 感覚状態s 外部状態x 筋肉の状態 についての 固有受容感覚の 座標での表現 筋紡錘 運動指令 状態推定x ̂ 順モデルx′̂ 最適制御a (=逆モデル) 遠心性コピー  順モデルによって 運動指令におけるノイズの影響を補正して より正確な制御が可能となる Based on: Friston K. What is optimal about motor control? Neuron. 2011 Nov 3;72(3):488-98.

能動的推論 Agent 身体 感覚状態s 外部状態x 筋紡錘 脊髄 筋肉の状態 についての 固有受容感覚の 座標での表現 固有受容感覚の 予測誤差 反射弓が運動の発現で主要な役割を果たす Based on: Friston K. What is optimal about motor control? Neuron. 2011 Nov 3;72(3):488-98.

能動的推論 Agent 身体 感覚状態s 外部状態x 筋紡錘 脊髄 筋肉の状態 についての 固有受容感覚の 座標での表現 固有受容感覚の 予測誤差 生成モデルs ̂ 大脳 随伴発火 (遠心性コピーではない) 運動指令の代わりに固有受容感覚の予測誤差が運動を創発する 生成モデルの中に(最適制御理論での)順モデルが含まれている Based on: Friston K. What is optimal about motor control? Neuron. 2011 Nov 3;72(3):488-98.

能動的推論 身体 Agent 網膜 外受容感覚の 予測誤差 感覚状態s 外部状態x 筋紡錘 脊髄 筋肉の状態 についての 固有受容感覚の 座標での表現 固有受容感覚の 予測誤差 生成モデルs ̂ 大脳 随伴発火 (遠心性コピーではない) 遠心性コピーの代わりに随伴発射を使って生成モデルを更新 固有受容感覚と外受容感覚それぞれの予測誤差が 生成モデルを更新する Based on: Friston K. What is optimal about motor control? Neuron. 2011 Nov 3;72(3):488-98.

能動的推論と最適制御理論の比較 最適制御理論 能動的推論 要素 最適制御(逆モデル)と 順モデル 生成モデルと 感覚の予測誤差 出力 運動指令 固有受容感覚の予測誤差 コスト 関数 到達位置の正確さ + 軌道の最小化 変分自由エネルギーF 哲学的 前提 強い指示主義 instructionism 運動指令が実行すべき運動 をすべて特定できる エナクティヴィズム enactivism 運動制御を「世界との対話的 な感覚運動への従事」と捉える sensorimotor engagement 運動と知覚を別々に扱う 運動と知覚を統一的に扱う Floegel M, Kasper J, Perrier P, Kell CA. How the conception of control influences our understanding of actions. Nat Rev Neurosci. 2023 May;24(5):313-329. Hipólito I, Baltieri M, Friston K, Ramstead MJD. Embodied skillful performance: where the action is. Synthese. 2021;199(1-2):4457-4481.

最適制御理論 例: リンゴに手を伸ばす 目的: リンゴに手を伸ばすと いうゴールに向けて 最適な動作と軌道を出力するための 制御信号を計算する。 Based on: Floegel M, Kasper J, Perrier P, Kell CA. How the conception of control influences our understanding of actions. Nat Rev Neurosci. 2023 May;24(5):313-329.

能動的推論 例: リンゴに手を伸ばす 目的: 望ましい外受容感覚に適合する、 固有受容感覚へと到達する サブゴール: 望ましい 外受容感覚 (到達) 現在の外受容感覚 の推測 (未到達) サブゴール: 望ましい 固有受容感覚 (収縮) Based on: Floegel M, Kasper J, Perrier P, Kell CA. How the conception of control influences our understanding of actions. Nat Rev Neurosci. 2023 May;24(5):313-329. 現在の固有受容 感覚の推測 (伸長) 到達運動を駆動

能動的推論 ゴール: 望ましい 内受容感覚 (満腹) 推測された現在の 内受容感覚 (空腹) サブゴール: 望ましい 外受容感覚 (到達) 階層構造によって 行動が生き物の目的 (生存)に繋がっている Based on: Floegel M, Kasper J, Perrier P, Kell CA. How the conception of control influences our understanding of actions. Nat Rev Neurosci. 2023 May;24(5):313-329. 現在の外受容感覚 の推測 (未到達) サブゴール: 望ましい 固有受容感覚 (収縮) 現在の固有受容 感覚の推測 (伸長) 到達運動を駆動

能動的推論と最適制御理論の比較 最適制御理論 能動的推論 解くべき 問題 望ましい動作を引き起こす ようなシステムへの入力 (制御信号=運動命令) を見つけること。 望ましい感覚に適合する、 システムへの感覚入力 を見つけること。 運動 の意味 運動を個別のプロセスごとに 計画されるものとして扱う。 運動は身体と環境がカップル している力学系において、 内的な知覚ゴールに向けて 継続的に自己組織化される。 特徴 生物学的な運動を 理解、シミュレーション するの数学的形式化を提供 主体と環境の間で創発する 運動をモデル化するために、 行為のエコロジカルな文脈に 焦点を当てる Floegel M, Kasper J, Perrier P, Kell CA. How the conception of control influences our understanding of actions. Nat Rev Neurosci. 2023 May;24(5):313-329.

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

認知神経リハビリテーション 伝統的な運動療法理論 • 動機づけ理論 • 筋力増強理論 • 神経運動学理論 第4世代リハビリテーション理論 • 認知神経リハビリテーション (認知神経療法) 「患者がいかに自己の身体を知り、身体を介して 外部世界を知るのかという、大脳皮質の機能を最重視する。」 「行為の前に患者が自ら思考し、脳のなかの身体を動かす、 そうした行為の創発に必要な脳の認知過程を 再組織化する治療法なのである。」 宮本 省三 (2008) 脳のなかの身体―認知運 動療法の挑戦 (講談社現代新書) p.167-168 「運動とは認知である」 「回復とは学習である」 「運動器とは情報器官である」 カルロ ペルフェッティ (2016) 認知神経リハビリ テーション入門 (小池 美納 訳) 協同医書出版社

能動的推論と認知神経リハビリテーション • 能動的推論では、生成モデルという身体と環境の相互作用を中心に据えて 行為、運動制御を解釈する。 • 「認知過程の再組織化」(宮本)は生成モデルの更新と捉えることができる。 • 能動的推論では反射弓を基本単位とすることで、神経運動学理論とも親 和性がある。しかし、反射弓を調整する生成モデルにこそ機能回復の本体 があるという点で認知神経療法側に立つ。 • 能動的推論において学習、発達、損傷からの機能回復はどれも生成モデル の変容として統一的に扱うことができる。 • このようにして能動的推論は、「運動とは認知である」「回復とは学習で ある」(ペルフェッティ)を実現している。 結論/提案: 認知神経リハビリテーションにおいて、 能動的推論は重要な理論的基盤となる可能性がある。

岡崎乾二郎氏の「文學界」インタビュー 「そもそも脳梗塞で損傷を受けたのは脳であって身体自体ではな い。身体は無傷で残っていて、身体自身他その運動機能を保存、 つまりなんらかのイメージとして保持、記憶しているはず。それ と脳が切断されてしまった。そのとき、いままで脳が「自分の」 と思い込んでいた身体をいかに間違って歪曲して認識していたか をはっきり悟らされます。」 「結局、可塑性とは、世界を物理的に破壊するような暴力ではな く、脳が自分自身の脳を破壊するような暴力を受け容れて、それ を積極性、能動性に転化できるかどうかにかかっているのだと思 います。その暴力を受け入れ、自らの意志へ組み込むことができ るかどうか、新しいシステムとして組成、蘇生できるかどうかが 可塑性ということですよね。」 岡﨑乾二郎「『感覚のエデン』を求めて」(インタビュー) 文學界 2022年10月号 p.10-37

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN

USN患者の症状 線分抹消課題での偏位 視覚探索で視線の偏位

生成モデルをデザインする じっさいの問題に能動的推論を応用するためには、 生成モデルをデザインする必要がある。 サッケードによる抹消課題(左)を想定してみよう。このとき 問題に関わっている感覚入力sとそこから推測される状態(隠れ値)x を見つけ出して、それをすべて並べれば、それが生成モデルだ。 サッケードによる 抹消課題 生成モデル 運動状態a サッケード の向き Parr T, Friston KJ. The Computational Anatomy of Visual Neglect. Cereb Cortex. 2018 Feb 1;28(2):777-790. 感覚状態se 外部状態x 視線の位置 (画面上の座標) 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標) 生成モデルはさらに以下の因子に分けられる • 各パラメーターの事前分布 • パラメーター間の変換を表す尤度

生成モデルを部分的に損傷させる 生成モデル 運動状態a サッケード の向き 感覚状態se 外部状態x 視線の位置 (画面上の座標) 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標)

生成モデルを部分的に損傷させる 生成モデル 感覚状態se 1) 運動状態a サッケード の向き 外部状態x 視線の位置 (画面上の座標) 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標) 1) 行動ポリシーの事前分布が右側サッケードに偏る (線条体) 「左にサッケードしようという発想がなくなってる」

生成モデルを部分的に損傷させる 生成モデル 2) 運動状態a サッケード の向き 外部状態x 視線の位置 (画面上の座標) 感覚状態se 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標) 1) 行動ポリシーの事前分布が右側サッケードに偏る (線条体) 「左にサッケードしようという発想がなくなってる」 2) 視線位置の事前分布が右に偏る (視床枕) 「右側に視線が傾いていることに気がついてない」

生成モデルを部分的に損傷させる 生成モデル 3) 運動状態a サッケード の向き 外部状態x 視線の位置 (画面上の座標) 感覚状態se 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標) 1) 行動ポリシーの事前分布が右側サッケードに偏る (線条体) 「左にサッケードしようという発想がなくなってる」 2) 視線位置の事前分布が右に偏る (視床枕) 「右側に視線が傾いていることに気がついてない」 3) 尤度の計算ができない (上縦束SLFII) 「左にサッケードしても得るもの(新規性)がない」

生成モデルを部分的に損傷させる 生成モデル 1) 運動状態a サッケード の向き 2) 3) 外部状態x 視線の位置 (画面上の座標) 感覚状態se 視覚 注視部分に ターゲットがあるか 訪問済みか サッケードによる 抹消課題 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標) 1) 行動ポリシーの事前分布が右側サッケードに偏る (線条体) 「左にサッケードしようという発想がなくなってる」 2) 視線位置の事前分布が右に偏る (視床枕) サッケードによる 「右側に視線が傾いていることに気がついてない」 抹消課題を 3) 尤度の計算ができない (上縦束SLFII) シミュレーションすると、 「左にサッケードしても得るもの(新規性)がない」 1),2),3)それぞれで 右への偏位を再現 Parr T, Friston KJ. The Computational Anatomy of Visual Neglect. Cereb Cortex. 2018 Feb 1;28(2):777-790.

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN • おまけ: メタ学習

メタ「認知」はFEPで扱える ボール投げの生成モデル 外部状態x 球速 ? 感覚状態s 飛距離 16m 信念q(x) 球速 16m/s 推定に自信あり 推定に自信なし 信念の平均値は同じ 「自信がある、ない」というメタ認知を 信念q(x)の広がりという形で表現できる

新しい選択肢を作る: 概念の学習 蝶と蛾の例: 信念q 1 1 0 0 蝶 蛾 x 蝶 蛾 蜻 蛉 x Based on: Smith R, Schwartenbeck P, Parr T and Friston KJ (2020) An Active Inference Approach to Modeling Structure Learning: Concept Learning as an Example Case. Front. Comput. Neurosci. 14:41

新しい選択肢を作る: 概念の学習 蝶と蛾の例: 信念q 1 1 0 0 蝶 蛾 蝶 x 蛾 蜻 蛉 x ボール投げの例: 生成モデルp 運動状態a 外部状態x 投げる強さを選択 球速 「投げるない」と いう選択肢を追加 行為空間を広げる 感覚状態s 飛距離

メタ学習 サッケードによる 抹消課題 生成モデル 運動状態a サッケード の向き 感覚状態se 外部状態x 視線の位置 (画面上の座標) 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標)

メタ学習 サッケードによる 抹消課題 生成モデル 運動状態a サッケード の向き 感覚状態se 外部状態x 視線の位置 (画面上の座標) 視覚 注視部分に ターゲットがあるか 訪問済みか 感覚状態sp 眼球位置 の固有 視線の位置 受容感覚 (画面上の座標) 「サッケードの向き は左右均一である」 という事前分布 能動的推論でのメタ学習: 生成モデルを階層的に拡張して、操作可能性を増やす

• アクティブな視覚 • 感覚運動ループとエナクティブな観点 • ベイズ脳仮説 • 予測誤差最小化 • 自由エネルギー原理 概要 • 知覚 • 行為 • 知覚的学習 • 運動学習 • 運動制御 • 能動的推論と最適制御理論の比較 • 認知神経リハビリテーションとの関連 • おまけ: 症例のモデル: USN • おまけ: メタ学習

End