北海道大学 大学院共通授業科目『「脳とAI」入門』第5回講義資料

LECTURE 05｜REINFORCEMENT LEARNING 強化学習と報酬予測誤差 なぜAIは、将棋やゲームで人間を超える強さを身につけられたのか？ 2026年11月10日（火）18:15–19:45 北海道大学 CHAIN｜担当：吉田正俊 将棋（AlphaZero） Atari（DQN） 画面を見る → 操作する 歩 スコアを得る 自己対戦する → 勝敗を得る 指し手を改善する どちらも、人間が一手ずつ正解を教えなくても、行動の結果から学ぶ。 今日の問い 良い結果から学ぶとは、「何を・いつ・どこで」変えることなのか？ 価値・予測誤差の計算 → 学習するAI → ドーパミンとシナプス可塑性 Mnih et al. (2015); Silver et al. (2018) ／ 大学院共通授業科目『「脳とAI」入門』｜第5回 図：本講義用模式図（C） 01

INTRODUCTION｜学習の3つの枠組み 強化学習とは、行動の結果から学ぶこと 模式図（C） 何を手がかりに学ぶのか？ ― 代表的な3つの枠組み 教師あり学習 教師なし学習 強化学習 入力 ＋ 正解ラベル 正解ラベルなしのデータ 状態 → 行動 → 報酬 正解と予測を比較 データの特徴・規則性を使う 行動の結果を手がかりに ↓ ↓ ↓ 正解とのずれを減らす 入力の構造を学ぶ 価値と行動の選び方を学ぶ 例：CNNの画像分類 例：Olshausen & Field (1996) （第4回） 例：分かれ道の二択 （第3・4回） VAE（第7回） （S04–S08） 強化学習：各場面で「正解の行動」は教えられない。 行動の結果として得られる報酬から、将来の選択を改善する。 Sutton & Barto, 2018, §1.1；Olshausen & Field, 1996／模式図 大学院共通授業科目『「脳とAI」入門』｜第5回 02

ACT I｜強化学習の枠組み 行動が、次に得る経験を変える 模式図（C） Agent–Environment interaction：学習する主体と環境のやりとり 次の状態（state） 報酬（reward） Environment Agent 環境 学習する主体 行動に応じて変化し 次の状態と報酬を返す 状態を手がかりに行動を選び その経験から学ぶ 行動（action） 選んだ行動によって、次に経験する状態や報酬が変わる 次の「左右の選択と報酬」（S04–S06）で、この相互作用を具体的に見てみよう Sutton & Barto (2018), Fig. 3.1を参考にした自作模式図（原著図の転載・加工なし） 大学院共通授業科目『「脳とAI」入門』｜第5回 03

ACT I｜問題設定 問題設定1: 左右の選択と報酬 模式図（C） 状態・行動・報酬の関係 時間 t = 0での 状態 s0 = 分かれ道 状態 Agentは矢印の向きに1stepずつ進めることができる agentの現在位置 左端 +3 +1 報酬 右端 0 s₀ 分かれ道 agentの最終位置 行動 a0 = 左 の場合: 報酬 r1 = +1 s₁ を受け取って終了 +3 +1 0 左を 選択 行動 a0 = 右の場合: agentの最終位置 報酬 r1 = 0 さらに 1 step 進むと、 報酬 r2 = +3 を受け取って終了 s₁ +1 +3 s2 0 右を 選択 強化学習では、agent は状態に応じて行動し、その結果として次の状態と報酬を受け取る 大学院共通授業科目『「脳とAI」入門』｜第5回 06

ACT I｜報酬と価値 行動価値: すぐの報酬と、後の報酬を加味して評価 模式図（C） 同じ分かれ道（S04–S06）｜割引率 γ = 0.8：1 step 後の報酬は 0.8 倍で数える 左を選ぶ 右を選ぶ 直後の報酬 直後 → 1 step 先 +1 終了 0 1.0 終了 3 の報酬を 0.8 倍して加える その先の報酬はない 行動価値 = +3 行動価値 = 0 + 0.8 × 3 = 2.4 将来の報酬まで含めた行動価値：左 1.0 ＜ 右 2.4 ここでは、どこでどれだけ報酬が得られるかを知っていると仮定して計算した。 Sutton & Barto (2018), §§3.3–3.5／本講義用の決定論的な説明例 大学院共通授業科目『「脳とAI」入門』｜第5回 07

ACT I｜状態と価値 状態価値 V(s)：その状態から先の報酬の見込み 模式図（C） 状態 s は「いまの状況」。状態価値V(s) は、その状態から先の報酬の見込み。 S07の右の経路を使う。ここでは右の道を進むと決めておく。割引率 γ = 0.8 報酬 0 s₀ 出発点 s₁ 報酬 +3 試行終了 途中の状態 直後は0、その次に3 直後に3 その先の報酬はない V(s₀) = 0 + 0.8 × 3 = 2.4 V(s₁) = 3 V(終了) = 0 報酬は、その時点で得られる結果の評価。価値は、その先の報酬まで含めた見込み。 先の報酬を知らないとき、この見込みを経験からどう学ぶのか？ Sutton & Barto (2018), §§3.3–3.5／進む経路を固定した教育用例（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 08

ACT II｜予測誤差で学ぶ 問題設定2: 手がかり刺激から、報酬を予測する 模式図（C） Rescorla‒Wagner（RW）モデル：手がかり刺激から報酬を予測する学習 学習前 ♪ 音A 学習中 待機 報酬 学習後 ♪ 音A 報酬 待機 +1 ♪ 音A +1 この組み合わせを何度も経験する 第1試行 第2試行 第3試行 待機 報酬 +1 「報酬が 来るはず」 … 報酬は「意外」 RWモデルが説明したい学習 報酬は「もう意外ではない」 最初は、音Aを聞いても まだ報酬をうまく予測できない 経験をくり返すたびに、 予測を少しずつ更新する 学習が進むと、音Aの時点で 「報酬が来る」と予測できる 学習の目標：手がかり刺激Aから報酬をどれくらい予測できるか（予測値 V̂ ）を学ぶ 次のスライドでは、この予測を予測誤差で更新する 大学院共通授業科目『「脳とAI」入門』｜第5回 09

ACT II｜予測誤差で学ぶ 結果が予測と違えば、次の予測を修正する 模式図（C） 音 A のあとに報酬 +1 が来た。報酬予測をどう更新するか 最初の試行：まだ報酬を予測できていない 報酬予測 実際の報酬 予測誤差 更新後の報酬予測 0 1 1 0.25 学習完了後：報酬を完全に予測できている 報酬予測 実際の報酬 予測誤差 更新後の報酬予測 1 1 0 1 Rescorla–Wagner（RW）モデル (単一手掛かり版) ̂ = Vn̂ + α × (rn − Vn̂ ) Vn+1 次の予測 ＝ 今の予測 ＋ 学習率 × 予測誤差 Rescorla & Wagner, 1972／単一手掛かりの模式例 大学院共通授業科目『「脳とAI」入門』｜第5回 10

ACT II｜モデルで確かめる 同じ報酬でも、予測が当たるほど学習は小さくなる 計算モデル（D） 毎試行で同じ報酬 r = 1 ／ 学習率 α = 0.25 初回：予測 0 → 誤差 1 11回目：予測 ≈0.94 → 誤差 ≈0.06 手がかりから報酬を予測できるようになる過程を、予測誤差を減らす一つのルールで説明できる。 学習初期には大きく変化し、予測が当たるにつれて学習は頭打ちになる。 教育用数値計算（D）｜Rescorla & Wagner, 1972 の1手掛かり型 大学院共通授業科目『「脳とAI」入門』｜第5回 11

ACT III｜遅延報酬 問題設定2(つづき): 時間を考慮に入れる 模式図（C） では、報酬までの「途中」の状態はどう学ぶ？ S08と同じ状態価値 V(s) を、「手がかり」「待機」という試行内の状態に持たせる r₁ = 0 s₀ s₁ 手がかり刺激（音A） 待機中 t=0 t=1 r₂ = 1 報酬 +1 ここで試行終了 t=2 矢印は空間的な移動ではなく、試行内の時間の経過を表す ① 待機状態の価値（報酬から1ステップ手前） ② 手がかり刺激の価値（報酬から2ステップ手前） V(s1) = 1.0 V(s0) = 0 + 0.8 × 1 = 0.8 次の一歩で報酬1を受け取る 割引率 γ = 0.8（出来事はこの順序で進む） 直後の報酬が0でも、「その先」を見込めば状態には価値がある Sutton & Barto, 2018, Chs. 3, 6／決定論的な教育用模式図（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 12

ACT III｜ベルマン方程式 現在の価値 = 直後の報酬 + 次状態の価値 模式図・決定論的な式（C） 「遅延報酬」（S12）の計算を、時刻 t と t+1 の関係として書き直す 前スライドの例 V(s0) = r1 + γV(s1) = 0 + 0.8 × 1 = 0.8 同じ関係を一般化 ベルマン方程式 状態遷移と報酬が決まっている場合 V(st) = rt+1 + γV(st+1) 現在の価値 ＝ 直後の報酬 ＋ 割り引いた次状態の価値 この式は価値が満たす関係。経験から価値を学ぶ手順は、次のスライドで考える Sutton & Barto, 2018, §3.5／具体例の式と一般形（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 13

ACT III｜時間差分学習 時間差分学習（TD学習）：一歩先の価値から学ぶ temporal-difference learning（TD learning） 模式図（C）＋数値計算（D） 価値の更新則（TD(0)） TD誤差（temporal-difference error） ̂ t+1) − V(s ̂ t) δt = rt+1 + γV(s ̂ t) ← V(s ̂ t) + αδt V(s 例) S12と同じ：手がかり刺激 → 遅延時間 → 報酬+1 s₀ 手がかり刺激A r₁ = 0 r₂ = 1 s₁ 待機 試行終了 V̂(s₀) 手がかり V̂(s₁) 待機 学習前 0 0 第1試行後 0 0.25 第1試行では s₁ が先に更新される。 第2試行後 0.05 0.4375 第2試行では s₀ にも価値がつく。 十分に学習した後（収束先） 0.8 1.0 状態の価値（推定） γ = 0.8、学習率 α = 0.25とする すぐには報酬を得られない状態でも、一歩先の価値を手がかりに、将来の報酬の見込みを学べる。 経験を重ねると、その見込みが報酬より以前の状態へと伝わっていく。 Sutton & Barto (2018), Ch.6 ／ S12の2状態例を用いた表形式TD(0)の数値計算（D） 大学院共通授業科目『「脳とAI」入門』｜第5回 14

ACT IV｜方策と行動選択 方策 π：行動の選び方によって、状態価値は変わる 模式図（C） 方策 π(a | s)：状態に応じて行動を選ぶ規則（選択確率） 方策① 左を選びやすい 状態価値 V(s₀)：左右の行動価値を選択確率で平均 左 80% 右 20% 同じ初期状態 s₀ から行動を選択 0.8 × 1.0 + 0.2 × 2.4 = 1.28 = 2.12 行動価値：左 1.0 ／ 右 2.4 方策② 右を選びやすい 左 20% 右 80% 0.2 × 1.0 + 0.8 × 2.4 同じ初期状態 s₀ から行動を選択 同じ状態 s₀ でも、方策によって V(s₀) は異なる Sutton & Barto (2018), §§3.2–3.5／選択確率・報酬は説明用の仮定 大学院共通授業科目『「脳とAI」入門』｜第5回 15

ACT IV｜行動価値とQ-learning 行動価値 Q：行動ごとの見込みを経験から学ぶ 模式図（C） 状態価値 V(s)：状態sでの価値 行動価値 Q(s, a)：状態sで行動 a を選んだ場合の価値 行動価値 Q Q-learning：経験からQを更新する 例: 分かれ道 (S07)：同じ状態 s₀ 1.0 左を選ぶ 2.4 右を選ぶ 行動して、報酬と次の状態を経験する 学習目標 得られた報酬 ＋ 次の状態で最も高いQ この目標に近づくよう、選んだ行動のQを更新 学んだQを行動選択に使う。より高いQの行動が、よい選択の候補になる。 多くの状態のQをニューラルネットワークで推定する：DQN Sutton & Barto (2018), §§3.5, 6.5／分かれ道とQ-learningの概念図（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 16

ACT IV｜ANNと強化学習 DQN：ゲーム画面から、行動の価値を学ぶ 模式図（C） 第4回は「画像 → クラス」／ 今回は「ゲーム画面 → 行動ごとの価値 Q」 状態 s CNN ＋ 全結合層 行動価値の推定 ゲーム画面（連続4フレーム） 学習する重み W 各行動の将来報酬の見込み （クラスの正解確率ではない） 左へ Q̂ (s, 左へ) 右へ Q̂ (s, 右へ) 待機 Q̂ (s, 待機) 特徴を計算し、各行動の価値を出力 経験を集める 価値の学習目標 損失を作る BPで勾配を計算 (s, a, r, s′) 報酬＋次状態の最も高いQ（割引） 予測と目標の差 重み W を更新（GD） 行動の結果から学習目標を作る。 Mnih et al., Nature, 2015／方法の模式図（原著図・実測成績ではない） 大学院共通授業科目『「脳とAI」入門』｜第5回 17

ACT IV｜DQNの成果 DQNは何がすごかったのか？――Atariのブロック崩し 模式図（C） Breakout：学習によって獲得した「端からボールを裏側へ通す」戦略 ① ボールを返す ② 通り道を作る ③ 裏側から崩す パドルでボールを打ち返す 端のブロックを崩す 上へ回り込んで大量に崩す 画面から学ぶ 得点から学ぶ 先を見込む 手作り特徴量に頼らない 正解の操作は与えない 将来の得点を増やす 正解手を教わらなくても、試行錯誤から戦略を見つけた。 Mnih et al. (2015), Nature ／ 補足動画を参考にした教育用模式図（C：実ゲーム画像ではない） 大学院共通授業科目『「脳とAI」入門』｜第5回 18

ACT IV｜探索と活用 良い行動を選ぶだけでは、未知の行動を学べない 模式図（C） DQNでも経験が必要。では、どの行動を試すか？ 状態 s：分かれ道 左を何度か試した ／ 右は未経験 活用｜exploitation 探索｜exploration 現在の推定で良さそうな左を選ぶ 結果が未知の右も試してみる 左のQ推定値 ≈ 1 右のQ推定値は不確か すでに得た知識を使う 新しい経験を集める 探索と利用のトレードオフ (“Explore-exploit tradeoff”) 経験をどう集めるかが、何を学べるかを変える。 Sutton & Barto, 2018, §2.1／本講義用の二択模式例 大学院共通授業科目『「脳とAI」入門』｜第5回 19

ACT IV｜自己対戦と探索 経験から、人間を超える：AlphaZero 模式図（C） 人間の棋譜を正解手として与えず、自己対戦の経験から改善する。 01 02 03 04 ルールを与える 自己対戦 MCTSで探索 方策＋価値を学習 ゲーム環境・合法手 自分で対局を重ねる 候補手を先読みする 探索結果と勝敗から更新 ↺ 更新されたネットワークで、また自己対戦する DQN（2015） AlphaZero（2018） Atariの画面 → 行動価値Q チェス・将棋・囲碁 → 方策＋局面価値 経験からQ値の学習目標を作る 自己対戦とMCTSで探索する 人間の「正解の一手」がなくても、自己対戦から強くなれる。 Silver et al. (2018), Science 362:1140–1144 ／ 自作の学習ループ模式図（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 20

ACT IV｜前半のまとめ Welcome to the Era of Experience 「人間の答えを学ぶAI」から、「自分の経験から学ぶAI」へ ERA OF HUMAN DATA ERA OF EXPERIENCE 人間が用意したデータ・評価 行動し、結果を観測する 既存の例から学ぶ 自分で経験を生み出す 課題への短い応答が中心 長期に学び、改善を続ける 模式図（C） 環境での実際の成果に根ざした報酬（grounded rewards）を重視する。 では、生物の脳で「経験から学ぶ」信号を担うのは何か？ Silver & Sutton (2025)｜将来への研究提言（実測グラフではない） 大学院共通授業科目『「脳とAI」入門』｜第5回 21

ACT V｜ドーパミンへの導入 「ドーパミン」という言葉、最近よく聞きませんか？ 「ドパガキ」 「ドーパミン中毒のガキ」を縮めたネットスラング ショート動画・SNS・ゲームなど、短時間で強い刺激を次々に求める様子を指す 医学的な診断名でも、ドーパミンの量を測った結果でもない 2026年 新語・流行語大賞 候補30語に選出（11月5日発表） ドーパミンは、何に関わっているのだろう？ 快楽？ 欲求？ 学習？ 実際のドーパミン神経が何に関わっているのかを見てみよう。 資料：新語・流行語大賞候補発表（2026-11-05）／ 語義：同候補語の説明 大学院共通授業科目『「脳とAI」入門』｜第5回 22

ACT V｜ドーパミンの神経生理 予測誤差に似た信号は、脳のどこで測れるか 原図（投射の模式図）／CC BY 2.0 ドーパミン系の主要な投射（ヒトの模式解剖図） • ドーパミン神経は中脳に細胞体があっ て、脳活動は中脳から記録される。 • ドーパミン神経の神経終末は大脳皮質や 大脳基底核にある。ドーパミンの放出が 神経細胞の活動に影響を与える。 Arias-Carrión et al. (2010) / modified by Seppi333, CC BY 2.0; Wikimedia Commons 大学院共通授業科目『「脳とAI」入門』｜第5回 23

ACT V｜古典的条件づけの行動 報酬を予告する手がかりを、動物はどう学ぶか？ 本講義用模式図（C） 古典的条件づけ：CSとUSを繰り返し提示 CS｜条件刺激 US｜無条件刺激 学習前は報酬を予告しない 生得的行動を引き起こす刺激 水（US） ① 学習前 時刻 → 水=報酬(US)だけで(舐める)反応 舐め行動 音A（CS） ② 学習初期 水（US） CS(音A)のあとUS(水) まだCSに対する反応はない 舐め行動 音A（CS） ③ 学習後 水（US） CS → 予期的反応 USより前から舐める 舐め行動 学習後は、CSに対する予測的な行動 (条件反応) が起こる。 行動の説明用モデル（ラットの模式例）。次のDA神経記録（サル）と同一実験ではない。／原図：講義担当者自作 p.18 大学院共通授業科目『「脳とAI」入門』｜第5回 24

ACT V｜ドーパミンと報酬予測誤差 ドーパミン神経は、予測の変化に応答する 実測ではない模式図（C） Schultz et al. (1997)の報告を、学習前・学習後・報酬省略で整理する ̂ t+1) − V(s ̂ t) TD誤差： δt = rt+1 + γV(s 報酬（US） ① 予期しない報酬 報酬の到来が意外 報酬時：正（＋） DA発火変化 音A（CS） ② 学習後：予期した報酬 CSから報酬を予測 報酬＋割引した次状態の価値−現在の予測 報酬（US） CS時：正（＋）／報酬時：ほぼ0 DA発火変化 音A（CS） ③ 学習後：報酬省略 報酬省略 CS時：正（＋）／省略時：負（−） 来るはずの報酬が来ない DA発火変化 DA神経の発火変化は、TD誤差として表現される「報酬予測誤差」と定性的に対応する。 Schultz, Dayan & Montague (1997)に基づく独自模式図（C、実測波形ではない） 大学院共通授業科目『「脳とAI」入門』｜第5回 25

ACT V｜因果操作：SAUNDERS 2018 DA神経の光刺激だけで、手がかりへの学習は成立するか？ 仮説：報酬が起こすDA神経活動が、手がかりに対する学習を支える ① 通常の条件づけ（仮説的回路） CS 手がかり刺激 ② DA神経への光刺激で置き換える CS 手がかり刺激 行動を生む 回路 DA DA神経 US 食物など 光刺激 移動など 行動を生む 回路 DA DA神経 移動など CSとUSを組み合わせる DA神経に光感受性タンパク質を発現 実験：CSとDA光刺激をpairing 結果：CSへの移動反応が増える 0秒 2秒 CS（ライト＋音） DA神経への光刺激 7秒 対照：CSと光刺激を、時刻を離して提示 pairingあり 多 7秒間 刺激なし 移動する試行の割合 5秒間 pairingなし 少 初期 訓練 後期 US(食物)がなくても条件反応が成立する。 学習後には光刺激前の2秒間にも移動が始まる 仮想回路・結果の模式図（C：実測値ではない） Saunders et al. (2018), Fig.1a–d,i–j 大学院共通授業科目『「脳とAI」入門』｜第5回 26

ACT V｜因果操作：SAUNDERS 2018 学習後には、手がかり刺激へのDA神経応答が増大する 学習後のCSには、DA神経応答と移動反応がそれぞれ生じる ③ 学習後の仮想回路 CS ライト＋音 学習後に応答が増大 行動を促す（仮説） DA 行動を生む回路 移動 DA神経 光刺激前の0–2秒に注目 破線の因果経路は、本実験では直接検証していない 観察：CS直後のDA神経応答が、訓練とともに大きくなる ※ Fig.1の行動課題とは別の記録実験 DA神経集団の活動（カルシウム信号） 光刺激が始まる前に、 手がかりへの応答が生じる 訓練後期 訓練初期 CS開始 0秒 時刻を離した対照群では、 光刺激開始 2秒 この増大はみられない CSへの移動反応とDA神経集団応答が学習で成立する（因果経路は未特定） 仮想回路・結果の模式図（C：実測値ではない） Saunders et al. (2018), Fig.2a–c,e–f 大学院共通授業科目『「脳とAI」入門』｜第5回 27

ACT VI｜ドーパミンとシナプス可塑性 DAは、活動したシナプスの変化を促すのか？ DA神経の刺激で学習が生じた。その作用先では、何が変わるのか。 グルタミン酸作動性入力 DA神経終末からの放出 Gluアンケージングで入力を模擬 光刺激でDA放出を誘発 受け手の活動 電気刺激で発火を誘発 Glu DA 変化を調べるGluシナプス 樹状突起 受け手のニューロン 入力と発火を組み合わせて DA刺激なし ／ DA刺激あり を比較する 別のDA入力が、活動したGluシナプスの可塑性を促すかを調べる。 マウス急性脳スライス・側坐核のD1受容体陽性ニューロン 大学院共通授業科目『「脳とAI」入門』｜第5回 模式図（C） Yagishita et al. (2014) 28

ACT VI｜ドーパミンとシナプス可塑性 スパインが大きくなり、シナプスの伝達も強くなる 局所刺激とDA刺激を組み合わせると、刺激したスパインで持続的な変化が生じる。 シナプス形態の変化 シナプス応答の変化 シナプス電流 図版省略（公開用） Yagishita et al. (2014) DA刺激前 Fig. 1J DA刺激後 刺激したスパインが拡大し、50分後も維持 gluシナプスの応答が、DA刺激で大きくなる 原図（A） Fig.1J 模式図（C、実測波形ではない） Fig.S3に基づく シナプスの形態変化と、シナプスの機能変化が対応する 写真と機能測定は別条件の実験。DA刺激なしでは変化は小さい。 大学院共通授業科目『「脳とAI」入門』｜第5回 Yagishita et al. (2014) 29

ACT VI｜ドーパミンとシナプス可塑性 評価に関係する信号が、活動した結合の更新につながる 局所の活動とDAの作用を組み合わせることで、変化する結合を選べる。 局所の入力と、受け手の活動 Glu入力 A（活動） DA神経終末からのDA放出 Glu入力 B（非活動） A B DA 受け手の活動 活動した結合が、更新の候補になる AのGluシナプスが強くなる 別のDA入力が、その変化を促す 強化学習との接点：評価に基づいて、経験に関わる結合を更新する 生物学的な仕組みの候補。TD学習の実装を直接証明した実験ではない。 大学院共通授業科目『「脳とAI」入門』｜第5回 模式図（C） Yagishita 2014; Gerstner 2018 30

SUMMARY｜ここまでのまとめ 予測誤差から、行動とシナプスの変化へ モデルと神経科学の対応（C） 計算モデルで説明したこと 価値を学び、行動を選ぶ 将来の報酬の見込みを選択に使う 脳の実験から分かること 行動選択を変える神経機構は多様 予測誤差で、価値を更新する DAの報酬予測誤差様応答と 結果と見込みのずれを学習に使う 光刺激による条件づけ 評価に応じて結合を更新する DAがGluシナプスの可塑性を促す 経験に関わった結合を変える考え方 スパイン形態とシナプス伝達の変化 これらは説明の対応であり、脳が単一の学習則で動くことを示すものではない 結果の評価を使って、予測・行動選択・シナプス結合を変える Sutton & Barto, 2018; Schultz et al., 1997; Saunders et al., 2018; Yagishita et al., 2014; Gerstner et al., 2018 大学院共通授業科目『「脳とAI」入門』｜第5回 31

ACT VI｜ドーパミンと学習 けっきょくドーパミンは、何に関わっているの？ ドーパミンは、「何が報酬につながるか」を学び、 経験に応じて行動が変わる過程に関わっている。 報酬予測の誤差に対応する神経活動が見られ、 手がかりへの学習や、活動したシナプスの変化を促す。 今回扱った報酬学習への関与は、ドーパミンの多様な働きの一側面である。 ほかにもサプライズ、サリエンスへの関与などがある。 かつてドパミンは「快楽物質」と考えられていたが、現在はそれを否定するエビデンスがある (くわしくは、大学院講義「意識の科学入門」にて。) 大学院共通授業科目『「脳とAI」入門』｜第5回 31′

ACT VII｜報酬への問い では、「何が報酬になるか」は誰が決めるのか？ 概念模式図（C） ここまでは、報酬を使って「どう学ぶか」を考えてきた ゲームの強化学習 生物の行動・学習 得点・勝敗 水・食物 設計者が報酬を設定する 何によって報酬になるのか？ 生物は、環境の中で身体を維持しながら行動している 考えるべきこと：身体の維持条件と、環境との関係 Sutton & Barto, 2018; Keramati & Gutkin, 2014／講義上の問題提起（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 32

ACT VII｜報酬と身体状態 同じ水でも、身体状態によって評価が変わる 実験結果を説明する模式図（C） 渇いているとき 十分に飲んだ後 同じ量の水 水を飲む快さが高い 水を飲む快さが低くなる ヒトの実験でも、飲水につれて渇きと水の快評価が低下 水への評価は、そのときの身体状態によって変わる Becker et al., 2017, Frontiers in Human Neuroscience 11:234／原図の転載ではなく概念模式図（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 33

ACT VII｜HOMEOSTATIC REINFORCEMENT LEARNING 身体状態のずれが減ることを、報酬とする 1変数に簡略化した模式図（C） Homeostatic RL（恒常性に基づく強化学習） 身体状態 報酬 ＝ ずれの評価の減少 D(h) rt+1 = D(ht) − D(ht+1) 飲む前 飲む前 飲んだ後 D の減少 飲んだ後 望ましい状態に近づくことが 飲水 不足 正の報酬になる 望ましい状態 内部状態 h（例：体水分） 過剰 この報酬を用いて、行動の価値を学ぶ Keramati & Gutkin, 2014, eLife 3:e04811, Eqs. 1–2／1変数化した自作模式図（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 34

ACT VII｜評価基準の成立へ 報酬を求める学習と、身体の維持 モデルの意義と、その先の問い（C） 身体の維持に役立つ行動を、経験から学ぶモデル 行動 身体状態の変化 報酬の評価 価値を学ぶ 水を飲む 不足が減る D の減少 次の選択へ 学んだ価値が、次の行動選択を変える モデルには、維持すべき状態と、ずれの評価の仕組みを与える その評価の仕組みは、どう成立するのか？ 進化・発達・個体の経験という時間の中で考える Keramati & Gutkin, 2014／後半の問いは、モデルの前提から広げた講義上の問題提起 大学院共通授業科目『「脳とAI」入門』｜第5回 35

NEXT LECTURE｜報酬から感覚へ 次回：脳は感覚入力を、どう予測するのか 二種類の予測誤差の比較模式図 （C） δ TD 第5回：強化学習 第6回：知覚の予測符号化 報酬予測誤差（TD誤差） 感覚予測誤差 ̂ ̂ = rt+1 + γV(st+1) − V(st) ε = x − x̂ 行動の結果が、予測とどう違ったか 入力が、生成モデルの予測とどう違ったか 主な役割：価値を学習する 主な役割：知覚・推論と学習 共通するのは「予測と結果のずれを使う」という発想。 Sutton & Barto, 2018; Rao & Ballard, Nat Neurosci (1999)／比較模式図（C） 大学院共通授業科目『「脳とAI」入門』｜第5回 36

REFERENCES｜LECTURE 05 参考文献 ① 強化学習と予測誤差 本文で紹介した主要文献。各ページの出典・図版区分は各スライドのノートを参照。 強化学習の枠組み Sutton & Barto (2018) Reinforcement Learning: An Introduction, 2nd ed. MIT Press｜状態・方策・価値・Bellman・TD（S03–S19） 予測誤差・条件づけ Rescorla & Wagner (1972) A theory of Pavlovian conditioning In Classical Conditioning II, pp. 64–99｜単一手掛かりの予測学習（S09–S11） RWからTDへ Sutton & Barto (2018), Ch. 14 Psychology (Chapter 14) §§14.2.2–14.2.3｜Rescorla–Wagner型からTDモデルへ（S09–S14） TD学習 Sutton (1988) Learning to predict by the methods of temporal differences Machine Learning 3:9–44｜doi:10.1007/BF00115009（S12–S14） 経験から学ぶAI Mnih et al. (2015) DQN｜Nature 518:529–533（S17–S18） Silver et al. (2018) AlphaZero｜Science 362:1140–1144（S20） Silver & Sutton (2025) Welcome to the Era of Experience（S21） 大学院共通授業科目『「脳とAI」入門』｜第5回 37

REFERENCES｜LECTURE 05 参考文献 ② 脳の学習信号・可塑性・身体 本文で紹介した主要文献。各ページの出典・図版区分は各スライドのノートを参照。 DAと報酬予測誤差 Schultz, Dayan & Montague (1997) A neural substrate of prediction and reward Science 275:1593–1599｜doi:10.1126/science.275.5306.1593（S24–S25） 因果操作 Saunders et al. (2018) Dopamine neurons create Pavlovian conditioned stimuli with circuit-defined motivational properties Nature Neuroscience 21:1072–1083｜doi:10.1038/s41593-018-0191-4（S26–S27） シナプス可塑性の実測 Yagishita et al. (2014) A critical time window for dopamine actions on structural plasticity of dendritic spines Science 345:1616–1620｜doi:10.1126/science.1255514（S28–S29） 可塑性の理論的背景 Gerstner et al. (2018) Eligibility traces and plasticity on behavioral time scales Front Neural Circuits 12:53｜doi:10.3389/fncir.2018.00053（S30） 身体状態と水の評価 Becker et al. (2017) From Thirst to Satiety: Dynamic Changes in Incentive Value Front Hum Neurosci 11:234｜doi:10.3389/fnhum.2017.00234（S33） 恒常性に基づく強化学習 Keramati & Gutkin (2014) Homeostatic reinforcement learning for integrating reward collection and physiological stability eLife 3:e04811｜doi:10.7554/eLife.04811（S34–S35） 大学院共通授業科目『「脳とAI」入門』｜第5回 38