[DL輪読会]Temporal Abstraction in NeurIPS2019

DEEP LEARNING JP [DL Papers] Temporal Abstraction in NeurIPS2019 presentator Kei Akuzawa http://deeplearning.jp/

• http://deeplearning.jp/

• NeurIPS2019のTemporal Abstraction関連の論文を二本紹介します • Variational Temporal Abstraction • Language as an Abstraction for Hierarchical Deep Reinforcement Learning

Temporal Abstraction とは （Precup 2018 より） • 時間方向において階層化された各レベルのアクションの統合（関係の学習） • 例: ご飯を作る • 高レベル: レシピを選ぶ，買い物リストを作る，買い物をする，調理 • 中レベル: 鍋を用意，鍋に具材を入れる，鍋をかき混ぜる • 低レベル: 手首や腕の動き • 上記のような階層的な表現を持ったエージェントの利点: • Planning: 高レベルの表現上で行えばパスが短くて良い，誤差の堆積が減る，etc. • Learning: 探索の改善（上位の方策をランダムにしても下位の方策は秩序だった行動をする），etc. • Interpretability

Options Framework (one of the formalization of temporal abstraction, Sutton+1999 より)

Temporal Abstraction: 二つのアプローチ • 予測モデル(予測モデルと尤度)ドリブンなTemporal Abstraction • • RL(方策と報酬)ドリブンなTemporal Abstraction • • Variational Temporal Abstraction（一本目） Language as an Abstraction for Hierarchical Deep Reinforcement Learning（二本目） （適当に自分がつけた区分で，一般的ではないと思います．）

一本目

書誌情報 • Variational Temporal Abstraction • Taesup Kim, Sungjin Ahn, Yoshua Bengio • NeurIPS2019 • 一言まとめ: 動画などの系列データから階層的な抽象状態を見つけ出す VAEベースのState Space Modelの提案

背景 • • 系列データから階層構造を見つけると… • Option-learning: 階層RLにおけるOption(上位方策)を学習 • 従来だと人手で作る，モデリングの柔軟性が限られる(e.g., Goal Conditional Hierarchical RL)，ハイパラ調整が必要など大変な工程 • Jumpy future imagination: 上位の表現上で未来に対する高速な予測 • 旅行のプランを一秒単位で立てたら大変(TD-VAE [Gregor+2019]) 上記を達成する深層生成モデルを提案する

提案モデル概要 1. Hierarchical Recurrent Space Models 2. Binary Subsequence Indicator 3. Prior on Temporal Structure 4. Hierarchical Transitions 5. Learning and Inference

1. Hierarchical Recurrent State Space Models • この論文が目指す階層的なState Space Models(SSM)のグラフィカルモデル • 上位のState(z)も遷移する（e.g., レシピを決める->買い物に行く->調理をする） • 上位のState(z)を遷移させるタイミングのモデリングが難しい • (各z(上位のイベント)に対応するs(下位のイベント)の個数が異なる点に注意)

Preliminary: Recurrent State Space Models x s • PlaNet[Hafner+2019] 等で採用されているVAEベースのSSM • これを階層化したものが提案手法 • 上の図では省略してあるが，p(st | st−1)をRNNでモデル化するのが特徴 • (名前 “Recurrent State Space Models” の由来)

2. Binary Subsequence Indicator • zをいつ遷移させるかを決める新たなbinary潜在変数mを導入．m = 1のときのみ遷移 • δ(zt = zt−1) if mt−1 = 0 p(zt) = , ct はRNNで集約されたz1:t−1(コンテキスト) {p̃(zt | ct) otherwise • アイデア自体はあった(e.g., Ghahramani and Hinton 2000)がVAEでやるのが特徴

3. Prior on Temporal Structure • ではp(mt | st)をどうパラメタライズするか？ => ベルヌーイ分布 with Gumbel-softmaxでモデル化が素直 • しかし何らかの事前知識があれば，それを埋め込んだ方が良いだろう． =>この研究では二つのハイパラをPrior設計に埋め込む • • • Nmax: subsequenceの数の最大値 lmax: subsequenceの最大の長さ 直感的な説明: 一つのsub-seqが長すぎず，かつsub-seqの数が多すぎないように

4. Hierarchical Transitions • jumpy future imaginationさせたい • 提案モデルは赤線以外の矢印をわざわざ生 成しなくてもzは未来へ進むことができる． • 実装上は常にmt−1 = 1にすればよい • SSMの利点(自己回帰構造を持たない) x s • 参考: https://www.slideshare.net/ DeepLearningJP2016/ dlsimpleimproved-dynamicsmodelplanet-vaerl z1 z2

5. Learning and Inference • VAE(の一種)なのでELBOで学習 • 生成モデル: • • p(X, Z, S, M) = T p x |s p m |s p s |s , z , m p z |z , m ∏ ( t t) ( t t) ( t <t t t−1) ( t <t t−1) t=1 推論モデル: • q(Z, S, M | X) = q(M | X)q(Z | M, X)q(S | Z, M, X)

実験 • 示すこと • サブシークエンスとしてどのようなものが学習されるか • jumpy future predictionをnavigationにどう役立てるか • 環境 • Bouncing Ball: • 壁にぶつかると色が変わる • Navigation in 3D Maze • 上位の状態の遷移分布をaction-conditionalなp(zt | zt−1, at−1)にして実験

Bouncing Ball • • • ボールが壁にぶつかって色が変わったタイミングでスイッチ(上の矢印) PriorをただのGumbel Softmaxにすると動かない = 常にスイッチがオフ（sの遷移が途切れないので，RSSMに相当） 提案Priorだと動く • T=20, Context=5, Nmax = 5, lmax = 10

Navigation in 3D Maze • 左: 鳥瞰図, 右: 一人称視点 • A = {forward, left-turn, right-turn}, ただし交差点以外の場所で は”forward”しか選択できない • T=20, Context=5, Nmax = 5, lmax = 8

Navigation in 3D Maze (loss) • 階層構造を持たないRSSMと，持つHRSSMで比較 • “This suggests that our model does not lose the reconstruction performance” • とはいえ誤差が増えてるが，sの遷移が途切れるようにモデル化してるので仕方ないか

Goal-Oriented Navigation • 設定: ゴール近傍の画像が与えられた 状況でのNavigation • エージェント: 予測モデルを使って仮 想的なnステップのTrajectoryを作 り，その中でリワードが一番高いも のを実際にrollout (MCTSっぽい) • HRSSMはRSSMより性能が高い． 状態が抽象化されていることによりn ステップで想像できる未来がより長 期になっているから • 上位の表現zでのnステップと，下 位の表現sでのnステップを比べて いる(たぶん)ので当たり前

感想 • 面白い方向性にシンプルな手法 • 例えばBouncing Ballの実験で，Ballが複数個あるようなときは，Ballごと にサブシークエンスが学習されるべきではないか？（時空間の抽象化） • 例えば音声データには単語/発話/話者など様々なレベルの階層構造がある が，どれが学習されるかはNmaxとlmaxの与え方に依存する思える．このよう にNmaxとlmaxに学習が大きく依存する(かつNmaxとlmaxの選び方が簡単じゃな い)場合，どうすればよいだろうか(e.g., 他の事前知識の与え方はあるか)

二本目

書誌情報 • Language as an Abstraction for Hierarchical Deep • Yiding Jiang, Shixiang Gu, Kevin Murphy, Chelsea Finn Reinforcement Learning • Google Research • NeurIPS2019 • 一言まとめ: 言語による指示をサブゴールとした階層RLにより，学習時と 異なる環境への汎化（＝外挿）を達成

背景 • • 階層強化学習(HRL)において効果的かつ汎用的なabstractionを学習する のは難しい • スキルをあるタスクに特化させればそのタスクの性能はあがるが，その スキルが汎用的になる保証はない • ただでさえHRLはtuningが大変 言語はCompositional => うまくHRLと組み合わせることで，汎用性を高 められないだろうか

貢献 • HRLにおいて言語をアブストラクションに用いるフレームワークの提案 • 言語指示(インストラクション)を統合した連続制御環境(OSS)の提供 • • MuJoCoとCLEVR[Johnson+2017]を基にしている Long-horizon task(≈遅延報酬タスク)におけるCompositionalityの役割 を実験的に確認，systematic generalization(≈外挿)を達成

Preliminary: Goal-Conditional HRL • 上位方策はサブゴールをサンプリング，下位方策はサブゴールを達成するようなHRLの枠組み • 上位方策πh(g | st): サブゴールgをサンプリング．外的報酬で訓練． • 下位方策πl(a | st, g): 適当な負の距離-d(st, g)を報酬として訓練

提案手法-方針• Goal-Conditional HRLにおいてサブゴールを言語指示の達成と見做す • 上位方策は言語指示(=サブゴール)をサンプリング • 下位方策は言語指示の達成を報酬として訓練 • Note: 単一のGoal Stateではなく，Goal Regionを考えている • • e.g., 「赤いボールを青いボールより右に置く」 <= このようなstateは一意ではない メリット 1. 下位方策が(入力の言語指示がCompositionalであるため)汎化しやすい 2. 上位方策（の出力する言語指示）は人間にとって解釈性高い 3. 人間も似たようなこと（言語に基づいたスキル獲得）をやってそう

提案手法-下位方策の訓練• 下位方策の報酬: Ψ : 𝒮 × 𝒢 → {0,1}は Given • あるs ∈ 𝒮が，インストラクション g ∈ 𝒢を満たしているかを判定する関 数(右図) • 著者らが提供した環境ではこれを自 動でやってくれる？ • 下位方策πl(at | st, g)の内部で言語指示gは GRUで雑に埋め込まれている

提案手法-下位方策の訓練• Ψ(st+1, g)だけだとスパースリワードすぎ => Hindsight Instruction Relabeling (HIR)の利用 • gが達成できなかった=>報酬が得られない=>どうしよう？ • Ψ(st+1, g′) = 1を満たすg′ (i.e., st+1をCaptioiningするようなg′) をサンプ • ただし条件付き確率ω(g | s) はgivenである必要 (人手 or Image リングすれば，報酬が得られた場合のTrajectoryを用意できる captioning model)

提案手法-上位方策の学習• 下位方策πl(a | s, g)は訓練済みで与えられている状況を想定 • 上位方策πh(g | s)は，外部報酬を用いて任意のRLアルゴリズムで訓練可能 • 上位方策πh(g | s)のモデル化も自由 • • 例えば言語生成モデルにすることもできる(が報酬から生成モデルの学習は困難) この研究では，上位方策がサンプリング可能な言語指示の集合g ∈ ℒを小さく取り(ℒ ⊂ 𝒢)，離 散的な | ℒ | 個の言語指示をアクションとしてDQNを使用 • 下位方策はたくさんの言語指示(g ∈ 𝒢)に汎化してほしいが，上位方策は少数(g ∈ ℒ( ⊂ 𝒢)) に汎化すれば，最終的なタスクを解くのに十分

動作例 • https://sites.google.com/view/hal- • 以下の条件を満たすよう物体を並び替える • タスク達成のため様々な言語指示が上位方 demo#h.p_XvbS-Ac8r6jC 1.red ball to the right of purple ball 2.green ball to the right of red ball 3.green ball to the right of cyan ball 4.purple ball to the left of cyan ball 5.cyan ball to the right of purple ball 6.red ball in front of blue ball 7.red ball to the left of green sphere 8.green ball in front of blue sphere 9.purple ball to the left of cyan ball 10.blue ball behind red ball 策からサンプリングされている様子が表示 されている（たぶんそう）

• https://sites.google.com/view/hal-

実験 • 環境: • • • 著者らがMuJoCoとCLEVRを元に作成 示したいこと • 言語による表現は，Compositionalではない他の表現に比べて優れているか • 言語指示の数やstateの次元に提案手法がスケールするか • 外挿できるか • SoTAなHRLと提案手法の性能比較 （一部抜粋です）

下位方策の評価1. Role of Compositionality and Relabeling • 「一つの下位方策がどれだけ多 くの指示を解けるか」評価 • Non-Compose: • gを(自己符号化器による)言 語指示の埋め込みにした場合 • Non-Composeと，HIRなしの 場合はあまり学習が進まず • Compositionalなgが大事 • 密な報酬が大事

下位方策の評価2. Visual Generalization • Systematic: “red"という単語を前半に含まない言語指示を訓練，含むものをテストデータにした • gを言語にすると(Language)，埋め込み(Non-Compos)にした時と比べて，テストデータにおけ る性能の劣化が抑えられている => 外挿に強い

上位方策(あるいはアルゴリズム全体)の評価 • 6つのタスクで評価（右図は一部抜粋） • 比較手法：HIRO, OC(既存のHRL)， DDQN(non-H RL) • 強い • 比較手法は言語を一切用いてないの で，当然といえば当然

議論・Future Work • human language supervisorをimage captioning modelで置き換えたい • 結局用意された環境，言語指示の集合によって性能が制限されてしまう => 言語の教師なしでCompositionalなabstractionを獲得したい

感想 • image captioning model ω(g | s) とVQA Ψ(s, g) さえあればHRLと言語が • 外挿の実験も面白い 接続できる，というアイデアがシンプルで好き．拡張の余地もたくさんあ りそう．

References • Sutton, R. S., Precup, D., and Singh, S. P. (1999). Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning. Artif. Intell., 112(1-2):181‒211. • Doina Precup. (2018). Temporal Abstraction. DLRL Tronto 2018. https://dlrlsummerschool.ca/wpcontent/uploads/2018/09/precup-temporal-abstraction-rlss-2018.pdf • Gregor, K., Papamakarios, G., Besse, F., Buesing, L., and Weber, T. Temporal difference variational auto-encoder. In International Conference on Learning Representations, 2019. • Ghahramani, Z. and Hinton, G. E. Variational learning for switching state-space models. Neural computation, 12(4):831‒864, 2000. • Hafner, D., Lillicrap, T., Fischer, I., Villegas, R., Ha, D., Lee, H., and Davidson, J. Learning latent dynamics for planning from pixels. ICML2019. • Justin Johnson, Bharath Hariharan, Laurens van der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick. Clevr: A diagnostic dataset for compositional language and elementary visual reasoning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2901‒2910, 2017.