[DL輪読会]Variational End-to-End Navigation and Localization

DEEP LEARNING JP [DL Papers] Variational End-to-End Navigation and Localization (ICRA2019) Jumpei Arima, Meiji Univ. http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • タイトル: Variational End-to-End Navigation and Localization (ICRA 2019 Best Paper Award Finalist) • 著者: Alexander Amini1, Guy Rosman2, Sertac Karaman1, Daniela Rus1 (MIT1, TRI2) • arxiv: https://arxiv.org/pdf/1811.10119.pdf 2

• https://arxiv.org/pdf/1811.10119.pdf

アジェンダ 1. 背景 2. 概要 3. 提案手法 4. 実験結果 5. まとめ 3

背景 <従来の自律移動> 各機能ごとにモジュールが個別に存在 • Localization Apollo Structure – AMCL, NDT,… • Perception • Planning – A*, RRT, DWA,… • Control – MPC, LQR, … • SLAM – gmapping, Cartographer, ORB-SLAM, … https://classroom.udacity.com/courses/ud0419/ 4

• https://classroom.udacity.com/courses/ud0419/

背景 • End-to-end Navigation The ALVINN system （CMU NIPS1989） 初期のend-to-endによる自動運転 https://www.youtube.com/watch?v=IaoIqVMd6tc 5

• https://www.youtube.com/watch?v=IaoIqVMd6tc

背景 • End to End Learning for Self-Driving Cars (NVIDIA Corporation 2016) – CNNでステアの制御出力をEnd-to-Endでやった初期の論文 • End-to-end Driving via Conditional Imitation Learning(Intel et al. 2018) – ゴール情報で条件付けした上で模倣学習 <問題点> 複数の出力の可能性の考慮がされていない 汎化性能が低い 6

（余談） ChaufferNet(Waymo Research 2018) - 鳥瞰図に変換するFeatureNetと行動出力するAgentNetに分ける https://sites.google.com/view/waymo-learn-to-drive 7

• https://sites.google.com/view/waymo-learn-to-drive

（余談） Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies (UC Berkeley, Facebook Research, Stanford University 2018) - 複数の特徴量を抽出した画像を入力とする http://perceptual.actor 8

• http://perceptual.actor/

概要 提案手法: End-to-End navigation & localization 入力 - カメラ画像 - 地図(カーナビの情報) 出力 - ステアリングの制御値 (混合ガウス分布) 自己位置の補正 9

概要 • 画像・簡易マップからナビゲーションと自己位置推定が 可能なEnd-to-End のネットワークの提案 • 学習済みネットワークの出力の行動の確率分布から 簡易マップでの自己位置を推論するアルゴリズムの定式化 – 画像と簡易マップのマッチング • 実世界のデータでナビゲーションと自己位置の性能の評価・有用性を 示した（GPS情報が曖昧なところでも） 10

提案手法 • ネットワーク構造 – ネットワークの出力はステアリング制御量の確率分布 – ルート付きmapはoptionでつけることができるように学習する GMM(K=3) 11

提案手法 • 学習 Stochastic（ルートなし） Deterministic(ルートあり) 推論時にoptionでつけることが できるように別ネットワーク – 損失関数 負の対数尤度 分散に対する正則化項 12

提案手法 • 自己位置推定の更新 – 画像I, 地図Mが与えられた時の, θpの条件付き事後確率分布 θp, θsで二重周辺化 a) 事前分布が十分精度が高い b) 一つの道路内でサンプリングされる ネットワークの出力 事前分布 sample 13

提案手法 ：forward計算 steering分布からサンプル 事前分布からサンプル 14

実験 A) ナビゲーション実験 - 提案手法によるsteering出力の確率分布と人間の操作量を比較 B) 自己推定値の軽減の評価 - steering出力の確率分布から自己位置推定を、 提案手法で更新をした時に精度が上がるかの検証 C) 事前情報なしの自己位置推定によるモデルの評価 - 画像とマップがどれだけマッチしているかを判別できるかの検証 15

実験設定 • システム設定 – センサ構成 • カメラ3台 • IMU • GPS 距離情報なし＆自己位置が曖昧 – OSMから入力に与える簡易マップを作成 – 25kmの実環境における運転データで学習 • テストデータは学習データに含まれない 16

実験結果 • Navigation実験 – 関心領域(緑のbox)のみをモデルに与える – 複数のシナリオ(レーン追従・交差点・分岐点…)で実験 17

実験結果 • Navigation実験 – テストコース(約1km) – 人間の操作量を真値として定量評価 混合分布の予測精度 真値に対する予測した確率密度 18

実験結果 • Localization実験 ・初期位置はGPSの値にノイズを加える ・事後分布の分散・エントロピーが 事前分布から下がったかどうかで評価 19

実験結果 • Localization実験 – 平均して事前分布に対して空間, 方位ともに分散の低減が確認できた 20

実験結果 • Localization実験(事前情報なし) – 事前位置を与えない設定(誘拐ロボット問題)で自己位置の推定 – 画像の道形状とmapの道情報の対応ができている 21

まとめ • 画像と簡易マップから直接ステアリング制御量を出力する ネットワークを提案 – 制御可能な複数の行動出力の推定が可能 – ルートをoptionで与えることができる – 画像と簡易マップのマッチングか可能 • 制御出力の確率分布から自己位置推定の補正を行う アルゴリズムの定式化 – 実データで事後分布が事前分布と比べ分散の低減ができていることを示した 22

References • A. Amini, W. Schwarting, G. Rosman, B. Araki, S. Karaman, and D. Rus, “Variational autoencoder for end-to-end control of autonomous driving with novelty detection and training de-biasing,” in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018. • M. Bojarski, D. Del Testa, D. Dworakowski, B. Firner, B. Flepp, P. Goyal, L. D. Jackel, M. Monfort, U. Muller, J. Zhang, et al., “End to end learning for self-driving cars,” arXiv preprint arXiv:1604.07316, 2016. • F. Codevilla, M. Mller, A. Dosovitskiy, A. Lopez, and V. Koltun, “End-to-end driving via conditional imitation learning,” arXiv preprint arXiv:1710.02410, 2017. • D. A. Pomerleau, “ALVINN: An autonomous land vehicle in a neural network,” in Advances in neural information processing systems, 1989, pp. 305–313. • M. Bansal , A. Krizhevsky, and A. Ogale, “ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst,” arXiv preprint arXiv: 1812.03079, 2018. • A. Sax, B. Emi, A. R. Zamir, L. J. Guibas, S. Savarese, and J. Malik, “Mid-level visual representations improve generalization and sample efficiency for learning active tasks,” arXiv preprint arXiv:1812.11971, 2018. 23