【論文読み会】PIC4RL-GYM: A ROS2 MODULAR FRAMEWORK FOR ROBOTS AUTONOMOUS NAVIGATION WITH DEEP REINFORCEMENT LEARNING
>100 Views
December 27, 25
スライド概要
AI・機械学習を勉強したい学生たちが集まる、京都大学の自主ゼミサークルです。私たちのサークルに興味のある方はX(Twitter)をご覧ください！
関連スライド
各ページのテキスト
2025年度前期第3回 論文読会 PIC4RL-GYM: A ROS2 MODULAR FRAMEWORK FOR ROBOTS AUTONOMOUS NAVIGATION WITH DEEP REINFORCEMENT LEARNING ROS2 × 強化学習でロボットはどこまで賢くなる？ PIC4rl-gym による自律ナビゲーションの実践デモ Authors: Mauro Martini, Andrea Eirale, Simone Cerrato, Marcello Chiaberge Affiliation: Department of Electronics and Telecommunications (DET), Politecnico di Torino, Italy https://arxiv.org/pdf/2211.10714v1 https://github.com/PIC4SeR/PIC4rl_gym https://github.com/PIC4SeR/PIC4rl_gym_Platforms KaiRA社会人メンバー 柴田 たけお 0
目次 ■ ROS2×強化学習によるロボット自律ナビゲーションの 共通実験基盤(PIC4rl-gym) ■ PIC4rl-gym の構成と学習・評価フロー ■ 実験とベンチマーク：PIC4rl-gymで何ができるか ■ まとめと所感
ROS2×強化学習によるロボット自律ナビゲーションの 共通実験基盤(PIC4rl-gym) なぜこの論文か？ 深層強化学習（DRL）はロボット自律移動で有望 しかし….. *実機応用まで到達しにくい *再現性・手法比較が難しい *共通の実験基盤が存在しない 中心となるアイデア ROS2 × Gazebo × DRL を統合した モジュール型ナビゲーション学習基盤 PIC4rl-gym ロボット・センサ・モデル・学習手法を柔軟に切り替え可能 学習（Training）と評価（Testing）を一体化 先行研究との違い ROS2ネイティブ（現行ロボット開発の標準） ナビゲーション特化の共通ベンチマーク 学習済みポリシーを自動評価 （成功率・到達時間・軌跡など） 本論文の貢献 ROS2/Gazebo ベースのDRLナビゲーション基盤 初期環境・センサ・NNモデルの提供 再現性・比較を重視したテストパッケージ
PIC4rl-gym の構成と学習・評価フロー 基本アイデア 強化学習を ROS2 ノードとして実装 Gazebo 環境と直接接続し，学習と評価を実行 学習（Training） 状態：センサ情報（LiDAR など） 行動：速度指令（cmd_vel） 報酬：到達・衝突・時間など Gazebo を用いて 環境リセット ロボット・ゴール再配置 pause / unpause 制御 評価（Testing） 学習済みポリシーを自動ロード 同一環境で 再現性のある評価 軌跡・成功率・到達時間などを計算 新しい評価指標も容易に追加可能 特徴 学習と評価が 同じ構造 ロボット・センサ・タスクをパラメータで切替 比較・再現を前提に設計
実験とベンチマーク：PIC4rl-gymで何ができるか 目的 特定手法の性能主張ではなく PIC4rl-gym が幅広いナビゲーション研究 に使えることを示す 実験カテゴリ（3例） エンドツーエンド自律移動 センサ → 速度指令（v, ω） LiDAR / Depth × TD3 / SAC の比較 農業環境（ナビゲーション） 位置推定なしで安全に走行 人物モニタリング 障害物回避しながら人物方向を維持 評価の考え方 同一環境・同一条件で自動評価 成功率・到達時間・軌跡・障害物距離など ナビゲーション指標を一括比較 ポイント 室内・屋外・特殊タスクまで対応 ロボットやセンサを変えても評価方法は共通 再現性・比較を前提とした実験設計
まとめ 著者の主張 PIC4rl-gym は、ROS2/Gazebo 上で強化学習ナビゲーションを再現・比較可能にする共通研究基盤である。 著者の今後展開意気込み（2022年時点） 環境・センサ・タスクを拡張し、探索や社会的ナビゲーションなど実環境に近い課題へ発展させる。（でもその後特に進展は公表無し） 発表者の所感 ＊考え方としては面白い ＊ROS2(ROBOT OPERATIONG SYSTEM)の今の最新はUBUNTU24.04で動くROS2JAZZYが最新、想定が古くその後の更新もなさそう ＊方向性としては間違ってないので、よりユーザーの層が厚いインターフェースパッケージでやるのがよさそう ＊開発が継続されてないのでなかなか採用は難しい… ＊ROS2 GAZEBOの環境上でGYMを自分のPROJECTや仕様に合わせて定義製作するほうが理解できるかも。