takanami_hsrvr_slide

環境の意味情報と半自律支援動作を活用した モバイルマニピュレータの遠隔操作システムの開発 JSAI2023 OS-21 世界モデルと知能 2023.6.7 1 2 1 1 3 1 1 髙波亮介 、小林聖人 、松嶋達也 、池田悠也 、石本幸暉 、岩澤有祐 、松尾豊 [1]東京大学、[2]神戸大学、[3]松尾研究所

目次 1. 研究背景・目的 2. 提案システム 3. 実験 4. 結論 2

研究背景 モバイルマニピュレータの必要性 ● 認識、移動、物体操作が可能であり、 労働を代替できる可能性を秘めている モバイルマニピュレータの活用が進まない要因 ● サービスを提供するための自律システムが 確立されていない ● 遠隔で人間が操作するための モバイルマニピュレータの動作例 遠隔操作システムが確立されていない 3

研究背景 これまでの遠隔操作システム ● マウス、キーボード、スマートフォンを通して、 2Dディスプレイで監視しつつ、3Dの動作を指示 ● VRコントローラとヘッドマウントディスプレイ(HMD)を 通して、より直感的に3DVR空間上で遠隔操作 ヘッドマウントディスプレイ (HMD) VRコントローラ スマホによる操作システム [Wong 21] 4

研究背景 従来手法の課題 ● ロボットセンサーの視野外環境や過去の観測状態の認識が困難 [Wonsick 21] ● 安全を考慮した物体把持操作が難しい ① ② 周りに何がある？ 冷蔵庫に何が あった？ 冷蔵庫 机 5

研究目的 大規模事前学習モデルを遠隔操作システムへ適用することで 操作者のロボット周囲環境の認知の向上と安全を考慮した把持操作の改善 本研究の提案システム 1. 大規模事前学習モデルを活用した 情報の抽出と3D空間上での 環境情報の再構成 2. 3D空間上での環境物体情報を 活用した把持支援動作 図2. セグメンテーションの様子 6

提案システムの全体像 VR空間上での視点 1. 認識情報の フィードバック 観測 インタラクション 2. (アシスト)指示 遠隔操作者 モバイルマニピュレータ （環境観測者） 図1. 提案システムの全体構成 観測環境 7

提案システム 1. 大規模事前学習されたセマンティックセグメンテーションモデルを 活用した物体認識投影システム (空間的な世界モデルの部分的な再現) 2. 物体認識投影システムを活用した、安全な把持動作支援を目的とする 半自律物体リーチ動作 図2. セグメンテーションの様子 図3. 把持対象物体選択の様子 8

提案システム 1. 大規模事前学習されたセマンティックセグメンテーションモデルを 活用した物体認識投影システム (空間的な世界モデルの部分的な再現) 2. 物体認識投影システムを活用した、安全な把持動作支援を目的とする 半自律物体リーチ動作 図2. セグメンテーションの様子 図3. 把持対象物体選択の様子 9

提案システム：認識システム ● 大規模事前学習されたDetic [Zhou 22] を活用し、画像から環境の物体 情報 ● 取得したセグメンテーションマスクで観測点群を切り抜きVR空間上に 投影 図2. セグメンテーションの様子 図4. VR空間上に生成された物体点群 10

提案システム 1. 大規模事前学習されたセマンティックセグメンテーションモデルを 活用した物体認識投影システム (空間的な世界モデルの部分的な再現) 2. 物体認識投影システムを活用した、安全な把持動作支援を目的とする 半自律物体リーチ動作 図2. セグメンテーションの様子 図3. 把持対象物体選択の様子 11

提案システム：物体把持支援（アシスト）動作 ● 認識システムによって生成されたVR空間上の物体点群を指定すると 指定された物体にアームをリーチし、把持しやすい位置までアシスト 図3. 把持対象物体選択の様子 図5. 選択物体に対するアシスト動作の様子 12

提案システム：物体把持支援（アシスト）動作 動作例 操作者がみるVR空間の様子 操作者とモバイルマニピュレータの様子 13

実験 実験概要：提案アシスト動作の有効性の検証 ● タスク設定 1. 拾い上げるタスク：提案アシスト動作単体での有効性を評価 2. 片付けるタスク ：実用的な設定でシステム全体を評価 ● 実験設定 ○ 被験者6人 (内3人はVRデバイス使用経験者) ○ 事前に10分の実験説明、20分のチュートリアルを実施 図 図6. 6. 拾い上げるタスクの環境 図7. 片付けるタスクの環境 14

実験内容 実験1. 拾い上げるタスク ロボット正面前方1mの床の上に置かれた把持対象物体を拾い上げる 実験2. 片付けるタスク 部屋に散らばった6つの物体の内、実験者が指定した2つの物体を 拾い上げ、黒いboxに収納する 拾い上げるタスクの環境 片付けるタスクの環境 15

実験結果 実験1：拾い上げるタスク ● トマト缶、スポンジともに提案アシスト動作がある方が タスク達成時間が短縮された ● しかし、スポンジの把持においては差が僅差であった 表1. 物体を拾い上げるまでにかかった時間で比較 16

実験結果 実験1：拾い上げるタスク ● 全体的に把持のしやすさに貢献していることが示唆された ● 物体によっては把持のしやすさに差が生じる ○ 物体の高さが高いものほど把持しやすいことが考えられる 図8. 比較的高さのあるトマト缶 図9. 比較的高さのないスポンジ 17

実験結果 実験2：片付けるタスク 表2. 2つの物体を片付けるまでにかかった時間で比較 ● 片付けるタスク全体の達 成時間が提案システムの 方が1分4秒短縮された ● 移動＋拾い上げる動作の 時間が提案システムの方 が21秒短縮された ● アシスト動作は把持物体 への移動と把持姿勢を自 律実行するため、操作の 効率性を向上させたと考 えられる 18

結論 本研究の貢献 ● 大規模事前学習モデルを利用した物体認識投影システムとそれを活用した 半自律的に物体把持を支援する機能を搭載したVR遠隔操作システムの開発 ● 2つの物体把持タスクにおいて、従来のシステムと比較して操作性を改善 今後の発展 ● 支援動作のアシスト姿勢がそれぞれの物体や操作者に対して最適ではない ○ 学習ベースの把持姿勢推定モデルの活用 ● 把持動作に対するアシスト機能適用範囲の拡大 ○ リーチ動作だけではなく把持直前の精緻な動作にも対応 19

参考文献 ● Wong, J., et al. Error-Aware Imitation Learning from Teleoperation Data for Mobile Manipulation. CoRL2021. ● Zhou, X., et al. Detecting Twenty-Thousand Classes Using Image-Level Supervision. ECCV2022. ● Wonsick, M., et al. Telemanipulation via Virtual Real- ity Interfaces with Enhanced Environment Model. IROS2021. 20

提案システム 提案システムの全体構成 図1. 提案システムの全体構成 21

実験の様子 実験1：拾い上げるタスク (アシストなし、トマト缶) 22

実験の様子 実験1：拾い上げるタスク (アシストあり、トマト缶) 23

実験の様子 実験1：拾い上げるタスク (アシストなし、スポンジ) 24

実験の様子 実験1：拾い上げるタスク (アシストあり、スポンジ) 25

実験の様子 実験2：片付けるタスク (アシストなし) 26

実験の様子 実験2：片付けるタスク (アシストあり) 27