【DL輪読会】Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks

DEEP LEARNING JP [DL Papers] Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks Koki Yamane, University of Tsukuba http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 ◼ 題名  Transporters with Visual Foresight for Solving Unseen Rearrangement Tasks ◼ 著者  Hongtao Wu, Jikai Ye, Xin Meng, Chris Paxton, Gregory Chirikjian ◼ The Johns Hopkins University ◼ National University of Singapore ◼ NVIDIA ◼ 会議: arXiv (2022, May) ◼ URL: https://arxiv.org/pdf/2202.10765.pdf 2023/10/10 2

• https://arxiv.org/pdf/2202.10765.pdf

概要 目標指定タスク計画により幅広い再配置タスクを実現 ◼ ゼロショットでのタスクの汎化  未学習タスク  長時間タスク ◼ 木探索による未来予測  画像予測モデル  複数行動提案モジュール ◼ 画像予測モデルの高効率学習  FCNの平行移動等価性 ◼ 入力が平行移動すると出力も移動 2023/10/10 3

従来手法: Transporter Networks (TN) FCNの平行移動等価性を利用して高効率なpick-and-placeタスクの学習を実現 2023/10/10 4

従来手法: Goal-Conditioned Transporter Networks (GCTN) 目標状態の入力を追加し非剛体物体に対応 2023/10/10 5

提案手法: Transporters with Visual Foresight (TVF) 行動提案と画像予測による木探索 2023/10/10 6

提案手法: 画像予測モデル FCNにより次ステップの画像を予測 ◼ 入力  真上からのRGB-D 画像  行動情報 (Pick-pose, Place-pose) ◼ 出力  次ステップの画像 ◼ アーキテクチャ  36層のFCN (Fully Convolutional Network) 平行移動等価性による高効率学習 2023/10/10 7

提案手法: 複数行動提案モジュール 木探索のために複数の行動を提案 1. GCTNで行動価値マップを取得 2. 行動価値マップを閾値処理 3. K-Means クラスタリング 行動価値マップから数個の候補に絞り込み 2023/10/10 8

実験（シミュレーション） 14 種類のブロック積みタスク (未学習含む) ◼ シミュレータ: Ravens (pybulletベースのマニピュレータシミュレータ) ◼ ロボット: UR5 (吸引機構) ◼ データ数：1000 2023/10/10 9

実験結果（シミュレーション） 未学習のタスクでも高い成功率を達成 > 90% 2023/10/10 10

実験（実世界） 6 種類のブロック積みタスク (未学習含む) ◼ 手法  GCTN: Goal-Conditioned Transporter Networks (ベースライン)  TVF: Transporters with Visual Foresight (提案手法) ◼ 3 種類の学習タスクと 3 種類の未学習タスク ◼ 3 種類のタスクに合計 30 回のデモ （1 タスク 10 回） ◼ 各タスク 10 回の施行で検証 2023/10/10 11

実験結果（実世界） 実世界でも高い成功率を達成 タスク結果例 未学習 2023/10/10 12

まとめ ◼ 複数行動提案と画像予測を繰り返すことにより行動とその結果を木探索 ◼ 画像予測モデルにFCNを使用し高効率の学習を実現 ◼ 未学習タスクに対して高い成功率を達成 ◼ 実世界のロボットで検証し高い成功率を実証 2023/10/10 13