1.3K Views
February 02, 24
スライド概要
DL輪読会資料
DEEP LEARNING JP [DL Papers] Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation Koki Yamane, University of Tsukuba http://deeplearning.jp/ 1
書誌情報 題名 Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation 著者 Zipeng Fu (1) Tony Z. Zhao (1) Chelsea Finn (1) 所属 (1)Stanford University 会議 arXiv (2024/1/4) URL https://arxiv.org/abs/2401.02117 概要 ⚫ 低コストな双椀モバイルマニピュレータ「Mobile ALOHA」を開 発 ⚫ 双椀モバイルマニピュレータで模倣学習 2024/2/2 2
2024/2/2 3
従来手法:ALOHA 低コストの双腕遠隔操作ハードウェア 2024/2/2 4
提案手法: Mobile ALOHA ALOHAに台車を加えてモバイルマニピュレータ化 2024/2/2 5
従来手法: Action Chunking with Transformers (ACT) Transformerを用いたCVAEで現在の状態から次の数ステップの行動を予測 動作のスタイルを表す潜在変数 (操作者による癖などを表現) 次の1ステップではなく 次の数ステップの行動を同時に予測 4つのカメラの画像と各関節の角度を入力 2024/2/2 自律動作時の潜在変数は0 6
従来手法: Action Chunking with Transformers (ACT) Transformerを用いたCVAEで現在の状態から次の数ステップの行動を予測 ◼ Action Chunking 次の数ステップをまとめて予測 ◼ 一連の動作をまとめて扱う ◼ 非マルコフ性に対応 1ステップごとの生成では,一時停止と 終了時の停止を見分けるのが難しい ◼ Temporal Ensemble チャンクを毎ステップ出力し加重平 均を取ることで滑らかにつなぐ チャンクの境目で急な動作になるの を防ぐ 2024/2/2 7
実験 ◼ 7つのタスクで検証 ◼ 教示データ50回分,自律動作20回(Cook Shrimpのみ各20回,5回) ◼ Co Training 移動なしALOHAのデータを一緒に学習 2024/2/2 8
実験結果 多くのタスクで80%超えの成功率を達成 Cook Shrimpのみ 成功率80%未満 タスクが長いから? 2024/2/2 9
実験結果 ACTが最も高い成功率を達成 2024/2/2 10
まとめ ◼ 低コスト双椀マニピュレータALOHAに台車を統合 ◼ 双椀モバイルマニピュレータで模倣学習 ◼ 7つの実機タスクで実験,6つのタスクで80%を超える成功率を達成 ◼ 感想 とにかくデモが面白い ACTとDiffusion Policyの比較が興味深かった ◼ ACTのほうが性能高い結果になっているがデータ数やタスクによって変わる? 2024/2/2 11