[DL輪読会]Learning Visible Connectivity Dynamics for Cloth Smoothing (CoRL2021)

DEEP LEARNING JP [DL Papers] Learning Visible Connectivity Dynamics for Cloth Smoothing (CoRL2021) 池田 悠也 http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 タイトル：Learning Visible Connectivity Dynamics for Cloth Smoothing https://arxiv.org/pdf/2105.10389 (Accepted to CoRL 2021) 著者：Xingyu Lin*, Yufei Wang*, Zixuan Huang, David Held (カーネギーメロン大学) 2

• https://arxiv.org/pdf/2105.10389

概要 • GNS[1]を布を広げるタスクへ応用するVCDという手法を提案 (GNS：GNNベースのダイナミクス学習アーキテクチャ) • シミュレータでダイナミクスを学習し、zero-shot実機転移に成功 [1] https://arxiv.org/abs/2002.09405 3

• https://arxiv.org/abs/2002.09405

全体像 入力：点群の情報 出力：各点の1step後の加速度 →open-loopで任意step後の予測 →布が一番広がるようなpick＆place アクションをプランニング 2種類のGNNを使用 - EdgeGNN 辺の接続を表現 - DyanmicsGNN ダイナミクスを表現 4

EdgeGNN詳細 布から得られた点群の任意の2点をつなぎ辺を作り、 長さR未満のものに対して、その辺がMesh EdgeかCollision Edgeかを予測する Mesh Edge：布として接続されている部分 Collision Edge：近接しているだけの部分 入力：長さR未満の辺の距離ベクトルとその大きさ 出力：Mesh Edgeの確率 学習データはSoftGym[2]というシミュレータで生成 SoftGym：粒子ベースの物理エンジンであるFlexを使っている [2] https://arxiv.org/abs/2011.07215 5

• https://arxiv.org/abs/2011.07215

EdgeGNN詳細 アーキテクチャ - Encoder 𝜑𝑝 , 𝜑𝑒 0 𝜑𝑝(𝑣𝑖 ) = ℎ0𝑖 , 𝜑𝑒(𝑒𝑗𝑘 ) = 𝑔𝑗𝑘 node特徴量 vi とedge特徴量 ejkをembedding - Processor 𝑓𝑒𝑙 , 𝑓𝑝𝑙 , 𝑓𝑐𝑙 𝑙+1 𝑙 𝑙 𝑔𝑗𝑘 = 𝑓𝑒𝑙 ℎ𝑗𝑙 , ℎ𝑙𝑘 , 𝑔𝑗𝑘 , 𝑐𝑙 + 𝑔𝑗𝑘 𝑙 ℎ𝑙+1 = 𝑓𝑝𝑙 ℎ𝑙𝑖 , σ𝑗 𝑔𝑗𝑖 , 𝑐𝑙 + ℎ𝑙𝑖 𝑖 1 1 |𝑉| 𝑙+1 σ𝑒𝑗𝑘 𝑔𝑗𝑘 𝑐𝑙+1 = 𝑓𝑐𝑙 (𝑐𝑙 , σ𝑖=1 ℎ𝑙+1 , ) 𝑖 |𝑉| 入力 node特徴量：0 edge特徴量：長さR未満の辺の距離ベクトルとその大きさ 出力 (長さR未満の)edgeがmesh edgeである確率 以下すべてのMLPで同様 中間層：3層, 128次元 活性化関数：ReLU |𝐸| embedding を繰り返し更新して情報を伝達 10回更新を行い、それぞれ独立した重みを使用 𝑐𝑙 はglobal embeddingで𝑐0 = 𝟎 - Decoder 𝜓 𝑝𝑗𝑘 = 𝜓(𝑔10 𝑗𝑘 ) edge embeddingをmesh edgeの確率に変換 損失関数：クロスエントロピー誤差 6

DynamicsGNN詳細 SoftGym環境で布の1点を把持し、ランダムに動かしデータを生成する アーキテクチャはEdgeGNNとほぼ同じ Decoder 𝜓 𝑥ሷ 𝑖 = 𝜓(ℎ10 𝑖 ) node embeddingを加速度に変換 入力 node特徴量：過去4step分の速度、その点が掴まれているかどうか、 地上からの高さ edge特徴量： 長さR未満の辺の距離ベクトルとその大きさ、 その辺がmesh edgeかどうか、距離ベクトルの変位 出力 各点の加速度 損失関数 平均二乗誤差 7

学習の工夫 グラフ模倣学習 布全体のデータを用いた教師モデルを作成し、一部のデータのみを用いた 生徒モデルにembeddingを転送 →部分的な情報から布の全体の状態を推定できるように学習される 8

学習の詳細 学習時間 RTX2080Tiを用いて EdgeGNN：1, 2日 DyanmicsGNN：約4日 9

全体像 入力：点群の情報 出力：各点の1step後の加速度 →open-loopで任意step後の予測 →布が一番広がるようなpick＆place アクションをプランニング 必要なのは点群の位置のみ →zero-shotでのSim-to-Real可能 10

プランニングについて プランニングの結果 緑色の矢印がより報酬が高い - K回のランダムpick-and-placeアクションをDynamicsGNN上で予測 - 予測点群から報酬を計算し、K回の中で一番報酬が高いアクションを貪欲に選択 K : 500 報酬関数：予測点群を半径Rの球と近似し、接地面に投影された面積を計算 11

全体のアルゴリズム 12

結果 https://www.youtube.com/watch?v=GE7LQNwKT_o 13

• https://www.youtube.com/watch?v=GE7LQNwKT_o

結果 - 正方形の布ではコットンとシルクの両方の素材で高い性能を示す - Tシャツも広げることに成功している 14

ベースラインとの比較 VSF[3], CFM[4], MVP[5]などのベースラインを超えていることを示した ※シミュレータ上での検証 [3] https://arxiv.org/abs/2003.09044 [4] https://arxiv.org/abs/2003.05436 [5] https://arxiv.org/abs/1910.13439 15

• https://arxiv.org/abs/2003.09044
• https://arxiv.org/abs/2003.05436
• https://arxiv.org/abs/1910.13439

アブレーション 観測された点群をEdgeGNNに入力し得られたメッシュから布を再構成し、 DynamicsGNNの代わりに用いると性能が下がった → DyanmicsGNNは部分的な観測を補うように加速度を推定できるため EdgeGNNを使用しない場合は性能が下がる →布の形状を把握することができないため 16

まとめ・感想 • 布という変形可能で状態推定が困難な物体においても、GNNベースで 形状とダイナミクスを学習でき、zero-shotで実機転移できることを 示した • zero-shot Sim-to-Realの可能性を感じた 17