[DL輪読会]Human Dynamics from Monocular Video with Dynamic Camera Movements

DEEP LEARNING JP [DL Papers] “Human Dynamics from Monocular Video with Dynamic Camera Movements” Presenter: Takahiro Maeda D1 (Toyota Technological Institute, Intelligent Information Media Lab) http://deeplearning.jp/

• http://deeplearning.jp/

目次 1. 2. 3. 4. 5. 6. 書誌情報 概要 研究背景 提案手法 実験結果 考察・所感 2

1. 書誌情報 紹介論文 題名： Human Dynamics from Monocular Video with Dynamic Camera Movements 出典： SIGGRAPH Asia 2021 著者： RI YU, HWANGPIL PARK, JEHEE LEE 所属： SNU 選書理由 今まで見過ごされていた3d human pose estimationの課題を 見事に解いていた． 3

結果 {人，カメラ｝の動きが激しい単眼動画から人動作を移動量を含めて復元 Youtube link 4

• https://www.youtube.com/watch?v=SOhgfAFN9eI

2. 概要 • 激しく｛人，カメラ｝が移動する単眼動画から動作を復元する手法を 提案した • 研究背景： 激しいパン・チルト・ズームを含んだ動画は， 特徴点からカメラの自己位置推定が困難であり， 被写体の3次元空間の移動量を求めることが困難 →移動量が求められず姿勢推定が不完全 • アイデア： 量を推定 物理法則（物理シミュレータ）からヒントを得て移動 • 手法： 2,3次元姿勢推定で得られた姿勢（関節角度）を 5

3. 研究背景 • 激しい動きを含んだ動画では，姿勢推定は移動量を正しく推定できな い – アニメーション技術やロボット動作獲得には適用不可 推定結果の重ね合わせ 移動量の推定失敗 ３次元姿勢推定結果 6

4. 提案手法： アイデア • 人動作が物理法則に従うことを利用して姿勢などから移動量を推定す る． 姿勢推定結果 （root位置・回転な し） 体の向き（２次元ベクトル），接触 （binary) 物理シミュレー タ, 強化学習 による復元 復元された側転動作 7

4. 提案手法： ネットワーク 8

4. 提案手法： Contact Estimator, body orientation ９フレーム分の２次元姿勢推定結果から MLPにより接触を判定 Rempe et.al.[1] 2次元姿勢推定の結果から，体の向きを取 得 学習データはCGシミュレータ上で作成 9

提案手法： Scene Arrangement 学習：大まかに与えたオブジェクトの位置，高さに外乱を加える 推論：後述する報酬を最大化するようにオブジェクトを配置（探 索） 10

4. 提案手法： 報酬設計 • 報酬 関節角 角速度 体の向き 推定した情報との一致 接触する 物体との距 離 接触する 物体との 方向の一致 接触 体中心への外力の制約 外力： RFC[2]において提案， 人体と３ｄモデルの差を修正す る 接触タイミングから 予測される放物線との一 致 11

5. 実験結果 再掲 動きの激しい単眼動画から人動作を復元 Youtube link: https://www.youtube.com/watch?v=SOhgfAFN9eI 12

• https://www.youtube.com/watch?v=SOhgfAFN9eI

5. 実験結果: ablation 13

6. 考察・所感 • 従来の姿勢推定では無視されていた移動量を推定できる点は有用 – カメラ自己位置推定との比較実験が無いため疑問は残る • 推定のために強化学習を行うことから，計算量が膨大 • 下準備が多いのは不便 – オブジェクトなどを用意した環境作成する – カメラの動きが激しい想定なため，depth推定なので環境を再構成することも 困難か • 今後の展望 – 多人数が絡む動作（格闘技など）の動作再構成 – 水中や無重力下での動作再構成 – ロボットへのmotion transfer 14