ae-9. 姿勢推定

９. 姿勢推定 （ディープラーニング，Python を使用） （全１５回） https://www.kkaneko.jp/cc/ae/index.html 金子邦彦 1

• https://www.kkaneko.jp/cc/ae/index.html

全体まとめ • AI の進展により，画像からの姿勢推定ができるよ うになってきた ランドマークの位置情報 は３次元（縦，横，奥行き） ランドマークとボーン 2

アウトライン 番号 項目 9-1 9-2 9-3 9-4 復習 姿勢推定 人体の姿勢推定 頭部の姿勢推定，オブジェクトの姿勢推定 演習 各自，資料を読み返したり，課題に取り組んだりも行う 3

機械学習 • 学習による上達の能力 • 訓練データを使用して，学習を行う 4

マルチスケールの画像 課題：物体の大きさがさまざま 解決へのアプローチ さまざまなスケールの画像を作る（マルチスケール） どこかのスケールでは，物体は「所定の大きさ」に近くなる ⇒ ディープラーニングでの処理が簡単になる これで，さまざまな大きさの物体を扱う 5

9-1. 姿勢推定 6

人体の姿勢推定 人工知能で処理 撮影 姿勢推定の結果 マーカーレス：画像，ビデオから姿勢推定を行う． 特別な機材は使わない 7

人体の姿勢推定の例 （OpenPose を使用） 8

（Detectron2 の DensePose を使用） 9

人体の姿勢推定の例 10

ビデオの例 11

人体の姿勢推定の例（動画） 12

姿勢推定の用途① • 状況把握，行動予測 13

姿勢推定の用途② • 行動検知 14

姿勢推定の用途③ • 危険の察知，救援・救護 15

姿勢推定の用途④ • 監視，防犯 16

姿勢推定の用途⑤ • トレーニング，フィットネス，エクササイズ 17

姿勢推定の用途⑥ • アバター（バーチャル・キャラクタ）の操作 アバター（バーチャル・キャラクタ） 18

姿勢推定の用途⑦ • 集団行動の観察，分析，監視 Qi Dang, Jianqin Yin, Bin Wang, Wenqing Zheng, Deep Learning Based 2D Human Pose Estimation: A SurveyDeep Learning Based 2D Human Pose Estimation: A Survey, Tsinghua Science and TechnologyTsinghua Science and Technology, Volume 24 Issue 6 Article 5, 2019. 19

姿勢推定の用途⑧ • 姿勢推定の結果を用いて，画像から人物を切り出 す 20

姿勢推定のさまざまな用途 • 状況把握，行動予測 • 行動検知 • 危険の察知，救援・救護 • 監視，防犯 • トレーニング，フィットネス，エクササイズ • 集団行動の観察，分析，監視 など 21

姿勢推定のバリエーション • 物体，頭部の位置推定 変形しない • 人体の姿勢推定 関節があり動く • 手や足の指の姿勢推定 関節があり動く 22

9-2. 人体の姿勢推定 23

人体の姿勢推定 • 人体のランドマーク（顔，胴体，手，足の中の特 定の点）の位置推定 • 人体の姿勢についての情報を得る 24

ランドマークとボーン ボーン ＝ 骨格，ランドマーク ＝ 点 画像で表示した ボーン情報 OpenPoseのランドマークとボーン ランドマークのデータファイル （特徴点の x, y 座標と 25

ランドマークとボーン ボーン ＝ 骨格，ランドマーク ＝ 点 OpenPose では，25個のランドマークが定 まっている （OpenPose は，人体の姿勢推定の一手法） 0:鼻 1:首 2:右肩 3:右ひじ 4:右手首 5:左肩6:左ひじ 7:左手首 8:真ん中腰 9:右腰 10:右ひざ 11:右足首 12:左腰 13:左ひざ 14:左足首 15:右目16:左目 17:右耳 18:左耳 19:左足親指 20:左足小指 21:左かかと 22:右足親指 23:右足小指 24:右かかと OpenPoseのランドマークとボーン 26

人体の姿勢推定の例 （OpenPose を使用） • 人体の一部分が隠れている場合 可能な範囲でのランドマークを推定 27

ランドマークの位置推定 ①元画像 ②ランドマークの ③ランドマークと 位置推定 ボーン ②ランドマークの位置推定：Body Part Detection 法では，元画像の中から，顔， 首，肩，手などの部位を検出する ③ランドマークとボーン：②の結果と体全体の情報から，ランドマークの位置 の特定，ボーンの生成を行う Qi Dang, Jianqin Yin, Bin Wang, Wenqing Zheng, Deep Learning Based 2D Human Pose Estimation: A SurveyDeep Learning Based 2D Human Pose Estimation: A Survey, Tsinghua Science and TechnologyTsinghua Science and Technology, Volume 24 Issue 6 Article 5, 2019. 28

ランドマークの位置推定 ランドマークの位置推定 ・ディープラーニングを使用 ・顔，首，肩，手などの部位 それぞれについて位置を推定 Ce Zheng, Wenhan Wu, Taojiannan Yang, Sijie Zhu, Chen Chen, Ruixu Liu, Ju Shen, Nasser Kehtarnavaz and Mubarak Shah, Deep Learning-Based Human Pose Estimation: A Survey, ArXiv, abs/2012.13392, 2019. 29

ランドマークの位置推定 ランドマークの位置推定 ・ディープラーニングを使用 ・顔，首，肩，手などの部位それぞれについて位置を推定 Alejandro Newell, Kaiyu Yang, and Jia Deng, Stacked Hourglass Networks for Human Pose Estimation, arXiv:1603.06937v2, 2016. https://arxiv.org/pdf/1603.06937v2.pdf 30

• https://arxiv.org/pdf/1603.06937v2.pdf

ランドマークの位置推定 各レベルでの推定結果を 後段へ 画像の縮小 画像の拡大 ランドマークの位置推定 部位の大きさはさまざま ⇒ マルチスケールの画像を使う • 画像を複数レベルに縮小し，各レベルで部位を検出 • 元の大きさに戻しながら，検出結果を重ね合わせ Alejandro Newell, Kaiyu Yang, and Jia Deng, Stacked Hourglass Networks for Human Pose Estimation, arXiv:1603.06937v2, 2016. https://arxiv.org/pdf/1603.06937v2.pdf 31

• https://arxiv.org/pdf/1603.06937v2.pdf

9-3. 頭部の姿勢推定，物体の姿勢 推定 32

物体の姿勢推定 • 画像から，物体の位置情報（たて、よこ、奥行 き）と回転情報を得る Wen, B and Bekris, Kostas E, BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2021. 33

頭部の姿勢推定 • 頭部の画像から，頭部の位置情報（たて、よこ、 奥行き）と回転情報を得る lincolnhard/head-pose-estimation を使用 https://github.com/lincolnhard/head-pose-estimation 34

• https://github.com/lincolnhard/head-pose-estimation

基準となる３つの軸から，どれだけ回転したか ヨー (yaw) x z ロール (roll) ピッチ (pitch) y

物体の位置推定，頭部の位置推定 • 画像から，物体や頭部の次の結果を得る 位置情報（縦，横，奥行きの３つの数値） 回転情報（３つの回転軸なので，３つの数値） 36

物体の姿勢推定の用途 • ロボットハンドによる物体移動 Wen, B and Bekris, Kostas E, BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models, IEEE/RSJ International Conference on Intelligent Robots and Systems, 2021. 37

物体の姿勢推定 • 部分的に隠蔽された物体についても、姿勢推定（位置と角度）が推定 できるように （姿勢推定により，セグメンテーションの精度が向上する，という考え 方も） Segmentation-driven 6D Object Pose Estimation Yinlin Hu, Joachim Hugonot, Pascal Fua, Mathieu Salzmann arXiv:1812.02541, 2018. 38

9-4. 演習 39

Google Colaboratory の使い方概要 ① 実行 コードセル Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 40

Google Colaboratory の使い方概要 ② 実行 コードセル テキストセル 実行 コードセル • WEBブラウザでアクセス • コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 一番上のコードセルから順々に実行 41

人体の姿勢推定 1. 使用するページ: https://colab.research.google.com/drive/13nOMSW0Dzx_LjN9X EG99jtvgMACl4m9V 2. 必要な事前知識 ランドマーク，ボーン 3. 各自で行うこと 各自で説明、ソースコード、実行結果を確認する． 42

• https://colab.research.google.com/drive/13nOMSW0Dzx_LjN9X

全体まとめ • AI の進展により，画像からの姿勢推定ができるよ うになってきた ランドマークの位置情報 は３次元（縦，横，奥行き） ランドマークとボーン 43