HCI_見本のダンス動画に対する手の軌跡の付与が動きの習得に及ぼす影響の調査

⾒本のダンス動画に対する⼿の軌跡の付与が 動きの習得に及ぼす影響の調査 明治⼤学 中村瞭汰， 藤原優花，古市冴佳，中村聡史

はじめに • アイドルなどのダンスを踊ってSNSに投稿する， 踊ってみた動画が流⾏ →動画を⾒本にして⾃主的に練習することが多い • ダンスを習っている⼈も，インストラクターが踊っている動画 を⾒て練習することは多い

問題 • ダンス初⼼者が動画から振り付けを理解し，真似することは 容易ではない • ⾃⾝の動きと⾒本の動画を⽐較して違いを⾒つけることが難しい

理解が難しい動きの例 ⾒本 間違いの例

理解が難しい動きの例 ⾒本 間違いの例

理解が難しい動きの例 ⾒本の動き: 「⼿を体に沿って肩の位置まで上げて横に伸ばす」 ⾒本の動き 間違った動き: ⾒本を「⼿を肩に⽔平の位置に出す」と理解し， 再現した動き 間違った動き

理解が難しい動きの例 ⾒え⽅の違い ⾒本の動き: すっきりした動き 間違った動き: ぼやけた動き ⾒本の動き 間違った動き

関連研究 指導者の動きを撮影し，練習者の⾝⻑に合わせた ボーン情報に変形したものを練習時に重ねて提⽰する [Fujimotoら, 2012]

関連研究 • VRなどを⽤いたダンスの練習⽀援に関する研究が多い • ダンス習得⽀援システムの多くが持ち運びが難しく，実際の 練習環境で⽤いることが難しい [Rehebら，2020]

関連研究 ⾒本のダンスの動画にオノマトペの⽂字を付与して，振り付けの ニュアンスを伝えやすくする [斎藤ら, 2020]

関連研究 オノマトペは動きの緩急を表すことには適しているが， 動きの形の違いを表すことは難しい

⽬的 ⾒本のダンス動画に情報を付与することによって 動きの習得を⽀援する

提案⼿法 動きの中でも複雑な動きが可能である腕の動きに着⽬ ⼿の軌跡を⾒本の動画に重ねて提⽰することによって， ⼿が通った経路や動かし⽅が⾒えやすくなり， 腕の動きの理解につながると考えた

実装 • tf-pose-estimationを⽤いて動画の各フレームの⼿の⼆次元座標 を取得 • 直前15フレームまでの⼿の座標を直線で結び，軌跡を作成 • ⾒本の動画が⾒えにくくならないように透明度を0.6に設定 • ⾊は背景の⾊と服の⾊を加味し，オレンジ⾊で提⽰

提案⼿法を適応した動画

実験 ⾒本のダンス動画: AIST Dance Video Database のプロのダンサーが踊った動画から選定 Hiphopダンスが様々なジャンルのベースになっていることから， LA-style Hiphopから選定

実験 2本の動画を選定 それぞれの始めの4⼩節と次の4⼩節を分割 振りつけに⼊るタイミングが掴みにくいことから，動画の冒頭に メトロノーム⾳を挿⼊した

実験 実験協⼒者: Hiphopダンスを習っていた経験が1年未満の⼈を対象とした ⼤学のダンスサークルに所属している20名(⼥性12名，男性8名) 実験協⼒者20名を軌跡提⽰なし10名，軌跡提⽰あり10名に分けた

実験の流れ 10分間で動画から振り付けを覚えてもらう 動画撮影 主観評価アンケートに回答

主観評価アンケート 質問内容 回答形式 1 振り付けが覚え やすかったか 10段階評価 1（難しかった）~10（簡単だった） 2 上⼿く踊れたと 思うか 1（踊れなかった）~10（踊れた） 3 感想 ⾃由記述

実験 撮影した動画をHiphopダンスを6，8年習っていた⼤学⽣2名が評価 評価者は軌跡提⽰なし/あり どちらの動画を⾒て練習したか， わからない状態で評価

客観評価アンケート 質問内容 ⾒本と似ているか 回答形式 10段階評価 1（似ていない）~10（似ている） 動きが⾳と合っているか 1（合っていない）~10（合っている） 振り付けを覚えられているか 1（覚えられていない）~10（覚えられている） 頭の動きが似ているか 1（似ていない）~10（似ている） 胴体の動きが似ているか 1（似ていない）~10（似ている） 腕の動きが似ているか 1（似ていない）~10（似ている） ⾜の動きが似ているか 1（似ていない）~10（似ている） その他気づいたことコメント ⾃由記述

結果: 客観評価アンケート 軌跡提⽰なし 軌跡提⽰あり ⾒本と似ているか 5.6 5.9 動きが⾳と合っているか 8.1 8.0 振り付けを覚えられているか 7.4 7.6 頭の動きが似ているか 5.1 5.9 胴体の動きが似ているか 5.3 6.1 腕の動きが似ているか 4.2 4.9 ⾜の動きが似ているか 5.0 5.9

結果: 客観評価アンケート 軌跡提⽰なし 評価値の差 軌跡提⽰あり ⾒本と似ているか 5.6 5.9 0.3 動きが⾳と合っているか 8.1 8.0 -0.1 振り付けを覚えられているか 7.4 7.6 0.2 頭の動きが似ているか 5.1 5.9 0.8 胴体の動きが似ているか 5.3 6.1 0.8 腕の動きが似ているか 4.2 4.9 0.7 ⾜の動きが似ているか 5.0 5.9 0.9

結果: 客観評価アンケート 軌跡提⽰なし 軌跡提⽰あり ⾒本と似ているか

結果: 客観評価アンケート 頭の動きが似ているか 胴体の動きが似ているか 軌跡提⽰なし ⾜の動きが似ているか 軌跡提⽰あり

結果: 客観評価アンケート 軌跡提⽰なし 軌跡提⽰あり 腕の動きが似ているか

結果:腕の評価値の分布 10 10 9 9 8 8 7 7 6 6 5 5 4 4 3 3 2 2 1 1 0 0 1 2 3 4 5 軌跡提⽰なし 6 7 8 9 10 軌跡提⽰あり 動画1，2の腕の評価値の分布 軌跡提⽰なし 1 2 3 4 5 軌跡提⽰なし 6 7 8 9 軌跡提⽰あり 動画3，4の腕の評価値の分布 軌跡提⽰あり 10

結果:腕の評価値の分布 10 10 9 9 8 8 7 7 6 6 5 5 4 4 3 3 2 2 1 1 0 0 1 2 3 4 5 軌跡提⽰なし 6 7 8 9 10 軌跡提⽰あり 動画1，2の腕の評価値の分布 軌跡提⽰なし 1 2 3 4 5 軌跡提⽰なし 6 7 8 9 軌跡提⽰あり 動画3，4の腕の評価値の分布 軌跡提⽰あり 10

結果: 主観評価アンケート 上⼿く踊れたと思うか 軌跡提⽰なし 振り付けが覚えやすかったか 軌跡提⽰あり

考察 客観評価，主観評価どちらでも動画3が最も評価値が低い結果 となった →動画3が最も難しかったと予想される ⾒本と似ているか 上⼿く踊れたと思うか

考察 原因: 振り付けの動きの難しさのみに着⽬をして動画を選定した ⾳の取り⽅も難易度に影響するので考慮する必要がある ⾒本と似ているか 上⼿く踊れたと思うか

考察 腕の評価値は他の部位の評価値と⽐較して低かったことから， 評価者が重視している可能性 →ダンス全体の評価への影響も⼤きいことも考えられる 軌跡提⽰なし 軌跡提⽰あり 頭の動きが似ているか 5.1 5.9 胴体の動きが似ているか 5.3 6.1 腕の動きが似ているか 4.2 4.9 ⾜の動きが似ているか 5.0 5.9

考察 仮説1: 軌跡提⽰に対する慣れた 仮説2: 動画1, 2は⾜などの動きが⽬⽴つ 振り付けであったことから，軌跡を 提⽰した場合でも軌跡に⽬が 腕の動きが似ているか 向かなかった可能性がある

考察 仮説1: 軌跡提⽰に対する慣れた 仮説2: 動画1, 2は⾜などの動きが⽬⽴つ 振り付けであったことから，軌跡を 提⽰した場合でも軌跡に⽬が 腕の動きが似ているか 向かなかった可能性がある

考察 仮説1:軌跡提⽰に対する慣れた 仮説2:軌跡を提⽰した場合でも動画1, 2は⾜などの動きが⽬⽴つ振り付けであったことから， 軌跡に⽬が向かなかった可能性がある 実験動画の作成⼿順 腕の動きが似ているか

今後の展望 • 提⽰⽅法の⾒づらい点の改善 • どのような振り付けに対して⼿の軌跡の効果が出やすい/出にくいのか調査 →複数の振り付けのパターンを⽤いた上で，何を意識して振り付けを覚えたか， 振り付けの重要だと思う点について回答をしてもらう

まとめ • ⽬的 ⾒本のダンス動画に情報を付与することによって動きの習得を⽀援する • 実験 軌跡提⽰なし，ありの2つのグループに分け，提案⼿法の影響を調査 • 結果 後半の動画になるにつれて，軌跡提⽰ありグループの⽅が腕の動きの 評価値が⾼くなった