ダンスの切れ目と動きを考慮した軌跡付与画像による振り付け習得支援

ダンスの切れ⽬と動きを考慮した 軌跡付与画像による振り付け習得⽀援 明治⼤学 中村瞭汰，中村聡史

背景・問題 • 踊ってみた動画が流⾏している • ダンス動画を⾒て練習する⼈が多い →しかし，ダンス初⼼者が動画から振り付けを 理解し，真似することは容易ではない

理解が難しい動きの例 ⾒本 間違いの例

理解が難しい動きの例 ⾒本 間違いの例

理解が難しい動きの例 ⾒本の動き: 「⼿を体に沿って肩の位置まで 上げて横に伸ばす」 ⾒本の動き 間違った動き: ⾒本を「⼿を肩の横に出す」と理解し， 再現した動き 間違った動き

理解が難しい動きの例 ⾒え⽅の違い ⾒本の動き: すっきりした動き 間違った動き: ぼやけた動き ⾒本の動き 間違った動き

関連研究 指導者の動きを撮影し，練習者の⾝⻑に合わせた ボーン情報に変形したものを重ねて提⽰ [Fujimotoら, 2012] Fujimoto, M., Tsukamoto, M. and Terada, T.. A Dance Training System that Maps Self-Images onto an Instruction Video. The Fifth International Conference on Advances in Computer-Human Interactions, 2012, p. 309-314.

関連研究 このシステムは振り付けを覚える段階よりも， 覚えた振り付けを練習する段階で効果的だった Fujimoto, M., Tsukamoto, M. and Terada, T.. A Dance Training System that Maps Self-Images onto an Instruction Video. The Fifth International Conference on Advances in Computer-Human Interactions, 2012, p. 309-314.

関連研究 • VRなどを⽤いたダンスの練習⽀援に関する 研究が多い • ダンス習得⽀援システムの多くが持ち運びが 難しく，実際の練習環境で⽤いることが難しい [Rahebら，2020] Raheb, K., Stergiou, M., Katifori, A. and Ioannidls, Y.. Dance Interactive Learning Systems: A Study on Interaction Workflow and Teaching Approaches. ACM Computing Surveys, vol. 52, no. 50, p. 1-37.

関連研究 ⾒本のダンスの動画にオノマトペの⽂字を 付与して，振り付けのニュアンスを伝えやすくする [斎藤ら, 2020] Raheb, K., Stergiou, M., Katifori, A. and Ioannidls, Y.. Dance Interactive Learning Systems: A Study on Interaction Workflow and Teaching Approaches. ACM Computing Surveys, vol. 52, no. 50, p. 1-37.

関連研究 オノマトペは動きの緩急を表すことには 適しているが，動き⽅の違いを表すことは難しい Raheb, K., Stergiou, M., Katifori, A. and Ioannidls, Y.. Dance Interactive Learning Systems: A Study on Interaction Workflow and Teaching Approaches. ACM Computing Surveys, vol. 52, no. 50, p. 1-37.

⽬的 ⾒本のダンス動画に情報を付与することによって 動き⽅の習得を⽀援する

過去の研究 ⾒本のダンス動画に対して，⼿の軌跡を 付与することでダンスの習得に影響するか調査 中村 瞭汰, 藤原 優花, 古市 冴佳, 中村 聡史. ⾒本のダンス動画に対する⼿の軌跡の付与が動きの習得に 及ぼす影響の調査, 情報処理学会 研究報告 ヒューマンコンピュータインタラクション（HCI）, Vol.2022-HCI-198, No.11, pp.1-8, 2022

過去の研究 腕の動きが似ているか 中村 瞭汰, 藤原 優花, 古市 冴佳, 中村 聡史. ⾒本のダンス動画に対する⼿の軌跡の付与が動きの習得に 及ぼす影響の調査, 情報処理学会 研究報告 ヒューマンコンピュータインタラクション（HCI）, Vol.2022-HCI-198, No.11, pp.1-8, 2022

過去の研究 考察: 動画1, 2に関しては腕の動きよりも⾜などの動きの 印象が強く，あまり腕の動きが注視されなかった

過去の研究 過去の研究では，動画上に軌跡を描画していた →動画と共に動く軌跡を認識する必要がある 画像に軌跡を描画した⽅が軌跡を把握しやすく， 動きの理解に役⽴つのではないか

⽬的 把握したい動きを複数枚の画像にし， 軌跡付与して並べたものがダンスの習得に 役⽴つか調査する

システム概要 1. 振り付けの切れ⽬となる箇所（緑のフレーム）を事前に 著者が選定 2. ユーザが選択した箇所（オレンジのフレーム）の 前20フレーム，後ろ60フレームの範囲にある 緑のフレームを抽出 3. 緑のフレームにその前の15フレーム分の⼿の軌跡を 描画

システム動画

実験 実験で⽤いるダンス動画: AIST Dance Video Databaseから，腕の動きに ⽬が向きやすい動画を2本選定 実験協⼒者: ダンスを習っていた経験が5年以下の 社会⼈，⼤学⽣（男性5名，⼥性10名）

実験 実験の流れ: 実験開始〜5分 動画を繰り返し⾒てもらう 振り付けの流れや難しい箇所を探す時間 5分〜20分 実際に踊る，画像化の機能を使っても良い 分かりずらい，難しいと思った動きから解決する ように指⽰

実験 振り付けに関する質問 • 難易度 • 難しいと感じた点 • どのくらい習得できたか システムに関する質問 • 動きがわかりやすく・わかりにくくなった例 • 習得のしやすさ

結果 振り付けの難易度： 動画1の平均点3.66 動画2の平均点4.00 ダンス初級者（ダンス歴4年未満） →動画1の⽅が難しいと評価 ダンス中級者（ダンス歴4年以上） →動画2の⽅が難しいと評価

結果 振り付けの難しかった箇所： 動画1については 細かい動きや速い動きが難しかった 動画2については 滑らかな動きが難しかった

結果 システムに対する感想： 良かった点 • ⼿の軌道が⾒えやすかった • 動きが分割されていることで1つ1つの動きを 理解しやすかった

結果 システムに対する感想： 悪かった点 • 体が横向きになったときの⼿の動きが 分かりづらい • ⾃分が⾒たいフレームが表⽰されていない • 選択した箇所がどこに表⽰されているのかが 分かりにくい

結果 ある実験協⼒者のシステム使⽤ログ： わからない箇所をピンポイントで確認している

考察 振り付けの難易度：平均点に差なし 難しい要因は異なる 初級者，中級者で評価の差 ダンス中級者は振り付けの分割が⾝についている 動画1：分割が容易な細かい動きが多い 動画2：分割が難しい滑らかな動きが多い

考察 システムの良かった点 • ⼿の軌道が⾒えやすかった • 動きが分割されていることで1つ1つの動きを 理解しやすかった →システムの⽬的通りに腕の動きの習得⽀援が できていると考えられる

考察 システムの悪かった点 • ⾃分が⾒たいフレームが表⽰されていない • 選択した箇所がどこに表⽰されているのかが 分かりにくい →システムで表⽰される画像に選択箇所が 含まれない場合があった

考察 選択したフレームがオレンジ⾊のフレームのとき， 表⽰される画像は緑⾊のフレームであった

今後の展望 得られた意⾒をもとにシステムを改善し， 実際にユーザに振り付けを習得して踊ってもらい， 振り付けの習得度を評価する

まとめ 背景・問題： 初⼼者がダンスを動画から学ぶの難しい 実験： システムを⽤いて振り付けを理解してもらい， 使⽤感をユーザに評価してもらう 結果・考察： システムの狙い通りの感想が得られた 展望： 選択箇所も提⽰画像に含むように改善し，ユーザに踊って もらった際の習得度を評価する