605 Views
December 13, 23
スライド概要
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
ダンスの切れ⽬と動きを考慮した 軌跡付与画像による振り付け習得⽀援 明治⼤学 中村瞭汰,中村聡史
背景・問題 • 踊ってみた動画が流⾏している • ダンス動画を⾒て練習する⼈が多い →しかし,ダンス初⼼者が動画から振り付けを 理解し,真似することは容易ではない
理解が難しい動きの例 ⾒本 間違いの例
理解が難しい動きの例 ⾒本 間違いの例
理解が難しい動きの例 ⾒本の動き: 「⼿を体に沿って肩の位置まで 上げて横に伸ばす」 ⾒本の動き 間違った動き: ⾒本を「⼿を肩の横に出す」と理解し, 再現した動き 間違った動き
理解が難しい動きの例 ⾒え⽅の違い ⾒本の動き: すっきりした動き 間違った動き: ぼやけた動き ⾒本の動き 間違った動き
関連研究 指導者の動きを撮影し,練習者の⾝⻑に合わせた ボーン情報に変形したものを重ねて提⽰ [Fujimotoら, 2012] Fujimoto, M., Tsukamoto, M. and Terada, T.. A Dance Training System that Maps Self-Images onto an Instruction Video. The Fifth International Conference on Advances in Computer-Human Interactions, 2012, p. 309-314.
関連研究 このシステムは振り付けを覚える段階よりも, 覚えた振り付けを練習する段階で効果的だった Fujimoto, M., Tsukamoto, M. and Terada, T.. A Dance Training System that Maps Self-Images onto an Instruction Video. The Fifth International Conference on Advances in Computer-Human Interactions, 2012, p. 309-314.
関連研究 • VRなどを⽤いたダンスの練習⽀援に関する 研究が多い • ダンス習得⽀援システムの多くが持ち運びが 難しく,実際の練習環境で⽤いることが難しい [Rahebら,2020] Raheb, K., Stergiou, M., Katifori, A. and Ioannidls, Y.. Dance Interactive Learning Systems: A Study on Interaction Workflow and Teaching Approaches. ACM Computing Surveys, vol. 52, no. 50, p. 1-37.
関連研究 ⾒本のダンスの動画にオノマトペの⽂字を 付与して,振り付けのニュアンスを伝えやすくする [斎藤ら, 2020] Raheb, K., Stergiou, M., Katifori, A. and Ioannidls, Y.. Dance Interactive Learning Systems: A Study on Interaction Workflow and Teaching Approaches. ACM Computing Surveys, vol. 52, no. 50, p. 1-37.
関連研究 オノマトペは動きの緩急を表すことには 適しているが,動き⽅の違いを表すことは難しい Raheb, K., Stergiou, M., Katifori, A. and Ioannidls, Y.. Dance Interactive Learning Systems: A Study on Interaction Workflow and Teaching Approaches. ACM Computing Surveys, vol. 52, no. 50, p. 1-37.
⽬的 ⾒本のダンス動画に情報を付与することによって 動き⽅の習得を⽀援する
過去の研究 ⾒本のダンス動画に対して,⼿の軌跡を 付与することでダンスの習得に影響するか調査 中村 瞭汰, 藤原 優花, 古市 冴佳, 中村 聡史. ⾒本のダンス動画に対する⼿の軌跡の付与が動きの習得に 及ぼす影響の調査, 情報処理学会 研究報告 ヒューマンコンピュータインタラクション(HCI), Vol.2022-HCI-198, No.11, pp.1-8, 2022
過去の研究 腕の動きが似ているか 中村 瞭汰, 藤原 優花, 古市 冴佳, 中村 聡史. ⾒本のダンス動画に対する⼿の軌跡の付与が動きの習得に 及ぼす影響の調査, 情報処理学会 研究報告 ヒューマンコンピュータインタラクション(HCI), Vol.2022-HCI-198, No.11, pp.1-8, 2022
過去の研究 考察: 動画1, 2に関しては腕の動きよりも⾜などの動きの 印象が強く,あまり腕の動きが注視されなかった
過去の研究 過去の研究では,動画上に軌跡を描画していた →動画と共に動く軌跡を認識する必要がある 画像に軌跡を描画した⽅が軌跡を把握しやすく, 動きの理解に役⽴つのではないか
⽬的 把握したい動きを複数枚の画像にし, 軌跡付与して並べたものがダンスの習得に 役⽴つか調査する
システム概要 1. 振り付けの切れ⽬となる箇所(緑のフレーム)を事前に 著者が選定 2. ユーザが選択した箇所(オレンジのフレーム)の 前20フレーム,後ろ60フレームの範囲にある 緑のフレームを抽出 3. 緑のフレームにその前の15フレーム分の⼿の軌跡を 描画
システム動画
実験 実験で⽤いるダンス動画: AIST Dance Video Databaseから,腕の動きに ⽬が向きやすい動画を2本選定 実験協⼒者: ダンスを習っていた経験が5年以下の 社会⼈,⼤学⽣(男性5名,⼥性10名)
実験 実験の流れ: 実験開始〜5分 動画を繰り返し⾒てもらう 振り付けの流れや難しい箇所を探す時間 5分〜20分 実際に踊る,画像化の機能を使っても良い 分かりずらい,難しいと思った動きから解決する ように指⽰
実験 振り付けに関する質問 • 難易度 • 難しいと感じた点 • どのくらい習得できたか システムに関する質問 • 動きがわかりやすく・わかりにくくなった例 • 習得のしやすさ
結果 振り付けの難易度: 動画1の平均点3.66 動画2の平均点4.00 ダンス初級者(ダンス歴4年未満) →動画1の⽅が難しいと評価 ダンス中級者(ダンス歴4年以上) →動画2の⽅が難しいと評価
結果 振り付けの難しかった箇所: 動画1については 細かい動きや速い動きが難しかった 動画2については 滑らかな動きが難しかった
結果 システムに対する感想: 良かった点 • ⼿の軌道が⾒えやすかった • 動きが分割されていることで1つ1つの動きを 理解しやすかった
結果 システムに対する感想: 悪かった点 • 体が横向きになったときの⼿の動きが 分かりづらい • ⾃分が⾒たいフレームが表⽰されていない • 選択した箇所がどこに表⽰されているのかが 分かりにくい
結果 ある実験協⼒者のシステム使⽤ログ: わからない箇所をピンポイントで確認している
考察 振り付けの難易度:平均点に差なし 難しい要因は異なる 初級者,中級者で評価の差 ダンス中級者は振り付けの分割が⾝についている 動画1:分割が容易な細かい動きが多い 動画2:分割が難しい滑らかな動きが多い
考察 システムの良かった点 • ⼿の軌道が⾒えやすかった • 動きが分割されていることで1つ1つの動きを 理解しやすかった →システムの⽬的通りに腕の動きの習得⽀援が できていると考えられる
考察 システムの悪かった点 • ⾃分が⾒たいフレームが表⽰されていない • 選択した箇所がどこに表⽰されているのかが 分かりにくい →システムで表⽰される画像に選択箇所が 含まれない場合があった
考察 選択したフレームがオレンジ⾊のフレームのとき, 表⽰される画像は緑⾊のフレームであった
今後の展望 得られた意⾒をもとにシステムを改善し, 実際にユーザに振り付けを習得して踊ってもらい, 振り付けの習得度を評価する
まとめ 背景・問題: 初⼼者がダンスを動画から学ぶの難しい 実験: システムを⽤いて振り付けを理解してもらい, 使⽤感をユーザに評価してもらう 結果・考察: システムの狙い通りの感想が得られた 展望: 選択箇所も提⽰画像に含むように改善し,ユーザに踊って もらった際の習得度を評価する