振りのタイミングを評価するダンス練習システム

振りのタイミングを評価する ダンス練習システム 北原研究室4年杉浦磨矢

研究背景 新型コロナウイルス感染症の影響により外出ができない，都市部か ら離れていて，都市部の有名な先生のダンスレッスンが受ける事が できないという問題がある．

研究背景 動画でのダンス練習や，オンライン練習では • 自分の姿が見えない，（鏡などがない） • 自分が音に合っているかがわからない（評価してくれる人がいな い） など課題が多い．

研究の目的 ダンサーの踊っている動画，振り付け動画2つを読み込み 自分一人でも，ダンスの上達ができるような環境，システムを作る．

研究の意義 • 自宅でもダンススタジオと同じようにダンスを楽しむことができ る． • 講師とは直接会わなくても，講師が生徒に振り付けを伝えること ができる． • 自分の好きなダンサーが躍っている動画から練習が可能である．

想定する システム の使用方 法

研究を達成するために • 人の動きを推定するのにopenpose という深層学習によ る技術を使用する． • 実装はpythonのTkinterというGUIツールを用いて、システムを作 成した．

Openpose とは？ ■ 人物の骨格を深層学習（ディープラー ニング）で推定するシステムである． ■ 画像や動画から3次元的に身体の動きを 検出することができる． ■ 画像や動画内に複数の人がいても、リ アルタイムに検出可能である．

Openposeを使用する理由 • 従来のモーションキャプチャーの技術だと一つのカメラで実現す る事は難しかったり，特別なカメラが必要である． • しかし，Openposeでは普段利用するパソコンのカメラやスマー トフォンのカメラで利用することができる．

関連研究１ A Virtual Reality Dance Training System Using Motion Capture Technology （Jacky C.P. Chan, Howard Leung, Jeff K.T. Tang,and Taku Komura，IEEE, Vol.4, No.2, pp.187-195） • モーションキャプチャーとVRを使ったダンストレーニングシステ ム • 関節の位置の違いによってフィードバックを返す． • 振りの形を意識したフィードバック

関連研究２ 仮想社交ダンスインストラクターの構築（黄 宏軒, 上亟 正 樹, 関 優樹, 李 周浩, 川越 恭二，人工知能学会論文誌/28 巻 (2013) 2 号/書誌 • 社交ダンスを取り上げた教示システムである． • 学習者の動作入力にモーションキャプチャを利用し，入力された 動作データを分析する． • 結果を会話エージェントによる教示に利用されている．

関連研究３ ユーザーの習熟度に合わせた初心者向けダンス 学 習支援システム （西脇絵里子，小野澤理紗，北原鉄朗第76回全国大会講演論文集 2014） • Kinectを用いたダンス練習の支援をしてくれるシステムである． • ダンスで使うダウンやサイドステップという基礎の練習をおこな うことができる． • ユーザーに音声でタイミングや形の違いをフィードバックする．

従来研究との違い • 関連研究1の場合，振り付けのタイミングを判定するのではなく， 躍っているダンスの形をより正確にするということを支援している研究で ある． →本システムは振り付けのタイミングを判定することに重きを置いている． 振り付けによってどこが遅いのか速いのかを理解できる．

従来研究との違い • 関連研究2,3の場合，ダンスのタイミングを判定することは可能である． • しかし，振り付け一つ一つを後から見てタイミングが早い，遅いなど詳 細なことはわからない． →本システムは振り付けを一つ一つ分けてタイミングを判定することがで きる．

システム詳細 1. 振り付けをゆっくり確認する(自分の姿がみえる) 2. 踊る(見本の人と一緒に踊れる) 3. 自分の踊りをゆっくりと確認する 4. 形よりも振りのタイミングの違いをシステムの判定でフィードバ ック、踊った動画を見直すことができる

システムのデモ https://drive.google.com/file/d/1vD_7ENLe4e6Ut Tnmr8tr1b4kUnN3CtIa/view?usp=sharing

• https://drive.google.com/file/d/1vD_7ENLe4e6UtTnmr8tr1b4kUnN3CtIa/view?usp=sharing

振り付けをゆっくり確認するモード１ • 振り付けをゆっくり踊ったカウ ント動画見ることができる． • 自分の姿も確認できるように撮 影しながら確認が行える．

実際に踊るモード２ • 振り付けを実際の音楽に合わせて踊 るモードである． • 音楽と同時に見本の躍っている姿を 見ることができる． • 自分の姿を撮影した画面で確認しな がら踊ることができる．

自分の踊りをゆっくりと確認するモード３ • このモードでは，openposeを使い分析を 行う． • ”実際に踊るモード”で踊った自分の姿をゆ っくりと確認することができる． • 体の向きや細かい振り付けをゆっくり見る ことで新たに練習する時に役立たせます．

フィードバックにより自分の踊りを改善する モード４ • 各フレームごとにシークバーで自分の踊りを細かく止 まってみることができるモードである． • 各振り付けにとべるようにボタンが設置されている． • また，タイミングの判定のフィードバックとして，振 り付けのタイミングがあっている場合は青色になる． • 間違っている場合は，赤色にボタンの色が変わる．

タイミングの判定の詳細 • 使用者が見本と比べ，振り付けのタイミングが速い， 遅いまたは丁度であることをフィードバックする． • 撮影した動画データを元に，openposeにより記録され た体の関節24個のポイントの座標データを使用する．

タイミングの判定の詳細

評価実験 • 振りがタイミングにあっているかを分析する評価を行った． • 被験者二名に協力をしてもらった． • 指標として，システムの正確性と網羅性の観点から評価するため に使われる適合率と再現率を用いた．

評価実験 被験者2には場所と状況を変えて再度実験を行った． 1. 振り付け作成者が自身で踊りを教えて，踊ってもらった場合． 2. 振り付けを覚えていない状態から思い出している途中に撮影を行 った場合．

実験結果１ • 再現率が高く，適合率が低いといった結果が出ている． • 適合率の値が低い原因はミスが少なかったためではないかと予想 される．

実験結果２ • 場所や状況を変えて再度実験を行ってもらった． • 足が映っていないとこがあったので映るように． • 振り付けを覚えていない状態から思い出している途中に撮影を行 ったため，振り付けを間違える頻度が高かった．

実験結果２ • 不正解を不正解だと判定することが多くなった． • その為，正解を誤って，不正解と判定してしまう割合が減った． 結果 • 適合率の値が上がった． • 正解の多さで適合率の値は変わってくる．

考察 • 被験者2人の中では，再現率が高く，適合率が低いということに おいて人が変わることによっての影響はあまり見られなかった． • 振り付けによって精度が変わってしまうことがあり，前後に動い てカメラとの距離が変わってしまうようなところに多く見られた． • カメラとの距離や角度を変えることが精度へ影響してくるのでは ないかという予想ができる．

考察

今後の課題 • システムとして被験者に使ってもらい振付の上達を測る実験は行 うことができなかったのでその評価を行う． • また，カメラの角度や距離によっても精度が落ちてしまう． • その為そのような場合でも精度を上げることができるように取り 組む．

終わり