ドラム演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化システムの提案

発表中に 音を流します⚠️ ドラム演奏の音量バランス習得に向けた 音源分離を用いた リアルタイム叩打音量可視化システムの提案 こうだ 明治大学大学院 M１ 細谷美月 中村聡史（明治大学） 森勢将雅（明治大学） 吉井和佳（京都大学）

概要 小 中 大 ドラム演奏の上達に重要な 理想的な音量バランスの習得のために マイクで入力したドラム演奏から 各楽器の音量を音源分離を用いて推定し 音量バランスをリアルタイムに可視化して提示するシステムを提案

背景 ドラムは 複数の楽器の組み合わせで成り立っている ミドルトム ハイトム クラッシュシンバル ライドシンバル ハイハット ロートム スネアドラム バスドラム

背景 使用頻度が高く、演奏の中心となる バスドラム(BD)・スネアドラム(SD)・ハイハット(HI)を まとめて「３点」と呼ぶ

背景 使用頻度が高く、演奏の中心となる バスドラム(BD)・スネアドラム(SD)・ハイハット(HI)を まとめて「３点」と呼ぶ バスドラム （BD）

背景 使用頻度が高く、演奏の中心となる バスドラム(BD)・スネアドラム(SD)・ハイハット(HI)を まとめて「３点」と呼ぶ スネアドラム バスドラム （BD） （SD）

背景 使用頻度が高く、演奏の中心となる バスドラム(BD)・スネアドラム(SD)・ハイハット(HI)を まとめて「３点」と呼ぶ ハイハット （HI） スネアドラム バスドラム （BD） （SD）

背景 複数楽器を同時に演奏するドラムの上達において 音量バランス が重要 ＝基本リズムでの演奏において、 ３点の音量をどのようなバランスで演奏するか ８ビート １６ビート

背景 複数楽器を同時に演奏するドラムの上達において 音量バランス が重要 HIが大きい →抑揚がない演奏 BDが小さい →安定感のない演奏

背景 ドラム演奏者は 理想的な音量バランス の習得を目指す BD＞SD＞HI ハイハット 小 （HI） スネアドラム 大 バスドラム （BD） （SD） 中

背景 ドラム演奏者は 理想的な音量バランス の習得を目指す BD＞SD＞HI まとまりのある いいドラム演奏 ハイハット 小 （HI） スネアドラム 大 バスドラム （BD） （SD） 中

背景 理想的な音量バランスの習得には “自分の演奏の音量バランスを理解すること”が重要 現状を理解しないと 改善できないため HI 大 SD 中 BD 小

背景 自力で自分の音量バランスを理解することは難しい スクールなど習う機会がある人は 客観的に指摘してもらえる 自力で練習する場合は 客観的に自分の演奏を判断できない ハイハット 下げた方が 良いよ 分身しない限り 不可能である

背景 録音によって確かめる方法はあるけど… 時間や手間がかかる！ 各楽器にマイクを設置し、波形を見ながら演奏 スマートフォンなどで 演奏を録音→聴く→反省→演奏… バスドラ 大きく しよう…

背景 自力で音量バランスを習得することは大変 • 客観的に自分の演奏を聴くことができないため 現在の音量バランスが分からない • 時間や手間がかかる

関連研究 ドラム練習支援の研究は様々あるが 生ドラムの音量バランス に着目したものは少ない • 聴覚フィードバックでスネアのタイミングやストロークを制御し 演奏動作を矯正するシステム[池之上 2012] • 両手首足首に装着したデバイスからの触覚フィードバックで 複雑なドラムパターンを習得するシステム[Simon 2010] • MIDI（電子）ドラム演奏の音の強弱やテンポの変動を演奏時に可視化 [安井 2015]

目的 ドラム演奏者が生ドラムで 自力で理想的な音量バランスを 容易かつ効率的に習得できる仕組みを実現すること

目的達成のために必要なこと 自分のドラム演奏を客観的に聴いた時の音量バランスを ドラム演奏者にリアルタイムに伝えること HI 大 SD 中 BD 小

提案手法 １本のマイクから認識したドラム演奏を BD・SD・HIに音源分離し その結果から求めた音量バランスを リアルタイムに可視化してフィードバックするシステム ドラム正面から離れた位置

提案手法 １本のマイクから認識したドラム演奏を BD・SD・HIに音源分離し その結果から求めた音量バランスを リアルタイムに可視化してフィードバックするシステム ドラム正面から離れた位置

ドラム音量バランス 習得システム 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

準備 ドラム正面から離れた位置にマイク1本 ドラムから見える位置にパソコンを設置し オーディオインタフェースで接続 パソコン オーディオ インタフェース ダイナミック マイク ドラム正面から離れた位置 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

起動・設定 パソコンからシステムを起動し 目標の音量バランス・演奏するテンポを設定する 目標音量バランス HI : 20％ SD: 30％ BD: 50％ テンポ BPM60 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

演奏開始 設定したテンポで演奏する 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 マイク入力波形 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 マイク入力波形 システム 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 HI マイク入力波形 システム 音源分離波形

準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 HI SD マイク入力波形 システム 音源分離波形

準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 HI SD BD マイク入力波形 システム 音源分離波形

準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 NMF （非負値行列因子分解） • • ＋ SSNMF （半教師ありNMF） 非負値の行列を、２つの非負値の行列へ分解するアルゴリズム 音声データのスペクトログラム行列（周波数×時間情報）が 基底行列（周波数）とアクティベーション行列（時間）に分解できる特性を利用 HI音源 基底 W ドラム音源 分離音源 V 詳しくは 論文を ご覧下さい！

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD BD 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 前後125ms 各楽器の叩打音の ピークの前後125ms分の RMS値（人の聴こえ方を考慮した音量値） の平均を音量として算出 HI SD ｜ 振 幅 ｜ ピーク BD 参考：騒音計のFast特性における 時定数（計算間隔）が125ms

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD 算出された RMS値 𝑅𝑀𝑆𝐻𝐼 𝑅𝑀𝑆𝑆𝐷 BD 𝑅𝑀𝑆𝐵𝐷 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD BD 算出された RMS値 音量バランス 𝑅𝑀𝑆𝐻𝐼 𝑅𝑀𝑆𝐻𝐼 𝑅𝑀𝑆𝐻𝐼 + 𝑅𝑀𝑆 + 𝑅𝑀𝑆𝐵𝐷 % 𝑅𝑀𝑆𝑆𝐷 𝑅𝑀𝑆SD 𝑅𝑀𝑆𝐻𝐼 + 𝑅𝑀𝑆 + 𝑅𝑀𝑆𝐵𝐷 % 𝑅𝑀𝑆𝐵𝐷 𝑅𝑀𝑆BD 𝑅𝑀𝑆𝐻𝐼 + 𝑅𝑀𝑆 + 𝑅𝑀𝑆𝐵𝐷 % 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD BD 算出された RMS値 𝑅𝑀𝑆𝐻𝐼 人が演奏を聴いて判断する 音量バランスと 結果が対応しない 音量バランス 𝑅𝑀𝑆𝐻𝐼 𝑅𝑀𝑆𝐻𝐼 + 𝑅𝑀𝑆 + 𝑅𝑀𝑆𝐵𝐷 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 % 10:30:60 𝑅𝑀𝑆𝑆𝐷 𝑅𝑀𝑆SD 𝑅𝑀𝑆𝐻𝐼 + 𝑅𝑀𝑆 + 𝑅𝑀𝑆𝐵𝐷 % 𝑅𝑀𝑆𝐵𝐷 𝑅𝑀𝑆BD 𝑅𝑀𝑆𝐻𝐼 + 𝑅𝑀𝑆 + 𝑅𝑀𝑆𝐵𝐷 % 20:30:50

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD BD 算出された RMS値 人が判断する 人が判断する音量バランスへ 音量バランスへ チューニング チューニング 𝑅𝑀𝑆𝐻𝐼 × 𝝎𝑯𝑰 𝑅𝑀𝑆𝑆𝐷 × 𝝎𝑺𝑫 𝑅𝑀𝑆𝐵𝐷 × 𝝎𝑩𝑫 補正値 …今回は主観で、 𝝎𝑯𝑰 =5, 𝝎𝑺𝑫=1, 𝝎𝑩𝑫=0.5と設定 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD BD 算出された RMS値 人が判断する 人が判断する音量バランスへ 音量バランスへ 音量 チューニング チューニング 𝑅𝑀𝑆𝐻𝐼 × 𝜔𝐻𝐼 = 𝐴𝑚𝑝𝐻𝐼 𝑅𝑀𝑆𝑆𝐷 × 𝜔𝑆𝐷 = 𝐴𝑚𝑝𝑆𝐷 𝑅𝑀𝑆𝐵𝐷 × 𝜔𝐵𝐷 = 𝐴𝑚𝑝𝐵𝐷 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

音量バランス推定 マイクで入力したドラム演奏を HI・SD・BDに音源分離 ↓ 各楽器の分離音源から音量を推定→音量バランスを算出 HI SD 算出された RMS値 𝑅𝑀𝑆𝐻𝐼 𝑅𝑀𝑆𝑆𝐷 BD 𝑅𝑀𝑆𝐵𝐷 人が判断する 人が判断する音量バランスへ 音量バランスへ 音量 チューニング チューニング × × × 𝜔𝐻𝐼 𝜔𝑆𝐷 𝜔𝐵𝐷 = = = 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 音量バランス 𝐴𝑚𝑝𝐻𝐼 𝑨𝒎𝒑𝑯𝑰 𝑨𝒎𝒑𝑯𝑰 + 𝑨𝒎𝒑𝑺𝑫 + 𝑨𝒎𝒑𝑩𝑫 % 𝐴𝑚𝑝𝑆𝐷 𝑨𝒎𝒑𝑺𝑫 𝑨𝒎𝒑𝑯𝑰 + 𝑨𝒎𝒑𝑺𝑫 + 𝑨𝒎𝒑𝑩𝑫 % 𝐴𝑚𝑝𝐵𝐷 𝑨𝒎𝒑𝑩𝑫 𝑨𝒎𝒑𝑯𝑰 + 𝑨𝒎𝒑𝑺𝑫 + 𝑨𝒎𝒑𝑩𝑫 %

音量バランスの可視化 算出された音量バランスの可視化をフィードバック 客観的な音量バランスを知ることができる 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化 次にお見せする動画の途中から 音が流れます⚠️

音量バランスの可視化 設定した目標に可視化が近づくように演奏することで 目標の音量バランスを習得できる 目標に比べて HIが大きく、BDが小さい！ HIを小さく BDを大きくしなきゃ 準備 ↓ 起動・設定 ↓ 演奏開始 ↓ 音量バランス推定 ↓ 音量バランスの 可視化

実験 実験概要： 実際にシステムを使用しながらドラム演奏をしてもらう 実験目的： システムの改善点やフィードバックを得るため 実験協力者： ドラム歴が5年以上の20代の男性4名

実験：手順 実験やシステムの説明・指示 • 「目標音量バランスを設定し、 そのバランスを目指しながら演奏して下さい」 • 「（可視化結果が）設定した音量バランスになったと確認できた後、 4小節以上叩いてから演奏を終了してください」

実験：手順 システムを使用しながら演奏 • 設定した目標の音量バランスを目指して演奏 • （可視化結果が）設定した目標の音量バランスになったと確認できた後、 4小節以上叩いてから演奏を終了 演奏 開始 目標音量バランスに なった！ 4小節以上 演奏 終了

実験：手順 システムを使用しながら演奏 • 設定した目標の音量バランスを目指して演奏 • （可視化結果が）設定した目標の音量バランスになったと確認できた後、 4小節以上叩いてから演奏を終了 ↓ 演奏 開始 目標音量バランスに なった！ 4小節以上 システムに関する評価・アンケート • 演奏の終盤の録音を聴き、目標の音量バランスで叩けたか評価 • システムに関するアンケートに回答 演奏 終了

実験：アンケート 質問内容 回答方式 Q1 システムの満足度 5段階評価 （-2～2） Q2 今後システムを使用したいか 5段階評価 （-2～2） Q3 （録音を聴いて） 設定した音量バランスで演奏できたか 5段階評価 （-2～2） Q4 システムを使用した感想 自由記述

結果： Q1・Q2・Q3への回答（-2〜2の5段階評価） 実験協力者 Q1 システムの 満足度 Q2 今後システムを 使用したいか Q3 設定した音量バランスで 演奏できたか A 1 2 1 B 1 0 2 C 0 1 1 D 1 1 1 平均 0.75 1 1.25 評価値の平均は全て正の値となった

結果：Q3「システムを使用した感想」への回答より システムに対する肯定的な意見 分類 精度 可視化方法 回答内容 演奏（の音量バランスが）反映されていてすごいと思った わざと大きくしたり小さくしたり叩いたのが反映されていた 意図的に音量バランスを変えた後、すぐ（可視化に）反映された 自分の演奏について客観的に分析することができ、参考になった 自分の音量バランスを、具体的な数値やグラフで確認することができた 感想 客観的な数字で自分の音量バランスを見れて良かった 相対的に、この楽器が小さいのだなというのが分かって良かった テンポに気をつけながら音量バランスを意識する練習になった （リズムを）正確にする以外にも、割合を意識して叩くことは重要だと思った

結果：Q3「システムを使用した感想」への回答より システムに対する肯定的な意見 分類 回答内容 演奏（の音量バランスが）反映されていてすごいと思った 精度 わざと大きくしたり小さくしたり叩いたのが反映されていた 可視化方法 意図的に音量バランスを変えた後、すぐ（可視化に）反映された 自分の演奏について客観的に分析することができ、参考になった 自分の音量バランスを、具体的な数値やグラフで確認することができた 感想 客観的な数字で自分の音量バランスを見れて良かった 相対的に、この楽器が小さいのだなというのが分かって良かった テンポに気をつけながら音量バランスを意識する練習になった （リズムを）正確にする以外にも、割合を意識して叩くことは重要だと思った 演奏が反映されていた・客観的に演奏を分析できた という意見が得られた

考察 アンケート評価値は全て正の値 ＋ システムへの肯定的な意見が得られた ↓ 提案手法で目標音量バランスを習得できる可能性が示唆された

結果：Q4「システムを使用した感想」への回答より システムに対する改善点に関する意見 分類 回答内容 スネアを強く叩いても、反映されてない感じがした バスドラムが（実際の大きさより）大きく表示されている気がした 自分の演奏と表示が大まかには連動していたが、細かく変化させた時に連動していないよう に感じることがあった 精度 叩いているのに0％になってしまうことがあった SDとBDが混同して結果がでてしまっていると感じたことがあった 音色に左右されてしまう気がした（リムの有無・叩く角度） テンポをあげる（早くする）と精度が落ちる気がした 精度の高さが十分でないという意見が多く得られた

結果：Q4「システムを使用した感想」への回答より システムに対する改善点に関する意見 分類 可視化方法 回答内容 バランスでなく、個々の楽器の音量が見れると良いと感じた UI （音量バランス設定について）100％だとどちらかを上げるとどちらかを下げることになるた め、比率を自由に入力できるようにしてもいいのかなと思った （BPM変更ノブについて）マウスだと値がスムーズに設定できなかったので、 PCの矢印キーで設定できたらいいなと思った 難しさ メトロノームのテンポを意識しながら、可視化を見て演奏の音量を調整するのが難しかった 使いやすさ 感想 少しシステムを使って慣れないと、どのぐらい演奏を変えたら音量バランスの表示に反映さ れるかわからなかった 普段邦ロックを叩くことが多く、オープンハイハットや早い曲調が多いため、 そこが対応できれば、より使いたいと思う バンド全体（他の楽器と合わせている場合）での音量バランスも知りたい

考察 システムの改善点に関する意見が様々得られた ↓ これらの意見をふまえて、今後改善していく必要がある

システムの改善点：可視化方法 音量バランスを割合で示すのではなく、個々の音量が見たい 音量バランスを割合で示すのではなく、個々の音量が見たい →折れ線グラフで各楽器の音量変化の経過を確認できる手法など 他の可視化方法も検討

システムの改善点：精度 SDを大きく叩いても結果に反映されていないと感じた 細かく音量を変化させると、反映されていないと感じた 叩いてるのに0％になることがあった BDが実際より大きく表示されている気がした 20:30:50 15:25:60 など 精度に関する多くの意見がみられた 8:24:68 →主観でチューニングを行ったことが原因 →複数人に、ドラム演奏を聴き音量バランスを判断してもらう実験を行い システムで算出した音量バランスと対応するようなチューニング方法を 調査し、システムに適用する

今後の展望 フィードバックを元に より容易・効率的な音量バランス習得が可能なシステムへ改善 • 適切な音量バランスの計算手法を調査 実際に人が判断する音量バランスと対応するようなチューニング方法 • 適切な可視化方法について調査 • 今回のような棒グラフ • 折れ線グラフで経過を表示

まとめ 背景： 理想的な音量バランス（BD＞SD＞HI）で叩くことはドラム上達に重要 しかし、自分の音量バランスがわからない・時間や手間がかかる問題がある 目的： 理想的な音量バランスを容易・効率的に習得したい 提案手法： マイク1本から認識したドラム演奏をBD・SD・HIに音源分離し それぞれの音量を計算して求めた音量バランスを リアルタイムに可視化して提示するシステム