バンド編曲に向けたギター音源からベース音源を生成するCNNモデル
>100 Views
October 11, 24
スライド概要
日本大学 文理学部 情報科学科 北原研究室。 「Technology Makes Music More Fun」を合言葉に、音楽をはじめとするエンターテインメントの高度化に資する技術の研究開発を行っています。
関連スライド
各ページのテキスト
バンド編曲に向けたギター音源から ベース音源を生成するCNNモデル 北原研 香西智雄
背景 ギターリストの中にはギターで作曲を楽しむ人が居る。 だが、編曲するとなると、人と音楽知識を要する。 そこで知識いらずで自動バンド編曲してくれるシステムが あればいいな。 パソコンを通して、バンド編曲
研究概要 今回は、ギターの音響信号から、ベースの音響信号の生成 を取り扱うことにする。 入力 出力 モデル ベースonly
CNN フィルター層 逆フィルター層 特徴量 フーリエ変換 圧縮 復元 特徴量抽出 予測結果 フーリエ変換 一致するよう学習する
データセット 作成に用いたソフト Cakewalk By BandLab ビート 八分音符のみ BPM 120 小節数 4(8秒) 学習データ数 10曲 テストデータ数 11曲(1曲のみ、実演奏) 実際のデータセット内の音源の楽譜
実験目的・実験条件 特徴量抽出手法を変えて、設定した条件ごとの予測結果を 比較する。 特徴量抽出手法 条件 学習データ テストデータ 1 短時間フーリエ変換(STFT) 1 Cakewalk Cakewalk 2 メルスペクトログラム(Mel) 2 Cakewalk Cakewalk(ローパスフィルタ適用) 3 クロマグラム(Chorma) 3 Cakewalk 実演奏 評価基準 正解音源と予測音源の基本周波数の一致度合い(正解率) 。
実験結果:条件1 入力データ guitar音源 bass音源 STFT 復元音源 正解率:0.70 コード進行:AmFGC Mel 復元音源 正解率:0.54 Chroma 復元音源 正解率:0.79
- https://drive.google.com/file/d/1-Ljl_SfCi9OmbDqhNDECvCk6nmE36GuX/view?usp=share_link
- https://drive.google.com/file/d/1-H4rTQzo00gOb-lLyOEw-7TOpyNfWsY6/view?usp=share_link
- https://drive.google.com/file/d/1-5qEZNyJN9FklOEP96G2eBHpl-Ndkzrr/view?usp=share_link
- https://drive.google.com/file/d/1EPxvg1DqG5jRc91SiRnduMWIWzd2viH7/view?usp=share_link
- https://drive.google.com/file/d/1UWvAMT8REWCtZs2sGz5z8Af-NsJlchuv/view?usp=share_link
実験結果:条件2 入力データ コード進行:A#CDmEm guitar音源 bass音源 STFT Mel Chroma 復元音源 復元音源 復元音源 正解率:0.29 正解率:0.26 正解率:0.58
- https://drive.google.com/file/d/10k4XeGICDxZrh3FAL1Xdq5AAtMKNUm5Z/view?usp=share_link
- https://drive.google.com/file/d/11R9z7zI8uPk8rfqI0c-aOEiK2ukKDtYn/view?usp=share_link
- https://drive.google.com/file/d/117zkvQk3dGErvB0pcvkPPyJZ1em9mnvj/view?usp=share_link
- https://drive.google.com/file/d/1WFpl-HijlRAipJJbaqCJ0mrcmznI2EuN/view?usp=share_link
- https://drive.google.com/file/d/1yQd5mhuC6KebkFHnx1Oh3a6LGaWwTkPs/view?usp=share_link
実験結果:条件3 入力データ コード進行:CDEmAm guitar音源 bass音源 STFT Mel Chroma 復元音源 復元音源 復元音源 正解率:0.20 正解率:0.09 正解率:0.35
- https://drive.google.com/file/d/1-6CSRJN6wUbiht_tJGVNGa-isXXSjy3g/view?usp=share_link
- https://drive.google.com/file/d/1-1AZazTqM24JsOMpb_eu6rhG0N0dJxqY/view?usp=share_link
- https://drive.google.com/file/d/15YMKSsKoZbqA3_n5Zc1J52Sdky2FB19b/view?usp=share_link
- https://drive.google.com/file/d/15cnIp-vWuBHmtr6tJcmBwejhg2Rh33F2/view?usp=share_link
- https://drive.google.com/file/d/1hA_jdFRmSkP_guPJqEWq8Pn_VZ_oEH7v/view?usp=share_link
結論 CNNでギター音響信号からベース音響信号の生成を行った。 最も精度の高いモデルは、クロマグラムだった。 考察 クロマグラムは和音分析に特化しているため、うまくいった。 音源がエフェクターなどに加工されるとうまくいかない可能 性がある。 今後の課題 データセットを増やして、精度に変化が生じるか。 特徴量抽出手法の設定条件を変更し、精度に変化が生じるか。