即興演奏をコンピュータが肩代わりする： 即興演奏支援の一研究事例

即興演奏をコンピュータが肩代わりする： 即興演奏支援の一研究事例 日本大学 文理学部 情報科学科 北原 鉄朗 Twitter: @tetsurokitahara

本研究のゴール 誰もが即興演奏を楽しめるようにする 特に非音楽家（場合によっては高齢者や身障者を含む） Cmaj7 Am7 Create a melody Play it Chord progression Harmony theory Music knowledge Musical scale Do-Re-Mi Learned musical phrases

技術的な課題 ● 「こんな感じのメロディ」というあいまいな考えを あいまいなまま入力する方法 – 和声などの専門知識を必要としない ● 「こんな感じのメロディ」というあいまいな入力から 音楽的に妥当なメロディを作る方法 – いわゆる自動メロディ生成

JamSketch： 旋律概形からのメロディ生成 ユーザが描画: 旋律概形 直感的! 簡単に描ける! システムが生成: メロディ

学習の仕組み Weimar Jazz DB ニューラルネットで実現 （CNN） これを 「旋律概形」とみなす ブルースのアドリブソロの採譜データ 変換 平 滑 化

なぜCNNなのか ● 実装が楽 ● メロディの持つ拍節構造を自然に表せる 畳み込み 畳み込み

入力と出力 コード time 出力 メロディ（音符） 旋律概形 Input 入力 time

メロディ用にどのようにフィルタを設計するか 音楽（ピアノロール）は、シフト不変ではない 音高軸 時間軸 ハ長調では滅多に現れない 異なる音名には、 異なる役割がある ハ長調では最も重要な音名 強拍 弱拍 強拍と弱拍では、 音名出現の傾向が異なる

畳み込みと逆畳み込みの流れ フィルタサイズ 音高方向のシフトを防ぐ conv. フィルタサイズ conv. pitch Melodic outline ch ch Chord progression time 強拍と弱拍が入れ替わるのを防ぐ deconv. deconv. ch pitch time time Pitch (cont) Pitch time time

データセット 入力データ 出力データ 右のメロディを平滑化して得た Weimar Jazz Database から得た 96個のブルーズのメロディ 旋律概形

デモ Colabでのデモ JamSketchのデモ（実演） https://bit.ly/3zB2Tja コードはGitHubに （でもちょっと古い） Groovyにて実装 Folder

• http://kicss-2022-kitahara_material/
• https://bit.ly/3zB2Tja

現状の課題（≒今後の展望） ● 制御性の向上 – ● リアルタイム性、ユーザ体験の向上 – ● 例： 同じ概形でもおとなしいメロディ、攻めたメロディ より楽器を弾いてる感じを。旋律概形以外の入力UIの検討も 人間とのセッション – 理想的にはリアルタイムにコードとビートを認識して旋律生成 演者と観客の隔たりのない全員参加型セッションへ

まとめ JamSketch: 旋律概形に基づく即興演奏支援システム 基本コンセプト マクロな構造はユーザが、ミクロはシステムが 利用技術 畳み込みニューラルネット（CNN） 関連図書 『音楽情報処理』（コロナ社） 『音楽で身につける ディープラーニング』 （オーム社）