旋律概形を軸にした音楽研究の試み

日本音楽知覚認知学会 2023年春季研究発表会 旋律概形を軸にした音楽研究の試み 日本大学 文理学部 情報科学科 北原 鉄朗 Twitter: @tetsurokitahara

自己紹介 ● 札幌生まれ。現在、44歳 ● 小～中学時代： – ● – 情報科学科に入学し、プログラミング を本格的に学ぶ – バンド活動も本格的に行う – 4年生から、音楽情報処理の研究を 家にあったPCをいじる （当時、PCをいじる≒プログラミング） – 大学時代： 進学のため柏に引っ越す 某音楽教室でピアノや作曲を学ぶ 始める （中学からはDTMも） ● 高校時代： – バンド活動を始める – プログラミングも適当に手を出す ● ● 大学院時代： 京都の大学院に進学 – 音楽情報処理の研究を本格展開 – バンド活動はほとんど休止 その後： 関西の大学の研究員を経て、 現在、東京在住

北原研究室 ● 2010年度に日本大学文理学部に設立 ● 合言葉：「Technology Makes Music More Fun」 ● 例年のメンバー構成： – 教員： 1名、 臨時職員：数名 – M2： 0～2名、 M1： 0～2名 – B4： 6～8名、 B3： 6～8名 ● 学生自身の問題意識に従って、教員と2人3脚で研究テーマを設定 ● 積極的な情報発信： – 対外発表の義務化、卒業論文の公開、YouTube Liveでの配信、 – Zennでの技術系記事の執筆

本研究室で行ってきた研究テーマ（主なもの） 音楽を聴く人を助けたい 複数人が同じBGMを 聴く場面の楽曲推薦 歌う人を助けたい カラオケを盛り上げる スマートタンバリン ハモリ練習支援 音痴な人の分析 HCI 演奏する人を助けたい MIDIギター精度改善 ピアノ初見支援 演奏時の筋活動分析 即興演奏支援 作曲する人を助けたい 旋律概形による作曲 ループシーケンサ マッシュアップ支援 イコライザー支援 土台となる技術 音響信号処理 四声体和声生成 ベースライン生成 ベーシストの 特徴分析 etc 機械学習

研究の動機 コンピュータの支援を受けながら、 非専門家が音楽創作・即興演奏を楽しめる環境を作りたい 特に、メロディ作成に着目 熟練者 ゆくゆくは… 創造性 高いレベルの 創造性 セッション 対等な立場で （従来：高い方が 熟達者 低い方に合わせる） コンピュータ が支援 非熟達者 熟練者 非熟練者 コンピュータ による支援

メロディ作成（作曲）の過程 音楽知識 （和声、音階など） メロディの アイディア 例1 例2 完成 具体的な音符列 システム ユーザ 聞いて確かめる ユーザ システム ユーザ ユーザとシステムが分担する

課題 音楽の非専門家が、メロディをどのように捉えているのか 個人的な考え ラ 化音 ソ ） 階 （ 量 ミ 子 レ ド 旋律概形 リズム（標本化）

旋律概形とは ● メロディのおおまかな形を表す曲線 ● 個々の音符の情報は、隠されている ● 概形の分解能は可変 輪郭 （melodic contour）とどう違う？ ● 1音1音の上下動をとらえるとは限らない?

【研究事例①】 旋律概形を用いたメロディ編集システム Tsuchiya & Kitahara, Sound Music Comput. Conf. 2013 土屋・北原，情報処理学会論文誌，2013 Tsuchiya & Kitahara, J. of Creative Music Syst., 2019

研究の動機 シナリオ 自動作曲システムが メロディを作成 どうするか メロディが部分的に 気に食わない箇所を 気に食わない 編集したい フーリエ変換 旋律概形 メロディ ユーザ操作 隠れマルコフモデル メロディ’ 旋律概形’

旋律概形を用いたメロディ編集 ● ピアノロール上に 旋律概形が表示 ● ユーザは、旋律概形を 描き直すことができる ● すると、即座に新しい メロディができる

メロディからどうやって旋律概形を求めるか メロディの 音高の系列 フーリエ変換 低次の要素を 取り出す 旋律概形が得られる 後で使う 逆フーリエ変換

旋律概形の抽出例 分解能を変えた場合

編集した旋律概形をどうするのか 編集した旋律概形 元のメロディの 高次のフーリエ係数 Do Mi Fa So Ti Ra So フーリエ変換 低次のフーリエ係数 逆フーリエ変換 Do Re Mi Hidden Markov mode

隠れマルコフモデル（HMM）の利用 HMMとは 与えられたデータ（旋律概形）に対して、 その背後の構造（メロディ）を確率的に推定 P(ni | ni-1) = P(ni) P(|ni - ni-1|) メロディを生成するときに使う 0.4 0.4 0.2 0.2 0 0 C D EF G A B 遷移確率により、音楽的に妥当なメロディを出しやすくする

問題点 ● 旋律概形にてフレーズの切れ目を表現できない ● 旋律概形が循環している（末尾が先頭につながる） ● 歪んだ旋律概形をメロディに戻す処理がアドホック

【研究事例②】 ウェーブレット変換を用いた旋律概形の抽出 北原，人工知能学会全国大会，2015 北原，人工知能学会全国大会，2016 Kitahara & Matsubara, Workshop on Music & ML, 2016

Pitch trajectory 離散ウェーブレット変換とは ● 信号 {x1, ..., xN} を 低域成分{c1, ..., cN/2} と高域成分{d1, ..., dN/2}に分離 ● 低域成分に対して再帰的に繰り返す ことで、パラメータが二分木になる （多重解像度解析） ● 得られるパラメータや近似曲線は、 用いるマザーウェーブレットに依存 ...

離散ウェーブレット変換による旋律概形の抽出 Pitch trajectory Melodic outline DWT -2.5 -0.125 0.25 7.5 2.5 IDWT ある深さ以上のノードを 0に置き換えて元に戻す 7.5 -2.5 -0.125 0.25 2.5 7.5 2.5 7.5 2.5 ・・・・・・ ・・・・・・ 0.5 -0.5 0.0 0.0 -2.5 2.5 2.5 1.25 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0

旋律概形の抽出：一例 ● 「ピアノソナタ K.331」第1楽章 冒頭8小節の主旋律 ● マザーウェーブレットとして Daubechies 8を使用

音高の時系列 旋律概形（Daubechies 8 wavelet の場合）

応用例：部分木間の距離を計算する 二乗距離＝326.63 二乗距離＝68.41 二乗距離＝4.27 二乗距離＝0.78 二乗距離＝9.13

問題点 ● パラメータを二分木にすることで、新たな応用を実現した ● ただし、旋律概形に変換しないとできない処理かは微妙 ● フレーズの切れ目が表現できない問題は、未解決

【研究事例③】 旋律概形を用いた即興演奏支援システム Kitahara, Giraldo & Ramirez, CMMR 2017 Kitahara & Yonamine, ACM Multimedia Asia 2022

研究の動機 誰もが簡単な操作で即興演奏を楽しめるようにしたい ユーザが旋律概形を画面に描いたら、メロディを奏でてくれる この研究での旋律概形の位置づけ ● ユーザがゼロから画面上に描画する ● 旋律概形の抽出の定式化や自動化は行わない

即興演奏支援システム「JamSketch」 ユーザが描画: 旋律概形 直感的! 簡単に描ける! システムが生成: メロディ

学習の仕組み Weimar Jazz DB ニューラルネットで実現 （CNN） これを 「旋律概形」とみなす ブルースのアドリブソロの採譜データ 変換 平 滑 化

データセット 入力データ 出力データ 右のメロディの音高系列を 平滑化して旋律概形を作成 Weimar Jazz Database から 半分を学習に、 残りをテストに使用 ブルース96曲

JamSketchの今後の展望 ● だんだん盛り上がるような展開にいかにするか – 現在は、１巡目、２巡目、３巡目…でメロディ生成に変化なし ● 旋律概形自体も、描くのは簡単じゃない – 「こんなメロディを作りたい」という気持ちをどう育てるか – これ自体が楽器だと思えば、これはこれでいい? ● 他者（人間、コンピュータ）とセッションできるようにするには – メロディ生成の相互作用をどう生むか

旋律概形に関する考察 ● そもそも「旋律概形」という考え方は正しいのか – 非専門家の音楽認知表現として – 非専門家のためのメロディ操作インタフェースとして ● 現状では、旋律の平滑化に過ぎない – 音脈分凝まで含めて扱うことができればホンモノに近づく? ● 音楽情報処理研究と音楽知覚認知研究の接点になりうる? – ただし、両者で向いてる方向は必ずしも一致しない

まとめ 研究の 動機 基本的 アイディア 研究事例 非専門家が音楽創作や即興演奏を楽しめるようにしたい 旋律概形をメロディ操作インタフェースとする メロディ編集 ウェーブレット変換 JamSketch 一緒に研究してくれる仲間、大募集!!! 大学院生などとして本研究に参画したい場合は、 ぜひ連絡ください。