即興演奏システム JamSketch の 社会応用の可能性

日本音楽即興学会 第15回学術大会 即興演奏システム JamSketch の 社会応用の可能性 日本大学 文理学部 情報科学科 北原 鉄朗 Twitter: @tetsurokitahara

自己紹介 ● 名前： 北原 鉄朗 ● 所属： 日本大学 文理学部 情報科学科 ● 専門： 音楽情報処理 （作曲・編曲支援、音楽分析など） ● 主戦場： 情報処理学会 音楽情報科学研究会（SIGMUS） ● 研究室の標語： Technology Makes Music More Fun ● 音楽情報処理に特化した国内有数の研究室の1つ

本研究室で行ってきた研究テーマ（主なもの） 音楽を聴く人を助けたい 複数人が同じBGMを 聴く場面の楽曲推薦 歌う人を助けたい カラオケを盛り上げる スマートタンバリン ハモリ練習支援 音痴な人の分析 HCI 演奏する人を助けたい MIDIギター精度改善 ピアノ初見支援 演奏時の筋活動分析 即興演奏支援 作曲する人を助けたい 旋律概形による作曲 ループシーケンサ マッシュアップ支援 イコライザー支援 土台となる技術 音響信号処理 四声体和声生成 ベースライン生成 ベーシストの 特徴分析 etc 機械学習

本研究の長期的目標 コンピュータの支援を受けながら、 非専門家が音楽創作・即興演奏を楽しめる環境を作りたい 熟練者 ゆくゆくは… 創造性 高いレベルの 創造性 セッション 対等な立場で （従来：高い方が 熟達者 低い方に合わせる） コンピュータ が支援 非熟達者 熟練者 非熟練者 コンピュータ による支援

なぜ即興演奏が難しいのか 和声、スケールなどの知識をもとに、 その場でメロディを作って、その場で弾かなければならない Cmaj7 Am7 Create a melody Play it Chord progression Harmony theory Music knowledge Musical scale Do-Re-Mi Learned musical phrases

本研究のアプローチと課題 専門知識がなくても、「こんな感じのメロディ」というあいまいな 情報をコンピュータに入れれば、即興演奏ができるシステムを作る 課題 ● 「こんな感じのメロディ」というあいまいな考えを あいまいなまま入力する方法 ● 「こんな感じのメロディ」というあいまいな入力から 音楽的に妥当なメロディを作る方法

JamSketch： 旋律概形からのメロディ生成 ユーザが描画: 旋律概形 システムが生成: メロディ 直感的! 簡単に描ける! メロディのおおまかな アイディアのみ入力してもらう 具体的な音符列は、 コンピュータが作る

学習の仕組み Weimar Jazz DB ニューラルネットで実現 （CNN） これを 「旋律概形」とみなす ブルースのアドリブソロの採譜データ 変換 平 滑 化

社会応用の可能性 ① 教育への応用 小中学校の音楽教育における音楽表現の探求など ② 福祉への応用 身体（特に四肢）が不自由な人への即興演奏手段の提供など ③ 観客参加型セッションへの応用 “ソロ回し”に観客も参加するシームレスなセッション

① 教育の応用 小中学校の音楽教育の現場で、 メロディ表現の探求のツールとして使えないか 狙い JamSketchは、音楽知識・演奏技能なしにメロディの試行錯誤可能 自らの発想でいろいろなメロディを試すことで、 メロディ作成への興味を引き出し、メロディへの理解につなげる

システムに対する課題 ● （最初のうちは）どんな旋律概形を 描いていいか分からない – 既存のメロディをガイド表示 → ガイドをなぞるところから始め、 徐々に逸脱を促す ● ガイド付きモード 画面が地味（横軸と縦軸があって、理系っぽい） – より直感的な画面、より子供の興味を引き付ける画面

研究アプローチに対する課題・問題点 ● そもそも JamSketch でメロディの試行錯誤をすることで、 メロディの何を理解できるのか – メロディらしさを生む音符列の特徴を理解させたいなら、 メロディらしさがどうやったら生まれるかの試行錯誤が必要 – でも、メロディらしさって何? ● そもそも JamSketch で即興演奏（もどき）を楽しむことは、 小中学校の音楽教育の目標と合致するのか

② 福祉への応用 何らかの事情で四肢が使えなくなった人に 即興演奏の手段を提供できないか 狙い 旋律概形は、画面上の座標を連続的に指定できれば入力できる 近年、アイトラッカー（視線追跡器）の低価格化が進行 画面上の視線を動かすだけで即興演奏を可能にする

現状 ● 市販のアイトラッカーで接続し、視線で旋律概形を描画して 即興演奏できる「JamSketch Eye」を試作 Demo JamSketch Eye SteelSeries Sentry Gaming Eye Tracker （TobiiからのOEM）を使用

システムに対する課題 ● アイトラッカーの動作安定性の問題 – ハードウェアの技術進展で解決することを期待 ● 視線座標情報のゆらぎの問題 – 座標情報の平滑化を導入、ユーザの慣れも必要 研究アプローチに対する課題・問題点 ● 対象ユーザに該当する方とのコネクション – 当該者がかかえる課題を知るには不可欠

③ 観客参加型セッションへの応用 “ソロ回し”に観客も参加する 演者と観客の垣根のないセッションを実現できないか 狙い ジャムセッションには、“ソロ回し”という習慣がある JamSketch を複数人対応 & スマートフォン対応すれば 観客にもソロが回ってきて、観客はJamSketchで演奏

たとえばこんな感じ ソロ回しの途中で、 ランダムに観客が選ばれる ステージ上の演者は 通常の楽器で演奏 選ばれた人がJamSketchで 即興演奏する 観客はスマートフォンを 持ちながら参加 （専用アプリを事前に インストールしておく） 選ばれた人のスマートフォンが光る 選ばれた人は、JamSketchアプリで演奏

技術的課題 ● ネットワーク対応 ● スマートフォン対応 ● ステージ上の生演奏とのリズム同期 目標 ● 来年の音楽即興学会でライブパフォーマンス

まとめ JamSketch: 旋律概形に基づく即興演奏支援システム 社会応用の可能性 ① 教育への応用 ② 福祉への応用 ③ 観客参加型セッションへの応用 一緒に研究してくれる仲間、大募集!!!