[DL輪読会]Automatic Composition of Guitar Tabs by Transformers and Groove Modeling

Automatic Composition of Guitar Tabs by Transformers and Groove Modeling Masahiro Nakamura 1

CONTENTS • • • • • • • • Bibliographic Information Summary Background Related Works Suggestion Experiments Roundup Closing Remark 2

Bibliographic Information ・Authors Yu-Hua Chen, Yu-Hsiang Huang, Wen-Yi Hsiao, and Yi-Hsuan Yang ・Belonging 全員Taiwan AI Labsに所属 ・Proc. Int. Society for Music Information Retrieval Conf. 2020 https://ailabs.tw/ https://ismir.net/ 3

• https://ailabs.tw/
• https://ismir.net/

Summary • 音楽×AI(人工知能)の研究であまり行われてこなかった「タ ブ譜」に着目 • 音楽×AI(人工知能)の研究成果を応用してタブ譜を自動で生 成するモデルを構築 • 「弾く時の違和感」、「グルーヴ感」、「人間っぽさ」 の３つを検証することで精度の検証をした 4

Background:Why TAB? • ディープラーニングを用いた楽曲の自動生成の発展は多 く見られる • 一方、そういった楽曲はピアノやキーボードっぽいもの に終始している • 仮にギターっぽい曲ができても弾けるかまでは考慮され てるか疑問が残る • そもそもギターでよく使われる「タブ譜」は五線譜と全 くの別物なのに関連したモデルの話がほとんどない 5

Background：What’s TAB ? • タブラチュアの略 • 五線譜（上）は音程を指定 • 対しタブ譜（下）では弦と 押さえるフレットを指定 • そのため演奏者は音程より 指の動かし方を読んでいる ということになる 6

Related Works:Two Axes • ギター×AI(人工知能) • ギター向けの自動編曲 • テクニックの判別 • 自動作曲 • 例：音楽を言語と捉えRNNの導入 7

Suggestion • Transformer-XLを基にタブ譜を自動生成するモデルを構築 (※ギターの指弾きのみ) • 条件に合った楽譜333部を基にデータセットを作成 • Music Transformerという先行研究のデータ表現を修正、 上記のモデルがタブ譜生成に向け学習できるようにす る • 「弾く時の違和感」、「グルーヴ感」、「人間っぽさ」 の3点からクオリティを検証 8

Experiments On Fingering On Groove On Comparison with Real Tabs 9

Premise-Groove(1/2) • グルーヴ…反復や変化によるリズム感や音楽に合 わせて体を動かしたくなる感覚のこと • 音源や楽譜での明記はなく音楽の自然な流れから 生まれてくるもの • Music Transformerに手を加えなくても自然にグル ーヴ感のある楽曲を作れるのでは? • その前提に立ったモデルをNo groovingとする 10

Premise-Groove(2/2) • タブ譜は「イベント」の連続であるので何の手も加えてないNo groovingに 対し以下のモデル構築を行い意図的にグルーヴを入れる • Hard grooving • 各小節を16で区切り各箇所と音に対応した16次元のベクトルを作成 • 少なくとも１つは音の開始地点(オンセット)があるようにする • Soft grooving • Hard Groovingよりもオンセットを少なくしたもの • Multi-resolution hard (or soft) grooving • 上記の２つより次元を下げたり連結させたもの 11

Experiments On Fingering On Groove On Comparison with Real Tabs 12

On Fingering(1/3) • テーマ：音の連続をランダムで 作らせ音に続きどれくらい自然 な形で弦の動きを見出せるか • 右のテーブルは16小節のタブ譜 50部にて音と弦の繋がりで精度 の平均を計算したもの • 6弦など低音域にいくほど低下が 見られる→右図の(a) • これはNo grooving • 原因不明だが注目事項が２つ 13

On Fingering(2/3)-Lack Of Data? • (a)はローエンドでの誤差発生率 をピッチ毎に示したもの • (b)はピッチ毎の音の数を示した もの • ピアソンの相関係数で見ると音 の数と誤差発生率の関連は薄い 14

On Fingering(3/3)-Neighboring Strings • 右はOn Fingering(1/3)と同じもの • (b)-(d)はピッチ毎で弦に関する出 現頻度 • 各ピッチで隣が隣り合っている 場合が多い • (b)は6弦でないと出せないにも関 わらず5弦に流れている 15

Experiments On Fingering On Groove On Comparison with Real Tabs 16

On Groove(1/5)-Good or Bad? • 下のタブ譜２つはHard groovingを基に生成させたもの • でもクオリティがいいかはわからない… • そこで新たに追加したGROOVING eventの与える影響をobjective, subjectiveから検証 17

On Groove(2/5)-Objective • 4つのグルーヴモデルから得た GROOVING eventを交えて 訓練 したモデルを比較 • バリデーションのセットにある タブ譜30部から最初の4小節に続 く16小節を生成させる • No grooving, 本物のデータ、セッ ト内で無作為に他の16小節を繋ぎ 合わせたものも検証対象 • 本物と無作為が精度で両極となる 18

On Groove(3/5)-Objective • Hard accuracy • Hard groovingのパターンとその 続きの類似性を指す • Soft distance • Soft groovingのパターンとその 続きの類似性を指す 19

On Groove(4/5)-Objective • 意図的にグルーヴを入れたか否 かが精度での大きな差に繋がる • また、グルーブを入れたモデル の精度は無作為の方でなく本物 の方に近い傾向がある • 一番できのいいモデルでできた ものと本物のデータで中程度の ギャップがある 20

On Groove(5/5)-Subjective • 各グルーヴにあたるモデルから 生成された楽譜をシンセサイザ ーで演奏、一番気に入ったもの を選んでもらう • 協力者をギターの演奏レベルで ５つのグループに分割 • 手練れの人ほどモデル毎の違い がわかった • 意図的にグルーヴ感を入れた方 が好まれる傾向がある 21

Experiments On Fingering On Groove On Comparison with Real Tabs 22

On Comparison with Real Tabs • テーマ：楽譜を音楽として再生 し好きかどうかリッカート尺度 を基に五段階評価 • Real, No grooving, Hard Groovingで 比較をするとHard Groovingであ れば人間の楽譜と評価が近くな る 23

Roundup • Transformer-XLを応用すればタブ譜の生成を行うことはで きる • 一方弾く弦の自然さやリズムの一貫性に改善の余地あり • また、長いフレーズや様々な表現方法まで検証してない ので継続的に研究を進めていく必要がある 24

Closing Remark • 音楽×AI(人工知能)の研究で「楽譜」というアプローチを考 えたことがなかったので興味深かった • 研究や開発の活用で特定のギタリスト風のタブ譜を生成 し雑誌の練習フレーズとして掲載したら面白いのではな いかと思った • 私事で三味線に打ち込んでいた時期があり楽譜がタブ譜 と少し似ているのでそういった他の楽器にも応用、新た な研究や開発のテーマになりうるのではないかと思った 25