多人数演奏楽譜から連弾譜への自動編曲

日本大学 文理学部 情報科学科 北原研究室（B4） 2022 / 2 / 9 (水) 島村 美羽

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 「多人数演奏楽譜から連弾譜への自動編曲」 ➢ 多人数演奏 → オーケストラや吹奏楽など ➢ 連弾 → 1台のピアノを2人で演奏する システム入出力イメージ 『マードックからの最後の手紙』 入力（吹奏楽） 出力（連弾） ※ 演奏・編曲は全て人 2

• https://www.youtube.com/watch?v=nA2WDehwhaQ
• https://www.youtube.com/watch?v=sYNasLFSHhA&t=184s

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 様々なジャンルの曲を演奏しやすくしたい 楽器の種類，編成に縛られている．敷居が高い 特に，オーケストラや吹奏楽は取り掛かりにくい 人数や楽器を集めないといけない・練習場所の確保が必要等 演奏しやすい，かつ合奏を楽しむには 多人数演奏とソロの中間的位置にいるのが連弾である ココ，自動化 したら良くね？ でも，連弾譜に編曲した楽譜がない 1から編曲するのは面倒だし，そもそも編曲能力がない場合も 3

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 多人数演奏楽譜 → ピアノソロ譜 論文名 Automatic System for the Arrangement of Piano Reductions 著 Shih-Chuan Chiu，Man-Kwan Shan，Jiun-Long Huang 者 発行年 2009年 学会名 11th IEEE International Symposium on Multimedia 多人数演奏楽譜 → 電子オルガン譜 論文名 自動編曲のための音楽的特性に基づく旋律クラスタリング 著 田中大貴，伊藤克亘 者 発行年 2018年 雑誌名 第7回情報科学技術フォーラム，pp.199-202 連弾譜を考慮した ものはない． 意外と連弾譜の 制約って難しい． 4 4

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 ピアノ連弾譜を生成するうえで，次の要件を達成できるようなシステム を目指す 1. 楽曲の骨格となる部分（主旋律やベース）が残されている 2. 各演奏者の役割（主旋律や伴奏など）を楽曲の途中で入れ替えるこ とができる 3. 中級程度の演奏者2人がピアノ1台で無理なく演奏できる 5

概要 背景 関連研究 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 提案手法 結果 評価 考察 まとめ・今後の展望 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 6

提案手法 各声部の役割同定 声部のグループ化 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 声部の選択 ヴォイシングの調整 オクターブの調整 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 7

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 ▪ 各声部が「主旋律」「副旋律」「和声」「ベース」「その他」のいず れかの役割を担っていると仮定→担っている役割を同定する K-近傍法 役割同定したい声部 4小節間 • 4小節で1単位 • あらかじめラベリングしてある 既存の楽譜を使用 ※特徴量などは後述 この声部は 主旋律だぞ！ 8

提案手法 各声部の役割同定 説明変数 目的変数 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 特徴量 先頭に音があるか 音域 音の幅 音符の数 （0か1の二値） （ノートナンバーの 平均値） （ノートナンバーの 高低差） 2分音符以上の数 最頻の音価の割合 音高の差の二乗平均 0 主旋律 1 複旋律 2 和声 3 ベース 「その他」は なるべく使用しない 4 休符 5 その他 9

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 ※ 例として，『マーチ「春の道を歩こう」』 のスコア譜の一部を使用している 10

提案手法 各声部の役割同定 声部のグループ化 3. ベース 0. 主旋律 2. 和声 1. 副旋律 声部の選択 ヴォイシングの調整 0. 主旋律 0. 主旋律 0. 主旋律 0. 主旋律 3. ベース 0. 主旋律 0. 主旋律 0. 主旋律 0. 主旋律 3. ベース 0. 主旋律 0. 主旋律 1. 副旋律 3. ベース 2. 和声 2. 和声 2. 和声 1. 副旋律 3. ベース 3. ベース オクターブの調整 11

提案手法 各声部の役割同定 声部のグループ化 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 声部の選択 ヴォイシングの調整 オクターブの調整 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 12

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 同じ役割と同定されたグループ の中には，異なるリズム・音価 のものが入っていることがある これを，片手で演奏することは 不可能，もしくは難易度が高い グループ内でリズムと音価がど ちらも同じものだけを採用し， 片手で演奏できるパートに集約 する 13

提案手法 各声部の役割同定 声部のグループ化 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 声部の選択 ヴォイシングの調整 オクターブの調整 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 14

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 ▪ 4手連弾の各パートがどの役割を担うかをあらかじめテンプレート化しておく ▪ ユーザが4小節ごとにテンプレート（例：表）を選ぶ ▪ 役割のどれかが存在しないと判定された場合，その役割を使用しているテン プレートは，選択肢から外される 表．声部選択テンプレートの例 1人目 右手 2人目 左手 右手 左手 主旋律 和声 副旋律 ベース 副旋律 和声 主旋律 ベース 主旋律 休符 和声 ベース 主旋律 和声 主旋律 ベース 15

提案手法 各声部の役割同定 声部のグループ化 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 声部の選択 ヴォイシングの調整 オクターブの調整 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 16

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 中級者が無理なく片手で演奏できるための制約とは， 同時に鳴らす音が… 最高音と最低音が 1オクターブ未満である 3音以内である 17

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 最高音を基準とし，それよりも1オクターブ以上低い音域にある音符の オクターブを上げる 1オクターブ以上離れているので， 1オクターブ上げる 18

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 1. 最高音を基準として順に音を探索し，短3度～減5度（半音3～6個）離れて いる場合のみ音を残す 2. 残す音を1つ決定したらその音を基準にして次に残す音を同様に決定する 3. これを，探索する音符がなくなるか，同時に鳴らす音が3音になるまで繰り 返す 基準となる音 短2度なので消す 長3度なので 残す 3音となったので 処理を終了する スタート 短3度なので残す 基準の音にする 完成 19

提案手法 各声部の役割同定 声部のグループ化 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 声部の選択 ヴォイシングの調整 オクターブの調整 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 20

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 各声部をピアノ連弾に適した音域で演奏できるよう， オクターブの移動を行う．その際に考慮することは… ピアノ連弾譜としての妥当性 隣接パート間の音域の重複 21

提案手法 各声部の役割同定 声部のグループ化 22 12 21 声部の選択 ヴォイシングの調整 68 29 よ く あ る 音 域 41 45 57 オクターブの調整 106 71 79 95 108 119 1人目 右 1人目 左 2人目 右 2人目 左 妥当性ではない 妥当性である 2人目 右 2人目 右 22

提案手法 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 1人目 左 2人目 右 2人目 右 ▪ 近い音，同じ音を弾いてしまう ▪ 腕がクロスしてしまう これが起きないようにする 23

概要 背景 関連研究 各声部の役割同定 声部のグループ化 声部の選択 ヴォイシングの調整 オクターブの調整 提案手法 結果 評価 考察 まとめ・今後の展望 各声部に対して「主旋律」「ベース」などの役割のラベ ルを付与する 同じ役割の内，リズムが等しい声部をグループ化する 4つのパート各々にどの役割の声部を採用するかをテンプ レートに基づいて決定する 1度に鳴らす音を片手で演奏できるよう，1オクターブ未 満に収めて3音以内にする 音域の妥当性とパート間の重複を考慮し，各パートのオ クターブを調整する 24

概要 背景 関連研究 提案手法 『ディスコ・キッド』（東海林修）： 24小節 結果 評価 右手 左手 声部選択テンプレート 2人目 右手 まとめ・今後の展望 『Armenian Dances Part1』（Alfred Reed）：20小節 声部選択テンプレート 1人目 考察 左手 1人目 右手 左手 2人目 右手 左手 主旋律 休符 副旋律 休符 主旋律 副旋律 和声 ベース 主旋律 和声 主旋律 副旋律 主旋律 和声 副旋律 ベース 主旋律 和声 副旋律 ベース 副旋律 和声 主旋律 ベース 主旋律 和声 主旋律 ベース 主旋律 和声 副旋律 ベース 主旋律 和声 主旋律 ベース 主旋律 副旋律 和声 ベース 副旋律 和声 主旋律 ベース 25

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 『ディスコ・キッド』 26

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 『 Armenian Dances Part1 』 27

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 ▪ 役割同定に使用したk-近傍法をクロスバリデーション（分割数 = 5） で検証した結果，平均正解率0.6288であった ▪ また，専門家の方2名にシステムが編曲した結果の出来を聞いた． 以下の質問に0～5点で点数付けとその理由を自由記述してもらった 1. 楽曲の骨格となる部分（主旋律やベース）が残されているか 2. 各演奏者の役割（主旋律や伴奏など）を楽曲の途中で入れ替えることができている か 3. 中級程度の演奏者2人がピアノ1台で無理なく演奏できるか 4. 全体の出来は良いか 28

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 問1 問2 問3 問4 旋律が残っ ているか 役割 交代 演奏 できるか 全体の でき A B A B A B A B 『ディスコ・キッド』（東海林修） 4 5 3 4 3 5 3 4 『吹奏楽のための「風之舞」』（福田洋介） 1 2 2 4 4 4 1 3 『宝島』（真島俊夫） 3 3 1 3 4 4 2 4 『Armenian Dances Part1』（Alfred Reed） 1 3 4 5 3 3 3 3 『風紋』（保科洋） 3 3 3 2 4 4 2 3 『スケルツァンド』（江原大介） 1 1 1 1 5 3 1 1 『Everyday Hero』（Timothy Mahr） 2 1 2 2 2 3 2 2 『吹奏楽のための綺想曲「じゅげむ」』（足立正） 1 2 1 3 5 5 1 3 評価者2人 にお願いし ました 29

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 初めにあげた要件1~3の3つの 観点から考察する 1. 楽曲の骨格となる部分（主旋律やベース）が残されている ▪ おおむね残っているが，一部旋律が抜け落ちている箇所がある ▪ 主旋律と副旋律が同じ役割と同定されたり，主旋律の掛け合いがどち らも主旋律と同定されることがあり，そのどちらかしか残せていない ゆえに，必要な声部が消失する場合がある 30

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 初めにあげた要件1~3の3つの 観点から考察する 2. 各演奏者の役割（主旋律や伴奏など）を楽曲の途中で入れ替えること ができているか ▪ 1. の理由から，声部が足りなくなり，そもそも役割を変更できるよう なテンプレートが選べない可能性もある ▪ 旋律自体がなくなっており，役割の入れ替え以前の問題もある 31

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 初めにあげた要件1~3の3つの 観点から考察する 3. 中級程度の演奏者2人がピアノ1台で無理なく演奏できるか ▪ パート間で完全に音域が逆転する現象は起きていないが，部分的に演 奏できない箇所がある ▪ 速いテンポで2音ずつの3連符，32分音符は演奏不可能 32

概要 背景 関連研究 提案手法 結果 評価 考察 まとめ・今後の展望 ▪ 要件1~3を一定程度満たすものを出力することができた 1. 旋律が残っているか 2. 役割の入れ替えがあるか 3. 演奏できるか ▪ 現状では各声部の役割同定の精度が不十分 ▪ 学習する曲数を増やす ▪ 使用する特徴量を変更・追加する ▪ 中級程度のピアノ奏者が演奏出来ない部分が一部存在している ▪ 現在は細かい演奏難易度指定を想定していない ▪ 時間軸に対する音密度に対して音高の密度を下げるなどの工夫が必要 33

ありがとうございました