Music signal separation using supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties (in Japanese)

Music Signal Separation Using Supervised Nonnegative Matrix Factorization with Orthogonality and Maximum-divergence Penalties 直交化及び距離最大化則条件を用いた 教師あり非負値行列因子分解による音楽信号分離 北村大地, 猿渡洋, 八木浩介, 鹿野清宏 （奈良先端科学技術大学院大学） 高橋祐, 近藤多伸 （ヤマハ株式会社）

発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 2

発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 3

研究背景 • 音源分離技術 – 複数の音源が混合された信号を個々の音源に分離する信号処理 – 音声と雑音の分離，個々の音源の編集，音拡張現実感への基盤技術 特定音源の 分離・抽出 • 代表的な音源分離方法 – 時間-周波数表現されたスペクトログラム上で音源ごとに分解 Frequency 分離 最初の音 Time 2つの音が存在 2番目の音 4

発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 5

従来手法: 非負値行列因子分解 [Lee, et al., 2012] • 非負値行列因子分解 (nonnegative matrix factorization: NMF) Amplitude Frequency Frequency – スパース分解表現による特徴量抽出手法 Amplitude Time 観測行列 (スペクトログラム) Time パーツ，基底 アクティベーション行列 (時間的なゲイン変化) 基底行列 (頻出スペクトルパターン) Ω: 周波数ビン数 𝑇: 時間フレーム数 𝐾: 基底数 • 分解された基底を音源毎に選別する教師無しNMFは非常に困難 6

従来手法: 教師ありNMF (SNMF) [Smaragdis, et al., 2007] • 分離したい目的音の教師 (サンプル) 音を事前に学習 – 学習プロセスで教師スペクトル基底 (dictionary) を作成 – 分離プロセスで目的音 と，非目的音 に分離 学習プロセス 音階情報等 分離目的音の教師音 教師音から作成した教師スペクトル基底 最適化 分離プロセス 混合音 固定 目的音 非目的音 7

従来手法の問題点 • SNMFにおける基底共有問題 – 教師基底 とその他の基底 の間には特に制約が無い – 目的音のスペクトルがその他の基底 に現れる可能性がある その他の基底 に教師と同じスペクトルが現れた場合 本来の目的信号 推定目的音 – 推定した目的音には欠損が生じる – コスト関数が混合信号 と れているため 推定非目的音 の距離のみで定義さ 8

基底共有問題: SNMFによる分離例 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 9

基底共有問題: SNMFによる分離例 非目的音 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 10

基底共有問題: SNMFによる分離例 従来手法 SNMFで 分離 混合信号 目的音のみの 信号 (理想) 分離信号 分離信号には目的成分 の欠損が生じている 11

発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 12

提案手法: 罰則条件付きSNMF • 教師と同じスペクトル基底がその他の基底に現れる 基底共有問題が発生，分離した目的音が欠落 • その他の基底 を教師基底 と (できるだけ) 無相関に する罰則条件をコスト関数に付与する • 罰則条件付きSNMF (Penalized SNMF: PSNMF) 混合音 固定 なるべく 目的音 非目的音 と無相関となるように最適化 13

SNMFの分解モデルとコスト関数 分解モデル: 教師基底 (固定) SNMFのコスト関数: 一般化距離関数: -divergence [Eguchi, et al., 2001] 14

PSNMFの分解モデルとコスト関数 分解モデル: 教師基底 (固定) SNMFのコスト関数: PSNMFのコスト関数: 無相関にする罰則項を付与 2種類の罰則項を提案する 15

基底直交化罰則条件 • 教師基底 とその他の基底 くなる を求める – 類似した基底が現れると の内積ができるだけ小さ は大きな値になる • 基底は全て周波数方向の総和が1になる制限を与える – NMFにおけるスケールの任意性を無くすため • コスト関数に付与する際に重み係数 通常のNMFは スケールが任意 を与える 16

基底間距離最大化罰則条件 • 教師基底 とできるだけ遠いその他の基底 を求める – 類似した基底が現れると距離値は小さな値になる • 基底は全て周波数方向の総和が1になる制限を与える • コスト関数に付与する際に負号を反転した指数関数とし 重み係数 と感度パラメータ を与える – NMF項と合わせて罰則項も最小化問題とするため – 罰則項の最小値を0とするため 17

PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める • 導出には補助関数法を用いる – コスト関数 の上限を与える補助関数 を定義 – 補助変数と目的変数を交互に最小化してコスト関数を間接的に 最小化 – と の補助関数を設計する 18

PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める 但し， • 第二項と第三項は の値に応じて凸関数 (Convex) か 凹関数 (Concave) になる – 凸関数: Jensenの不等式 – 凹関数: 接線不等式 19

PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 を求める 但し， は補助変数 • 常に凸関数になる – 凸関数: Jensenの不等式 20

PSNMFの最適化更新式の導出 • コスト関数を最小化する変数 • 設計した補助関数 を求める を各変数で偏微分 21

PSNMFの最適化更新式 • 直交化罰則条件の更新式 但し， 22

PSNMFの最適化更新式 • 距離最大化罰則条件の更新式 但し， 23

発表の流れ • 研究背景 • 従来手法 – 非負値行列因子分解 – 教師あり非負値行列因子分解 – 従来手法の問題点 • 提案手法 – 罰則条件付き教師あり非負値行列因子分解 • 基底直交化罰則条件 • 基底間距離最大化罰則条件 • 評価実験 – 2音源混合信号 – 4音源混合信号 • まとめ 24

実験条件 • MIDI信号で作成したモノラル音源 • Clarinet, Oboe, Piano, Celloの4種類 • 2音源混合と4音源混合の信号で評価 – 2音源は全12パターン，4音源は全4パターンの平均評価値を算出 • 教師音は分離目的音の音域をカバーする同じMIDIの音階情報 教師用 音源信号 目的音源の音域をカバーする2オクターブの24音階 25

実験条件 • その他の実験条件 観測信号 教師信号 距離規範 基底数 重み係数 比較手法 2音源混合及び4音源混合した信号 目的音源と同じMIDI信号で音域をカバーす る2オクターブの24音階からなる信号 の全ての組み合わせ 教師基底 : 100, その他の基底 : 50 実験的に調整して定めた値 従来手法のSNMFと提案手法PSNMF • 評価値はSDRを用いる [Vincent, 2006] – 分離した目的音の音質や分離度合を含む総合的な品質の尺度 – 値が大きい方が良い 26

実験結果: 2音源混合 • 全12パターンの平均評価値を算出 16 16 14 14 8 従来 SNMF 6 16 14 12 12 10 10 SDR [dB] SDR [dB] 10 PSNMF PSNMF (直交化) (距離最大化) SDR [dB] 12 PSNMF PSNMF (直交化) (距離最大化) 8 6 従来 SNMF 従来 8 SNMF 6 4 4 2 2 2 0 0 0 0 • 全ての 1 2 PSNMF PSNMF (距離最大化) (直交化) 4 0 1 2 0 1 2 において従来手法から大きく改善された – 基底共有問題を防ぐことができたため – 直交化罰則と距離最大化罰則に大きな差はない 27

実験結果: 4音源混合 14 14 12 12 6 14 PSNMF PSNMF (直交化) (距離最大化) 10 従来 8 SNMF 6 PSNMF PSNMF (距離最大化) (直交化) 10 従来 8 SNMF 12 SDR [dB] PSNMF PSNMF 10 (直交化) (距離最大化) 従来 8 SNMF SDR [dB] SDR [dB] • 全4パターンの平均評価値を算出 6 4 4 4 2 2 2 0 0 0 0 1 2 0 1 2 0 1 2 • 2音源混合と同様に大きく改善された 28

直交化PSNMFによる分離例 (Cello と Oboe) 従来手法 SNMFで 分離 混合信号 提案手法 直交化 PSNMF で分離 目的音のみ 29

まとめ • 従来の教師ありNMFによる音源分離では，教師基底と 同じスペクトルがその他の基底に現れる基底共有問題 があった • その他の基底が教師基底とできるだけ無相関となるよう に最適化する罰則条件付き教師ありNMF (PSNMF) を 提案 – 基底直交化罰則条件と基底間距離最大化罰則条件を提案 • 従来手法と比較して高い精度で音源分離を達成 30