圧縮センシングアルゴリズムの構造学習

圧縮センシング アルゴリズムの構造学習 長久紘士，早川諒，飯國洋二 大阪大学大学院基礎工学研究科 信号処理若手奨励賞審査対象

目次 研究背景 提案手法 実験 結論 2/12

研究背景 |圧縮センシング[1] 3/12  スパース（ほとんどの成分が0）な信号𝒙を，劣化した観測データ 𝒚(= 𝑨𝒙 + 𝒆)から復元する数理的課題 （応用例：ノイズ除去，ブラックホール撮影，MRI） 研究目的 機械学習の手法を用いた，高速で復元精度の良いアルゴリズムの提案 [1] D. L. Donoho, "Compressed sensing," IEEE Transactions on Information Theory, vol. 52, no. 4, pp. 1289-1306, April 2006, doi: 10.1109/TIT.2006.871582.

研究背景 |圧縮センシング ෝ = argmin 𝒙 𝒙 ∈ ℝ𝑁 1 𝒚 − 𝑨𝒙 2 4/12 𝟐 𝟐 +𝜆 𝒙 1 𝒚∈ℝ𝑀 𝑨 ∈ ℝ 𝑀×𝑁 𝒙 ∈ℝ𝑁 𝑀<𝑁  ISTA（Iterative Shrinkage Thresholding Algoritm）は 最適化問題の解を与える ISTA 𝒓(𝑡) = 𝒙(𝑡) − 𝛾𝑨⊤ 𝑨𝒙(𝑡) − 𝒚 ←勾配降下ステップ 𝒙(𝑡+1) = 𝑆𝜆𝛾 𝒓 𝑡 ←縮小ステップ 交互に作用 𝑆𝜆𝛾 (⋅)：ソフト閾値関数（ℓ1 ノルムの近接写像）

研究背景 |深層展開[2] 既存アルゴリズム（ISTA） 𝒓(𝑡) = 𝒙(𝑡) − 𝛾𝑨⊤ 𝑨𝒙(𝑡) 𝒙(𝑡+1) = 𝑆𝜆𝛾 𝒓 −𝒚 5/6 𝛾 … アルゴリズムの推定精度と 収束速度を左右するパラメータ 𝑡  深層展開 反復構造を持つアルゴリズムを時間方向に展開し，深層学習の手法を用いて パラメータ調整を行う (a) 反復アルゴリズムの信号流グラフ (b) 学習可能パラメータが埋め込まれた展開グラフ [2]K. Gregor and Y. LeCun, “Learning fast approximations of sparse coding,” in Proc. the 27th International Conference on International Conference on Machine Learning, Jun. 2010, pp. 399–406.

研究背景 |深層展開  従来の深層展開 6/6  演算の順番が固定で自由度が低い． それが最も精度が良いかどうか不明 構造も一緒に学習したい  提案の深層展開の理想  演算の順番を学習できれば，さらに 推定精度の良くなるのでは？ 本来は だが， の方が性能が良い

研究背景 |DARTS(Differentiable Architecture Search)[3] 7/6  探索空間を微分可能にすることで，効率的に演算選択を実行 ノード 演算 入力 𝑜1 (𝑥) … 演算 出力 3 畳み込み 𝑤1 𝑤2 𝑜2 (𝑥) プーリング 𝑜3 (𝑥) 演算 活性化関数 ＋ 𝑜ҧ 𝑥 = ෍ 𝑤𝑘 × 𝑜𝑘 𝑥 𝑘=1 𝑜(𝑥) ҧ 演算𝑜𝑘 に対する構造パラメータ𝛼𝑘 𝑤3 𝑤𝑘 = exp(𝛼𝑘 ) σ3𝑘 ′=1 exp(𝛼𝑘 ′ ) (𝑤1 + 𝑤2 + 𝑤3 = 1) [3] Liu, Hanxiao, Karen Simonyan, and Yiming Yang. "DARTS: Differentiable Architecture Search." International Conference on Learning Representations. 2018.

提案手法 8/6  従来の深層展開はアルゴリズムのパラメータのみを学習して， 構造自体は固定．それが最も性能が良いかは不明  DARTSを深層展開に適用することで，圧縮センシングに より特化した構造も学習 提案アルゴリズム：AS-ISTA（Architecture Searched-ISTA） 𝑡 (𝑡) 𝑤𝑟,𝑘 = (𝑡) 𝑡 + 𝑤𝑟,2 × 𝑔 𝒙 (𝑡) 𝑡 + 𝑤𝑥,2 × 𝑔 𝒓 𝒓(𝑡) = 𝑤𝑟,1 × 𝑓 𝒙 𝒙(𝑡+1) = 𝑤𝑥,1 × 𝑓 𝒓 (𝑡) 𝑡 (𝑡) 𝑡 exp 𝛽𝑟,𝑘 𝑡 σ2𝑘 ′ =1 exp(𝛽𝑟,𝑘 ′) (𝑘 = 1,2) (𝑡) (𝑡) 𝑤𝑥,𝑘 = 勾配降下ステップ： 𝑓 𝒙 = 𝒙 − 𝛾 (𝑡) 𝑨⊤ 𝑨𝒙 − 𝒚 縮小ステップ： 𝑔 𝒙 = S𝜆𝛾(𝑡) 𝒙 exp(𝛽𝑥,𝑘 ) 𝑡 σ2𝑘 ′ =1 exp(𝛽𝑥,𝑘 ′) (𝑘 = 1,2)

提案手法 9/6  AS-ISTAの構造の概観  勾配降下ステップ𝑓と縮小ステップ𝑔の重み付き和  構造パラメータ𝛽とステップサイズ𝛾を交互に学習 𝑓 𝒙 = 𝒙 − 𝛾 (𝑡) 𝑨⊤ 𝑨𝒙 − 𝒚 𝛽 ステップサイズ𝛾 𝑔 𝒙 = S𝜆𝛾(𝑡) 𝒙

実験｜シミュレーション設定 10/6  データの生成 75 𝒚 = 𝑨 × ～𝑁 0,1 𝒙∗ + 𝒆 𝒆 ～𝑁 0, 𝜎 2 （信号対雑音比 10dB） 非零成分の割合：8% 150 非零成分～𝑁 0,1  学習の設定  正則化係数 𝜆 = 10, 反復回数: 100  損失関数： 𝑥ො − 𝑥 ∗ 2 2 （推定値と真値の平均二乗誤差）  構造パラメータの初期値： (𝑡) (𝑡) 𝑡 𝑡 𝛽𝑟,1 = 10, 𝛽𝑟,2 = −10, 𝛽𝑥,1 = −10, 𝛽𝑥,2 = 10

実験｜推定精度 11/6  学習後のパラメータを使用して，スパース信号推定を行う． ステップサイズ𝛼固定のISTA 従来の深層展開で𝛼のみ を学習したISTA  AS-ISTAが推定精度・収束速度の観点で最も優れている．  適切な構造を学習できることが確認できた

実験｜学習後の構造 12/6  勾配降下ステップ𝑓の係数の値を順番に表示 𝑡=0 (𝑡) (𝑡) (𝑡) (𝑡) 𝑤𝑟,1 + 𝑤𝑟,2 = 1 𝑤𝑥,1 + 𝑤𝑥,2 = 1 参考：ISTAの構造 一式目の (𝑡) 係数𝑤𝑟,1 二式目の (𝑡) 係数𝑤𝑥,1 𝑡 = 99  学習後の係数はほぼ１か０になった  基本的に勾配降下ステップと縮小ステップを交互に繰り返すが， 勾配降下ステップを連続で作用させる箇所が存在 →損失を効率良く下げるための適切な構造が学習できた

結論  まとめ  従来の深層展開と比較して，構造学習を取り入れた提案手法は 推定精度が大きく向上した  提案手法では推定精度の良くなるような構造が学習できた  今後の展望  ISTA以外の圧縮センシングアルゴリズムにも提案手法を適用して， 性能を比較  実画像のノイズ除去で性能の違いを比較 13/6

付録｜学習後のステップサイズγ 14/6 黒の実線は 1 𝛼= 𝜆𝑚𝑎𝑥 (𝐴⊤ 𝐴)  最初の方に大きい値をとって後半は小さくなる傾向は変わらない．