【DL輪読会】Explorable Super Resolution

DEEP LEARNING JP [DL Papers] Explorable Super-Resolution (CVPR2020) Presenter: Kazutoshi Akita (Toyota Technological Institute, IntelligentInformation Media Lab) http://deeplearning.jp/ 1

• http://deeplearning.jp/

論文情報 • 論文名： Explorable Super Resolution (CVPR2020) • 著者： Yuval Bahat, Tomer Michaeli (Technion - Israel Institute of Technology, Haifa, Israel) • URL 論文： https://openaccess.thecvf.com/content_CVPR_2020/html/Bahat_Explorable_Super_Resolution_CVPR_2020_paper.html?fbclid=IwAR0Jws65Y7JQY4L_bs67glpZcF 17jeOQNiYNvUEVRVOhgkFHW4CDpg63yx8 プロジェクトページ： https://yuvalbahat.github.io/Explorable-Super-Resolution/codes/ 2

• https://openaccess.thecvf.com/content_CVPR_2020/html/Bahat_Explorable_Super_Resolution_CVPR_2020_paper.html?fbclid=IwAR0Jws65Y7JQY4L_bs67glpZcF17jeOQNiYNvUEVRVOhgkFHW4CDpg63yx8
• https://yuvalbahat.github.io/Explorable-Super-Resolution/codes/

前提知識 • 超解像（Super Resolution, SR） – 画像を綺麗に拡大する技術 超解像 (SRNet) 低解像画像 （LR画像） 超解像画像 （SR画像） 3

前提知識 • これまでの超解像 ・低解像化 ・ブラー SRNet 低解像画像 （LR画像） 高解像画像 （HR画像） 超解像画像 （SR画像） Loss (e.g., 二乗誤差，敵対的損失) 4

前提知識 • 異なる高解像画像が低解像化によって同じ画像になる = 不良設定問題 OK ・低解像化 ・ブラー SRNet NG ・低解像化 ・ブラー HR画像 SRNet LR画像 SR画像 5

前提知識 • 新タスク：出力をコントロールするシグナル𝑧により，様々なSR画像を生成 𝑧1 OK ・低解像化 ・ブラー SRNet 𝑧2 OK ・低解像化 ・ブラー HR画像 SRNet LR画像 SR画像 6

論文概要 • Explorable Super Resolution – 様々なSR画像を生成するという新たなタスクを開拓した論文の一つ • SRFlow (ECCV 2020)，DeepSEE (ACCV 2020) なども同様 – SR画像としての「制約」を担保するConsistency Enforcing Module (CEM)を提案 – ユーザーが直感的にコントロールシグナル𝑧を探索可能なGUIを構築 7

提案手法 (CEM) • シグナル𝑧により，全く異なる画像が生成される可能性がある • 制約：「出力SR画像を低解像化したら，入力LR画像と完全に一致する」 𝑧 ・低解像化 ・ブラー SRNet 入力LR画像 出力SR画像 一致 8

提案手法 (CEM) • Consistency Enforcing Module (CEM) – SRの制約を満たしていないCNN出力（SR画像）を，制約を満たすように 修正するモジュール 9

提案手法 (CEM) • 入力LR画像𝑦は，次のように表される ･･･ ① 𝑦 = (ℎ ∗ 𝑥) ො ↓α 𝑥: ො 低解像化により同じ𝑦になりうるすべてのHR画像群， ℎ: ブラーカーネル 1 ∗: 畳み込み， ↓α : 単純な補間方法などによる辺々 のダウンサンプリング処理 α • ①は以下のように書き換え可能 𝑦 = 𝐻𝑥ො ･･･ ② 10

提案手法 (CEM) • SRNetの出力群を𝑥ො𝑖𝑛𝑐 とすると，以下の式を満たしたい min | 𝑥ො − 𝑥ො𝑖𝑛𝑐 |2 𝑥ො s.t. 𝐻𝑥ො = 𝑦 ･･･ ③ • 𝑥は，直交射影行列𝑃 ො 𝒩(𝐻)⊥ , 𝑃𝒩(𝐻) を用いて，以下のように直交する2つのベクトルに分解可能 𝑥ො = 𝑃𝒩(𝐻) 𝑥ො + 𝑃𝒩(𝐻)⊥ 𝑥ො ･･･ ④ 𝑃𝒩(𝐻)⊥ = 𝐻𝑇 (𝐻𝐻𝑇 )−1 𝐻 𝑃𝒩 𝐻 = 𝐼 − 𝐻𝑇 (𝐻𝐻𝑇 )−1 𝐻 • ④を用いて③のminの中の式を変形すると， ||𝑃𝒩 𝐻 (𝑥ො − 𝑥ො𝑖𝑛𝑐 )||2 + ||𝑃𝒩(𝐻)⊥ (𝑥ො − 𝑥ො𝑖𝑛𝑐 )||2 ･･･ ⑤ 11

提案手法 (CEM) ||𝑃𝒩 𝐻 (𝑥ො − 𝑥ො𝑖𝑛𝑐 )||2 + ||𝑃𝒩(𝐻)⊥ (𝑥ො − 𝑥ො𝑖𝑛𝑐 )||2 ･･･ ⑤ • ⑤の第1項を0とする – 分離した成分のうち片方では，𝑥と ො 𝑥ො𝑖𝑛𝑐 は完全に一致させることができると考える – 一致させることができない要因（不良設定）はもう片方の成分に集約される 𝑃𝒩 𝐻 𝑥ො = 𝑃𝒩 𝐻 𝑥ො𝑖𝑛𝑐 ･･･ ⑥ 12

提案手法 (CEM) • これまでに得られた式を持って，𝑥を変形 ො 𝑥ො = 𝑃𝒩 𝐻 𝑥ො + 𝑃𝒩(𝐻)⊥ 𝑥ො = (𝐼 − 𝐻𝑇 𝐻𝐻𝑇 −1 𝐻)𝑥ො + 𝐻𝑇 𝐻𝐻𝑇 −1 𝐻𝑥ො = 𝐼 − 𝐻𝑇 𝐻𝐻𝑇 −1 𝐻 𝑥ො + 𝐻𝑇 𝐻𝐻𝑇 −1 𝑦 = 𝑥ො𝑖𝑛𝑐 − ℎ෨ ∗ 𝑘 ∗ ℎ ∗ 𝑥ො𝑖𝑛𝑐 ↓α ↑𝛼 +ℎ෨ ∗ (𝑘 ∗ 𝑦) ↑𝛼 𝐻 = (ℎ ∗ ∙) ↓ α 𝐻𝑇 = (ℎ෨ ∗ ∙) ↑ α (𝐻𝐻𝑇 )−1 = 𝑘 ∗ ∙ 13

提案手法 (CEM) • 「出力SR画像を低解像化したら，入力LR画像と完全に一致する」制約を かけていない従来のSR手法に組み込むことで，性能向上を確認 14

提案手法 (学習) • 画像のエッジの強さ（＝2階微分）に注目 – 画像の高周波な構造を最もよく表現している 𝑧 SRNet ℒ 𝑎𝑑𝑣 + λ𝑅𝑎𝑛𝑔𝑒 ℒ 𝑅𝑎𝑛𝑔𝑒 +λ𝑆𝑡𝑟𝑢𝑐𝑡 ℒ𝑆𝑡𝑟𝑢𝑐𝑡 + λ𝑀𝑎𝑝ℒ 𝑀𝑎𝑝 CEM SR画像 LR画像 15

提案手法 (学習) • ℒ𝑆𝑡𝑟𝑢𝑐𝑡 – 𝑧で指定した通りのエッジがSR画像に生成されるように学習するLoss • 入力の𝑧をランダムな空間的に一様な値とする • SR画像を2階微分し，出力されたエッジと入力𝑧が一致するように学習 ℒ𝑆𝑡𝑟𝑢𝑐𝑡 𝑧 SRNet CEM 2階微分 SR画像 LR画像 16

提案手法 (学習) • ℒ 𝑀𝑎𝑝 – HR画像と一致する（＝現実に観測される）SR画像を生成できるように学習するLoss • 𝑧をランダムな空間的に一様な値で初期化し，SR画像とHR画像の差が最も小さい𝑧を探索 • ↑で見つけた𝑧におけるSR画像とHR画像の差をLossとする ℒ 𝑀𝑎𝑝 = min | 𝜓 𝑦, 𝑧 − 𝑥| 𝑧 𝑧 SRNet LR画像 ℒ 𝑀𝑎𝑝 CEM SR画像 𝜓(𝑦, 𝑧) HR画像 𝑥 17

提案手法 (直感的なSRの編集) • 𝑧をユーザーが直感的に編集可能なGUIを構築 18

まとめ • 超解像は，1つの低解像画像に対して複数の妥当な予測結果が存在する不良設定問題 • コントロールシグナルにより，様々なSR画像を出力できる確率的モデルを提案 • SRの制約である「SR画像を低解像化したら，入力LRに一致する」ことを必ず満たすように 出力の修正を行うCEMを提案 • 直感的に予測結果を編集できるフレームワークにより，ユーザーが望む超解像画像を 獲得可能 19