【DL輪読会】Reflash Dropout in Image Super-Resolution

DEEP LEARNING JP [DL Papers] Reflash Dropout in Image Super-Resolution Presenter: Kazutoshi Akita (Toyota Technological Institute, IntelligentInformation Media Lab) http://deeplearning.jp/ 1

• http://deeplearning.jp/

論文情報 • 論文名：Reflash Dropout in Image Super-Resolution (CVPR2022) • 著者：Xiangtao Kong1,2,4, Xina Liu1,2, Jinjin Gu3,1,4, Yu Qiao1,4, Chao Dong1,4 1ShenZhen 2University 3The Key Lab of Computer Vision and Pattern Recognition, SIAT-SenseTime Joint Lab,Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, of Chinese Academy of Sciences, University of Sydney, 4Shanghai AI Laboratory, Shanghai, China • URL: Paper: https://openaccess.thecvf.com/content/CVPR2022/html/Kong_Reflash_Dropout_in_Image_Super-Resolution_CVPR_2022_paper.html Git: https://github.com/XPixelGroup/RDSR ※本資料の図は，言及がなければ自作あるいは上記論文からの引用 2

• https://openaccess.thecvf.com/content/CVPR2022/html/Kong_Reflash_Dropout_in_Image_Super-Resolution_CVPR_2022_paper.html
• https://github.com/XPixelGroup/RDSR

概要 • 超解像（≒CNNによる画像復元・回帰）に対してDropoutを採用 • 適切な条件下では生成される画像の品質が向上することを確認し，分析を行った 3

Dropout • 学習時にある割合のノード出力を0にすることで過学習を抑制し，汎化性能を向上させる手法 – オリジナルはFC layerに対して提案 • Conv layerに対しては， 1. Channel-wise Dropout：一部チャネルを全ピクセルを0に 2. Element-wise Dropout：一部ピクセルを全チャネルを0に が用いられることがある 出典：http://jmlr.org/papers/v15/srivastava14a.html 4

• http://jmlr.org/papers/v15/srivastava14a.html

Dropout for Super-Resolution • 超解像に対して用いられるのは非常に稀 – 自己教師あり学習が可能（= 低解像化&劣化の過程が既知）という問題設定で発展してきたため • 実用上は劣化過程が未知であるため， 近年はBlind SRやReal-image SRの分野が発展 • Blind SR/Real-image SRでは未学習の劣化に対しても汎化する 必要があり，Dropoutのような正則化に需要がある – 直感的・経験的に，画像の復元に対してのDropoutはよくないと考えられてきたため • ネットワークの一部の要素が欠如した状態で画像の復元が難しいのではないか？ • 実験的に確認されているわけではない 実際にDropoutが超解像に対して有害なのかどうかを様々な条件で検証 5

実験① • Dropoutをネットワーク中で1回だけ適用する場合の検証 – 劣化過程：Bicubic Down-scaling – モデル：SRResNet – 学習データ：DIV2K – テストデータ：BSD100 – 拡大倍率：4倍 – 適用位置5種 (B4, B8, B12, B16, Last-conv) – Dropout確率4種(p=0, 0.1, 0.2, 0.3) – Channel-wise Dropout or Element-wise Dropout 6

実験① Channel-wise Dropout Element-wise Dropout • ネットワークの最終層直前にのみDropoutを適用すると，どの場合でも性能低下しない or やや性能向上 • Dropout適用位置が最終層から離れるにつれて性能が低下する傾向 • Dropout確率が高いほど性能悪化 7

実験② • 複数回Dropoutを利用する場合の検証 – 各Conv layerの後と，Residual Connectionの後にDropoutを行うDropped Residual Blockを利用 – 劣化過程：Bicubic Down-scaling – モデル：SRResNet – 学習データ：DIV2K – テストデータ：BSD100 – 拡大倍率：4倍 – 適用位置3種(quarter, half, all) – Dropout確率4種(p=0, 0.1, 0.2, 0.3) – Channel-wise Dropout or Element-wise Dropout 8

実験② Channel-wise Dropout • Dropout回数が増えるにつれて性能が悪化 • Element-wise Dropoutのほうが性能悪化が顕著 • Dropout確率が高いほど性能悪化 Element-wise Dropout 9

実験①・②まとめ • 実験①，②から – 最終層直前 – Channel-wise Dropout であれば，Dropoutは超解像に対して悪い影響がない 10

実験③ • 次に，前述の設定で，劣化過程をBicubic Down-scalingに限定しない場合を実験（今後Real-SRResNet等と記述） – 劣化として，以下の設定をランダムに画像に付加して学習 • Bicubic down-scaling • Gaussian Blur • Gaussian Noise • JPEG compression • これらの混合 – モデル：SRResNet, RRDB – 学習データ：DIV2K – テストデータ：Set5, Set14, BSD100, Manga109, Urban100 11

実験③ • 学習した劣化(In-distribution)でテスト • ほとんどの場合で，Dropoutの適用に より性能向上が確認 12

実験③ • 学習した劣化(In-distribution)でテスト • ほとんどの場合で，Dropoutの適用に より性能向上が確認 13

実験③ • 学習してない劣化（Out-of-distribution）でテスト – NTIRE 2018 SR challenge で利用されたReal-image SR用のデータセットでテスト – 解像度の違う2つのカメラで撮影した画像をLR/HRペアとしており，劣化過程が完全に未知 • Dropout利用によって性能向上が確認できる 14

結果分析 • なぜDropoutの利用によって性能が向上したのか？ – Classificationタスクにおいて，co-adaptionを抑制できるため過学習を回避できると説明 • Co-adaption：ある特徴量が他の特徴量に強く依存する ≒ 他の特徴量がないとまともに機能しない – 同様の現象がSRタスクにおいても発生しているかどうかを以下により確認 • 特徴量マップの可視化 • 勾配ベースのSaliencyの可視化 (by CMS) • Channel ablation 15

結果分析 • Dropoutなしの場合，特定チャネルに – Saliencyが強く発火 – 特徴量マップが強く発火 – マスクをかけると著しく性能悪化 • Co-adaptionが発生している 16

結果分析 • w/ Dropoutとw/o Dropoutで比較 • DropoutによってCo-adaptionが抑制されている [] G. E. Hinton et al., “Improving neural networks by preventing co-adaptation of feature detectors”, arXiv, 2012 17

結果分析 • 次に，Dropoutによる，複数の劣化に対する汎化性能の確認 – 同じ画像に対して異なる劣化を付加しても， 同じ特徴量を抽出できていれば劣化に対して汎化 – 分布の可視化およびクラスタ間距離（CHI）により 確認 • Dropoutによって，同じ画像が同じ特徴を 抽出できるようになっている 18

まとめ • 超解像では，最終層直前にChannel-wise Dropoutを適用することで， – 単一の劣化を仮定する場合でも性能悪化はしない – 様々な劣化を仮定する場合に大きく性能向上 • 所感 – 最終層にのみDropoutを適用するという非常にシンプルな方法で大きく性能向上ができており，応用性が高い • Transformerなどを利用した新たなSRネットワーク構造に対しても容易に適用可 – 画像の復元という分野全体に対して拡張可能性がある？ • Auto-Encoder，Variational Auto-Encoder，Diffusion Model – 最終層以外にDropout・複数回Dropoutの場合に性能が低下する理由については議論されておらず，研究の余地あり？ 19