[輪読会]“Learning Loss for Test-Time Augmentation (NeurIPS2020)”

DEEP LEARNING JP [DL Papers] “Learning Loss for Test-Time Augmentation (NeurIPS2020)” Naoki Nonaka http://deeplearning.jp/ 2020/11/20 1

• http://deeplearning.jp/

目次 • 書誌情報 • 背景 • 提案手法 • 実験 • まとめ 2020/11/20 2

書誌情報 • 会議︓NeurIPS 2 0 2 0 • 著者︓ Ildoo Kim, Y o u n g h o o n K i m et al. （Kakao Brain） 2020/11/20 3

概要 Tes t - t i m e a u g m e n t a t i o n (TTA) の手法を提案した論文 I ns t ance のl os s を予測し， I ns t anc e ごとにa u g m e n t a t i o n を選択 I m ageN et , C I FA R - 100を用いた実験により頑健性の向上を示した TTA 推論時にもD a t a a u g m e n t a t i o n を行い，精度を向上させる手法 2020/11/20 4

背景  学習時のD a t a a u g m e n t a t i o n 手法が提案され，有効性が示されている  テスト時のd a t a a u g m e n t a t i o n も一部で提案されているが，計算効率が悪い テスト時に用いる効率的なd a t a a u g m e n t a t i o n を提案 2020/11/20 5

提案手法 従来のt e s t tim e a u g m e n t a t i o n 提案手法 あらかじめ決められたa u g m e n t a t io n を 加えた入力ごとの予測の平均 A ug m e n ta t io n ごとにLos s の大きさを算出し， l o s s の小さい予測を採用 2020/11/20 6

提案手法 2020/11/20 7

提案手法 Θ"#$%&" 2020/11/20 8

提案手法 1 . ネットワークΘ "$#+," を学習 !"#$%&でパラメータを学習し， ! ' $ ( % ) で評価 （通常の学習と同じ） Θ"$ #+, " !"#$%& !'$(%) 2 . ネットワークΘ ( - . . を学習するためのデータを準備 !"#$%&を! " # $ % & /( - .. と! ' $ ( % ) / ( - . . に分割し，全サンプルのL o s s を計算 !(-. . /"#$ % & !"#$%& !(-. . /'$ (% ) 2020/11/20 9

提案手法 3 . ネットワークΘ"#$$を学習 %&'()*+"#$$でパラメータを学習し， %,(")-+"#$$で評価 Θ &('./& での損失とΘ"#$$による予測損失の間のスピアマン順位相関を損失としてΘ"#$$を学習 Θ &('./& （固定） Θ"#$$ SoDeep: a Sorting Deep net to learn ranking loss surrogates 2020/11/20 10

実験 C o r r u p t したC I FA R - 100およびI m ag e N et で実験  C I FA R - 100での実験  従来手法とのエラー率の比較  未知のC or r upt i on の影響分析  I m ageN et での実験 2020/11/20 11

実験 ◼ 1 5 種類のc o r r u p t i o n (c)を導入 ◼ 各c o r r u p t i o n は5 段階のs everity (s ) 評価指標: Un n o rm a li z e d a v e r a g e co rru p t i o n erro r Benchmarking Neural Network Robustness to Common Corruptions and Perturbations (ICLR2019) 2020/11/20 12

実験 ◼ R a n d o m にT e s t time a u g m e n t a t i o n を選択する場合と比較して， 全ての条件で低いエラー率 ◼ 従来手法（ C e n t e r - C r o p , H orizontal-F lip, 5 - C r o p s ） と比較して， C o r r u p t e d 条件で低いエラー率，Cleanでも同程度のエラー率 従来手法と比較して，Corruption に対して頑健なt e s t - t i m e a u g m e n t a t i o n 2020/11/20 13

実験 学習時のA ug m e n t a t ion 手法やモデル構造を変更した場合にも同様の傾向 2020/11/20 14

実験 データに含まれるcor r u pt i o n の情報を用いた場合の変化を分析 ◼ AugMix: AugMixを用いて学習 -> c o rru p t i o n ごとにエラー率を評価 ◼ AugMix+: AugMixにNo i se , Blur, W e a t h er , Digitalの1 5 種のc o rru p t i on を加えて学習 -> c o rru p t i o n ごとにエラー率を評価 ◼ 提案手法: AugMixを用いて学習 -> No i s e , Blur, W e a t h e r , Digitalの1 5 種のc o rru p t i on を加えてL o s s p re d i c t o rを学習 -> c o rru p t i o n ごとにエラー率を評価 2020/11/20 15

実験 太字: エラー率が1 % 以上改善 赤字: エラー率が1 % 以上悪化 ◼ A ugM ix+では，clean t e s t - s e t でのエラー率が高い ◼ 学習時に存在しなかったC o r r u p t i o n でのエラー率の改善が安定しない ◼ 提案手法では，安定してエラー率が低下する傾向が見られる 未知のC o r r u p t i o n に対して優れた汎化性能を示す 2020/11/20 16

実験 データに特定のcor r upt i o n が含まれると仮定して実験 （実験2 のより極端な場合） ◼ 4 つのBlur c o r r u p t i o n を追加して学習 ◼ L o s s p r e d i c t o r 学習時にも追加 2020/11/20 17

実験 ◼ A ugM ix, F a s t A utoA ug： 学習時にBlurを含めるとT e s t 時のエラー率が悪化 ◼ 提案手法： 学習時にBlurを含めてもT e s t 時のエラー率は悪化しない 学習時のC o r r u p t i o n に対して頑健なモデルにできる 2020/11/20 18

実験 従来手法と比較して，Corruption に対して頑健なt e s t - t i m e a u g m e n t a t i o n 2020/11/20 19

実験 入力データとL o s s を最小化すると予測されたt r a n s f o r m a t i o n の例 2020/11/20 20

まとめ T es t - t i m e a u g m e n t a t i o n の手法を提案 T ra n s fo r m a tion が適用された場合の損失を予測し， その値をもとに入力に適したt r a ns f or m a t i o n を選択 I m ageN et , C I FA R - 100において従来手法と比較して頑健性を 向上できることを示した 2020/11/20 21