[DL輪読会]ICLR2020の分布外検知速報

DEEP LEARNING JP [DL Papers] Out-of-Distribution 論⽂速報 in ICLR2020 Hirono Okamoto, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

ICLR2020に投稿された論⽂が公開された 分布外検知に関係する論⽂をいくつか眺めてみた(だけので想像で話しているかもしれません) n リンク: https://openreview.net/group?id=ICLR.cc/2020/Conference n タイトル⼀覧: n n Out-of-Distribution Image Detection Using the Normalized Compression Distance n Deep Generative Classifier for Out-of-distribution Sample Detection n Learning Out-of-distribution Detection without Out-of-distribution Data n Improving Dirichlet Prior Network for Out-of-Distribution Example Detection n Zero-Shot Out-of-Distribution Detection with Feature Correlations n How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in Neural Networks n Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks n 所感: 今年めちゃくちゃOOD検知多い気がする(︖)・紹介するのは⼀部

• https://openreview.net/group?id=ICLR.cc/2020/Conferenc

そもそも分布外(Out-of-Distribution)検知とは? n あるカテゴリ以外のカテゴリを検知するという問題 が多い n 異常検知とは異なる(含めることができるが) n 似た問題設定 n Open set recognition: n In-distributionの分類 + OOD検知 n Generalized zero-shot learning: n In-distributionの分類 + OODの分類 ⼈が想像する異常検知

背景: OOD検知の基本的な２つの問題設定 n 1: 教師なし異常検知(訓練分布のラベルが与えられない) 訓練データ n 異常 正常 テストデータ 2: 教師あり異常検知(訓練分布のラベルが与えられる) ⽝ ⿃ 訓練データ 正常 テストデータ 今回は2の論⽂に着⽬する 異常

とくに今回⽐較された⼿法達 n A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks (ICLR 2017) n ソフトマックスの出⼒の最⼤値をOODの指標として使う n アイデア: OODは予測分類が曖昧になるはず n ex) 3クラスのとき，[0.9, 0.05, 0.05]→正常, [0.3, 0.3, 0.4]→異常 n A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks (NIPS 2018) n 訓練分布から離れたところのサンプルを検出できるように，ソフトマックス層の⼀層前の出⼒の分布 を正規分布であることを仮定し，そこからどれだけ離れているかという⽅法でOOD検知を⾏う n Predictive Uncertainty Estimation via Prior Networks (NIPS 2018) n (a): 正常データを正しく予測できるとき(confident) n (b): 正常データだが，どのラベルに属しているか わからないとき(known-unknown) n (c): 異常データ(unknown-unknown)

Out-of-Distribution Image Detection Using the Normalized Compression Distance モチベーション: OODデータを全く使わず，モデルをretrainすることなくOOD検知したい n 既存研究: A Simple Unified Framework for Detecting OOD Samples and Adversarial Attacks n n 最後から⼆番⽬の層において，マハラノビス距離を使ってOODを検知する n さらに，CNNの特徴マップのglobal average poolingを組み合わせる n しかし，組み合わせ⽅が，ロジスティック回帰であるため，turning⽤のOODが必要になってしまう n やったこと: 系列の類似度を測る⼿法(normalized compression distance)の導⼊ n 複数の指標からOODであることを判定することができる n 実験: OODを全く訓練時・テスト時に使ってないにもかかわらず強い Lee 2018について解説したスライド: https://www.slideshare.net/ssuser9eb780/nips-2018-139360134

• https://www.slideshare.net/ssuser9eb780/nips-2018-139360134

Deep Generative Classifier for Out-of-Distribution Sample Detection n やったこと: クラス条件付きガウス分布を学習することによって，信頼度スコアを算出する ⽩点: OOD ⾊点: 正常データ 左: softmax classifier 右: generative classifier クロスエントロピー項 中⼼に近づける項 metric learningでいうcenter loss 既存研究: (Lee, 2018)とほぼ同じだが，これはガウス分布になるように改めて訓練している n 結果: そこまで良くない n

Learning Out-of-distribution Detection without Out-of-distribution Data モチベーション: ハイパラチューニングをあるOODデータセットでした場合，他のOODデー タセットに汎化しない問題を解決したい → そもそもin-distributionのデータしか使わない n やったこと: 賢い n n OODかIDのドメインを仮定した確率分布をモデルにうまく組み込んだ n 実験: 強い．まいった OOD判定

Improving Dirichlet Prior Network for Out-of-Distribution Example Detection n 関連研究: Estimating Predictive Uncertainty via Prior Networks n in-distributionだがあいまいなデータ と OOD を分類する⽅法を提案した モチベーション: 関連研究のロス関数が若⼲雑なので，うまいことしたい n やったこと: ディリクレ分布のとんがり具合をコントロールする正則化項を追加した n n 結果: 良さげではあるが...? prior networks スライド参考: https://www.slideshare.net/DeepLearningJP2016/dlestimating-predictive-uncertainty-via-prior-networks

• https://www.slideshare.net/DeepLearningJP2016/dlestimating-predictive-uncertainty-via-prior-networks

Zero-Shot Out-of-Distribution Detection with Feature Correlations モチベーション: モデルのretrainなし・OODにアクセスなしで，OOD検知をしたい n やったこと: n n グラム⾏列使ってクラス条件付き異常を検知する n L番⽬の層のチャネルの相関を⾒ている n 結果: 良い 良い関連⼿法のまとめ

How the Softmax Activation Hinders the Detection of Adversarial and Out-of-Distribution Examples in Neural Networks n 所感: この現象は誰もが感じていたのではないだろうか

Out-of-Distribution Detection Using Layerwise Uncertainty in Deep Neural Networks モチベーション: in-distributionだがあいまいなデータ と OOD をちゃんと分類したい n やったこと: 各層の不確かさをとって，それらを組み合わせてOODを判定した n n 結果: 良さげ