[DL輪読会]AVID:Adversarial Visual Irregularity Detection

DEEP LEARNING JP [DL Papers] AVID: Adversarial Visual Irregularity Detection Shizuma Kubo, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • 著者: Mohammad Sabokrou (Institute for Research in Fundamental Sciences), et al • submitted on 17 Jul 2018 on arXiv (https://arxiv.org/pdf/1805.09521.pdf) • 著者は異常検知関係の論文が多い - Adversarially Learned One-Class Classifier for Novelty Detection (CVPR2018) / ALOCC https://arxiv.org/abs/1802.09088 （これを異常検知にした感じの雰囲気） - その他の論文 https://scholar.google.com/citations? hl=en&user=jqHXvT0AAAAJ&view_op=list_works&sortby=pubdate 2

• https://arxiv.org/pdf/1805.09521.pdf
• https://arxiv.org/abs/1802.09088
• https://scholar.google.com/citations?

モチベーション • 画像の異常検知をやる機会がいくつかありそう。どういうのがあるか読んでみた かった。（今回の論文の内容は画像だけではなく動画にも適用されている） • 実際に異常検知をする上で、異常データ（教師データ）が少ない場合が多く、教 師なしで異常を検知できる手段としてGANが利用されている研究が出ていて、そ の辺りを追いたい。 3

要点 (1) end-to-endな学習で(画像のフレームをいくつかのパッチに分けるpatch-base ではなく、)画像全体の異常の検知と位置の特定を行うdeep neural networkの モデルを提案した。 (2) patch-levelとpixel-levelの2つのネットワークをテスト時に用いることで、効率 的な学習ができ、また、pixel-levelのモデルの高い偽陽性の割合を低減すること ができる。 4

目次 1. 2. 3. 4. 既存の異常検知 提案手法 実験 まとめ 5

目次 1. 2. 3. 4. 既存の異常検知 提案手法 実験 まとめ 6

異常検知の難しさ 検知したいデータにラベルがついていれば、教師あり学習を行うことができる。 検知したいデータのラベルは少ない。 検知したい異常を定義すること自体が難しい場合もある。 そこで、教師なし学習。 高次元な画像データに対しても高い表現力を持つ GANを利用した異常検知手法が提案されている。 7

異常検知 x deep learning手法の課題点 (1) 異常のラベルがついたデータがほとんどなかったり、存在しない場合、CNNで 教師ありの学習をするようなことは難しい。 (2) GANベースでのアプローチの場合、学習に多くの時間を使うわりに、 discriminatorは使われないなど非効率。また、パッチベースのアプローチで遅 い。 8

既存手法 1. 再構成誤差から異常を検出 • Finding Anomalies With Generative Adversarial Networks for a Patrolbot (CVPR2017) – 画像の一部をクロップして、再構成する。 – 通常時のように画像が再構成されるはずなので、異常の場合、 元の画像と再構成の画像の差が大きくなる。 9

既存手法 2. 潜在変数から異常を検知 • AnoGAN (Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery) – Generatorは正常データの分布に従って生成する。 – 正常画像であればx = G(z)となるようなzが存在するはず。 – 存在しない場合は異常と判断する。 10

既存手法 2. 潜在変数から異常を検知 • AnoGAN (Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery)の進化版シリーズ↓ (実装: https://github.com/tkwoo/anogan-keras ) • Anomaly Detection with Generative Adversarial Networks (ICLR2018 reject) https://openreview.net/forum?id=S1EfylZ0Z (学習の効率化、異常度の算出の工夫) • Efficient GAN-Based Anomaly Detection (ICLR2018 reject) https://openreview.net/forum?id=BkXADmJDM (zの探索の必要性をなくす) 11

• https://github.com/tkwoo/anogan-keras
• https://openreview.net/forum?id=S1EfylZ0Z
• https://openreview.net/forum?id=BkXADmJDM

目次 1. 2. 3. 4. 既存の異常検知 提案手法 実験 まとめ 12

提案モデル • I (Inpaint)がGeneratorに相当し、D(Detect)がDiscriminatorに相当する。 • 学習には正常画像のみを使用する。 • 入力Xはノイズを入れた正常画像で、I はノイズを取り除いた画像を生成するよう に学習させる。D は I が生成した画像と学習データ内の画像を識別する。 13

Inpaiting Network (Generator側) • 直接的に異常を検知するのではなく、入力画像から異常を消すように作用する。 • アーキテクチャとしてはU-Netで正常画像のみで学習される。 学習時は正常画像にガウシアンノイズを加えたものを入力とする。 テスト時は異常部分が消えるイメージ。 14

Detection Network (Discriminator側) • セマンティックセグメンテーションで用いられるFCNの構造をとっている。 • 入力画像に対して、異常領域を検出するように学習する。 ヒートマップで表すとイメージがつきやすい→ 15

学習方法 • 一般的なGANの学習 • 提案手法の学習 は行列 16

異常の判定の仕方 • I (Generator側)がpixel-levelの検出、D(Discriminator側)がpatch-levelの検出を 行う。 • I側はテスト画像と生成画像の差で異常かどうかを判定する。異常がない場合は はゼロに近くなるが、異常がある場合は値が大きくなる。 • D側は各領域に対する出力を閾値より下かどうかで異常を判定する。 • 両者を考慮して以下の条件に当てはまるものを異常として定義する。 17

目次 1. 2. 3. 4. 既存の異常検知 提案手法 実験 まとめ 18

データセット 1. UCSD: 歩行者が通行している画像(定点カメラを10fps)。自動車や自転車があ ると異常値となる。Ped1とPed2の2つのサブセットが用意されている。 2. UMN: 歩行者が通行している動画。急に歩行者が走り出す。(動画) 3. IR-MNIST: 3が抜けたMNIST。テスト時だけ3が出てくるのでそれを異常とする。 UCSD 正常画像 UCSD 異常画像 19

結果1 (UCSD) • FL(フレームレベル): 1pxでも異常と検出されれば異常。 • PL(ピクセルレベル): 最低でも40%をground-truth と合致させる。 • ラストカラムの意味 – D: deeplearning使用 – E: end-to-endの学習 – P: patchベースの学習か否か 20

結果1 (UCSD) 入力画像 Iの出力画像 21

結果2 (UMN) • 正常状態と異常状態と変化状態しかない単純なデータセットのため、frame-level のEERとAUCを算出。 動画のためには以下の手法でプリプロセスを行う。(著者の別論文) Deep-anomaly: Fully convolutional neural network for fast anomaly detection in crowded scenes https://arxiv.org/abs/1609.00866 22

結果3 (IR-MNIST) I (Generator側)の入力と出力 D (Discriminator側)の出力のヒートマップ 23

結果3 (IR-MNIST) • 異常のThresholdを変化させて結果を記録。 24

目次 1. 2. 3. 4. 既存の異常検知 提案手法 実験 まとめ 25

まとめ • 2つのネットワーク(I, D)をadversarialに学習し、教師なしで異常検知を行う効率 的なモデルを提案。 – I (Generator側): 正常画像の再構成を学習することで、異常画像を再構成したときの差で異常 を検知する。 – D (Discriminator側): 入力画像の区切った各領域に対してどれくらい異常の可能性があるかを 判定する。 • 異常画像が使えなくても異常を検知できるように学習をおこなうことができた。 • Pixel-levelの手法とpatch-levelの手法の利点を合わせた手法となった。 26