[DL輪読会]Small-GAN: Speeding Up GAN Training Using Core-sets

DEEP LEARNING JP [DL Papers] “Small GAN: Speeding Up GAN Training Using Core-sets” Matsuo Lab, Ryo Okada http://deeplearning.jp/ 1

• http://deeplearning.jp/

Outline 1. 2. 3. 4. 5. 6. 書誌情報 概要 背景・先行研究 提案手法 実験 まとめ 2

書誌情報 • タイトル – Small-GAN: Speeding Up GAN Training Using Core-sets • 著者： – Samarth Sinha, Han Zhang, Anirudh Goyal, Yoshua Bengio, Hugo Larochelle, Augustus Odena 3

概要 • 概要 – GANは大きなミニバッチサイズによって精度向上が期待できる。ただし、バッ チサイズを大きくすると計算コストが増加し、学習時間増加やハードウェアリ ソースが問題となる。 – この論文では効果的に大きなバッチサイズの効果を獲得する手法を提案。 • Contributions – GAN系のモデルに適用可能なシンプルで、計算的に安価な効果的にバッチサイ ズを増やす方法の提案 – 画像生成のタスクにおいて精度向上 – GANベースの異常検知手法で精度向上 4

背景知識 • Core-set selection（K-center問題）とは – 点集合Qは点集合Pの部分集合。 – Core-setをQと呼ぶ。 – 与えられたPの中から、k個の集合Qを選ぶ問題。この時、Qの点から最も離れ た点pまでの距離が最小になるようにする。 • 例：Minimax facility location 問題 – 各利用者は最寄りの施設を利用すると仮定し、最大の移動距離を最小化する問 題。 – 正確な解を求めるのはNP困難とされるため、Greedy近似アルゴリズム（後ほ どアルゴリズムを記載）で求める。 – 本手法でもこのアプローチを利用。 5

関連研究 • Core-set SelectionはNP困難問題をに対する適切な近似解を見つける ために広く研究されてきた。 • クラスタリングやSVMなどの多くの機械学習とも組み合わされてきた。 • DLの文脈では過去全く研究されてこなかったが、近年注目が集まっ ている。 – Core-set sampling as a batch-mode active learning sampler for CNNs [Sener & Savarese, 2017] • Embeddingからサンプルする際に利用 – Continual learning to sample points for episodic memory [Nguyen et al., 2017] • 継続学習におけるエピソード記憶のためのサンプリングに利用 6

提案手法 Generative Adversarial Network (or GAN) GANにおけるCore-set Samplingの適用 • ２つのネットワークの敵対的学習 • 𝐺はprior 𝑧 ~ 𝑝(𝑧)を入力とし、学 習した分布𝐺(𝑧)を出力する • 𝐷は訓練データと生成されたサン プル𝐺(𝑧)を入力する。 • 生成されたサンプル𝐺(𝑧)がtarget distribution 𝑝(𝑥)から来たと思わ せるように𝐷を訓練する。 • ミニバッチを作成する既存のサ ンプリング操作を置き換える （以下２点） – 𝐿𝐷 = −𝔼𝑥~𝑝𝑑𝑎𝑡𝑎 log 𝐷 𝑥 – Prior distribution 𝒑(𝒛)からミニ バッチを作成するとき – Target distribution 𝒑(𝒙)からミ ニバッチを作成するとき − 𝔼𝑧~𝑝 𝑧 [log(1 − 𝐷(𝐺(𝑧))] – 𝐿𝐺 = −𝔼𝑧~𝑝 𝑧 [log 𝐷(𝐺 𝑧 )] 7

提案手法 Priorからのサンプリング Target Distributionからのサンプリング • Priorからサンプリングにおいて、Core-set Samplingを用いる。（比較的容易） • Targetからのサンプリングにおいて、Core-set サンプリング。 • 高次元かつ集中した画像データのため、ユー クリッド距離は表現上の意味を示さないこと が指摘されており、そのまま扱えない（難易 度高） 1. Prior distributionよりn個（最終的に欲しいkよ り大きいサイズ）をサンプリング。 2. Core-set selectionを用いてnサイズの中から、k のバッチサイズを選択。 1. 前処理として、訓練済みの分類機を用いてそ れぞれの画像のInception Embeddingを計算。 2. 更に、Inception Embeddingの結果にrandom low dimensional projectionsを用い、ユークリッ ド距離が表現的意味をもつ、低次元表現を獲 得する。 3. 低次元表現に対して、Core-set Samplingを使用。 8

提案手法 • • 基本は既存のミニバッチサンプリングす る箇所を置き換えているだけ。 なので様々なGAN系モデルに適用可能。 Priorからn個サンプリング Targetからn個サンプリング xのembeddingを取得 zのCore-setを取得 EmbeddingからCoreset取得 サンプルされたembeddingsに対応するxを取得する • • • Greedy近似アルゴリズム 𝑥からランダムに1点を選んで S に追加 Sがkのサイズになるまでループ • 𝑥の各点に対して最も近いSの点と の距離を取る • 上記のうち距離が最大の点𝑥をSに 追加 9

実験 1. ‘mode dropping’軽減の確認 2. GANベースの異常検知タスクへの適用 3. 画像生成への適用 10

実験 Experiments with large number of modes • Mode dropping（多様なモードを 学習できなくなる）に関わる検証。 • 10,000サンプルを生成し、検証。 • 生成した画像の品質と復元できた モードで評価。 • モードが増えるごとに通常のGAN はmode droppingが増加し、品質 が下がっていることがわかる。 Core-set Samplingは劣化が少ない。 11

実験 • 異常検知タスクにて効果を検証。 • Maximum Entropy Generator(MEG), Kumar et al. (2019)にCore-set Selectionを適用 し、比較検証を実施。 • MNISTデータセットを用い、特定 の１クラス訓練対象から省いて、異 常として扱い、評価時に利用。 Held-out Digitは異常クラスとして扱われた数字を 表す • 全てのケースに対して精度向上し、 BiGANを上回った。 • BiGANに適用しても同様の改善を 期待できると述べている。 Anomaly Detection on MNIST dataset • 12

実験 FID scores for CIFAR using SN-GAN • 画像生成タスクで検証。 • ２つのGANアーキテクチャ、２つのデータ セットで検証。 – – – – FID scores for LSUN using SAGAN Spectral Normalization GAN Self Attention GAN CIFAR LSUN（’outdoor church’カテゴリを使用） • 生成された50,000サンプルからFIDを計算。 • Core-set selectionによって、全てのバッチ サイズの元になるGANの性能が向上している。 • ただし、バッチサイズが大きくなると、 Core-set Samplingによる改善幅が減少。こ れはCore-set Sampling自体がバッチサイズ を大きくすることの代替となっているという 説と筋が通っており、より大きなバッチサイ ズを確保している状況では元からより多様な モードをカバーできていることが理由と考え られる。 13

実験 Timing to perform 50 gradient updates • 訓練時間への影響分析 • SN-GANでCore-setを使用した場 合と使用しなかった場合で比較 （50 gradient updates） • Core-setを使うと、1stepあたり、 0.024秒だけ計算時間が増加。 14

Ablation Study • 選択されたtarget distributionの重 要性とtarget distributionにおける Core-setの重要性を検証。 • Bの結果がSmall-GANより悪化して いることから、embeddingが効果的 であることが言える。 • Cの結果がSmall-GANより悪化して いることから、random projection • CIFARデータセットでSN-GANのFIDス により表現的な意味情報を保持しな コア がら次元削除できているという仮説 – A: SN-GANの結果 を支持。 – B: 画像から直接Core-set Selectionした結果。 • D、Eの結果がSmall-GANより悪化 – C: random projectionなしでInception していることから、Priorとtarget embeddingに直接Core-setを適用した結果。 distribution両方にCore-setを適用 – D: PriorだけにCore-set適用した結果。 した方が効果が高いことがわかる。 – E: target distributionにだけCore-set適用した結 FID scores for CIFAR using SN-GAN 果。 15

結論 • Core-set selectionを利用して、GANにおいて計算量を減らしつつ大 きなバッチサイズの効果を得る手法を提案。 • 異常検知、画像生成で効果を確認。 • バッチサイズが効果を上げる他の色々な学習タスクにも効果がありそ う 16

THANK YOU. 17