【DL輪読会】Semi-Parametric Neural Image Synthesis

DEEP LEARNING JP [DL Papers] Semi-Parametric Neural Image Synthesis Takeru Oba, Ukita Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 タイトル：Semi-Parametric Neural Image Synthesis 著者：Andreas Blattmann, Robin Rombach, Kaan Oktay, Jonas Müller, Björn Ommer (LMU Munich, MCML & IWR, Heidelberg University, Germany ) 会議：NeurIPS. 2022 2

概要 モチベ： 生成モデルの学習パラメータ数を減らしたい アイデア： NLPの分野では， RETROなどretrievalを利用した手法がモデルのパラ メータと計算コストを減らしつつ，SOTAと同等の精度を達成 本手法では，retrievalを利用して，データセットを学習しないパラメー タとしたSemi-Parametricな画像生成モデルを提案 Retrievalによって類似画像を獲得し，それをヒントとすることでモデル の学習パラメータを減らし，計算コストを削減 3

概要 Given: • 学習データセット • 検索用データセット • 距離関数(CLIP) 学習データとは異なると仮定 推論時に変更することも可能 学習せずに固定 – CLIPで得た特徴量間のCosine Similarity • 検索方法 – 距離が近い𝑘個のサンプルを検索用データセット𝐷から選ぶ 学習データ𝑥に近い𝑘個の サンプルからxを生成 • Diffusion • Autoregressive Model Target: • 生成モデル 尤度を最大化するようにパラメータ𝜃を最適化 4

提案モデル 5

提案モデル 学習手順 1. 学習データの画像𝑥 をサンプリング 2. 検索用データセット𝐷 𝑡𝑟𝑎𝑖𝑛 から検索方法 あ に従って画像x に近い データ を得る 3. 検索したデータ をエン コーダー𝜙から特徴量ベクトルを得る 4. 得られた特徴量ベクトルを入力として 画像𝑥 を復元するようにモデル𝑝𝜃 を 学習 6

提案モデル 推論方法 Class Condition： クラスに対応するデータをランダムサンプリング した後，その近傍データを検索 Unconditional Sampling： データセットからランダムサンプリングした後， 近傍データを検索（少し工夫しているので論文を 参考にしてください） Text Condition： CLIPを利用しているため，言語をエンコードした ベクトルから直接検索できる 7

実験結果（画像生成） Unconditionalで検索した画像からの生成結果 検索 結果 生成 結果 学習 データ の近傍 画像 学習データの近傍画像とは異なる画像が生成できている 8

実験結果（検索数と速度） 検索にはScaNNを使用．20の近傍データの検索時間は約0.95 ms 検索するデータの数を増やすとrecallが上がってprecisionが下がると いう結果が得られた． 9

実験結果（検索数と速度） 生成した画像がどれだけ実 データの分布の中にあるか 実データの画像がどれだけ生 成画像の分布にあるか RecallとPrecisionのイメージ 𝑃𝑔 が生成された画像の分布で𝑃𝑟 がデータセットの分布 (参考：Improved Precision and Recall Metric for Assessing Generative Models https://arxiv.org/pdf/1904.06991.pdf) 10

• https://arxiv.org/pdf/1904.06991.pdf)

実験結果（定量評価） Image Net (IN)の実験結果． RDM-OIは学習検索データをOpen Imagesにした結果 RDM-INは学習検索データもImage Netにした結果 ADMは比較手法でDiffusion base IC-GANはGANベース 11

実験結果（定量評価） ADMに比べてパラメータ数を減らしつつ様々な指標で高精度を達成 ただし，GANよりはパラメータ数が多い 12

実験結果（データセットの複雑さによる変化） データセットが複雑になると精度がどのように変化するかの検証 Dogs→Mammals→Animalsの順に複雑さを上げる 丸●が提案のsemi-parametricで四角■が従来のfull-parametric 同じ色の丸と四角を比較すると多くの場合において差が広がっている →semi-parametricの効果が大きい 13

まとめ まとめ データセットを学習しないパラメータとして利用する Semi-parametricな生成モデルを提案した． これにより，従来の手法よりも学習パラメータを少なくすることで 計算コストを削減 また，推論時の検索方法を変更することでクラスでの条件付けなど の様々なサンプリングが可能であることを示した． 14