【論文サーベイ】Stochastic Differential Equations and Diffusion Models

Stochastic Differential Equations and Diffusion Model Keyword ● ● ● SDE: Stochastic Differential Equations SDEdit (inverse problem) 1

Summary 2

Stochastic Differential Equations and Diffusion Model Score-Based Generative Modeling through SDEs, (Score SDE) Y. Song, J. Sohl-Dickstein, D. P. Kingma, A.Kumar, S. Ermon, B. Poole [ICLR’21] SDEdit: Guided Image Synthesis and Editing with SDEs, (SDEdit) C.Meng, Y. He, Y. Song, J. Song, J. Wu, J. Zhu, S.Ermon [NeurIPS’21] Diffusion Models for Adversarial Purification, (DiffPure) W.Nie, B.Guo, Y.Huang , C.Xiao, A.Vahdat, A. Anandkumar [ICML’22] 3

• https://openreview.net/pdf/ef0eadbe07115b0853e964f17aa09d811cd490f1.pdf
• https://openreview.net/forum?id=aBsCjcPu_tE
• https://proceedings.mlr.press/v162/nie22a/nie22a.pdf

Background (1/3) Diffusion Model 4

Background (2/3) 確率微分方程式 (SDE) SDEは次式で与えられる ウィーナー過程はあらゆる点で微 分不可能 5

Background (3/3) 拡散モデルで扱うSDE 6

Score-Based Generative Modeling through SDEs, (Score SDE) Y. Song, J. Sohl-Dickstein, D. P. Kingma, A.Kumar, S. Ermon, B. Poole [ICLR’21] 7

• https://openreview.net/pdf/ef0eadbe07115b0853e964f17aa09d811cd490f1.pdf

連続化すると何が嬉しい ? Flexible sampling and likelihood computation - 様々なSDE-solverを使うことができ，サンプリング効率を上げられる - ODEに変換できる (後述) Controllable Generation - unconditionalなモデルに対して，scoreを使ってcondition可能 - classifier guidanceのような手法を用いてconditionを強くできる - class-conditional generation, inverse problemに対して応用できる 8

DDPMからSDEの導出 (Forward SDE) DDPMのForward と変換 9

DDPMからSDEの導出 (Forward SDE) DDPMのForward SDE 10

DDPMからSDEの導出 (Forward SDE) SDEの形 DDPMのForward SDE 11

DDPMからSDEの導出 (Reverse SDE) 導出 ※証明は省略 12

Euler-Maruyama法によるサンプリング 区間を再び離散化 Reverse SDE 13

評価 14

(余談) ODE化すると ? Exact likelihood computation - 次式で対数尤度を正確に評価できる Manipulating latent representations - データ点 を潜在空間 に射影できる - 再構成を使って正確に画像編集ができる 15

(余談) 実験結果 16

SDEdit: Guided Image Synthesis and Editing with SDEs, (SDEdit) C.Meng, Y. He, Y. Song, J. Song, J. Wu, J. Zhu, S.Ermon [NeurIPS’21] 17

• https://papers.nips.cc/paper/2021/hash/49ad23d1ec9fa4bd8d77d02681df5cfa-Abstract.html

FaithfulとRealisticの間のトレードオフ ノイズ 小 大 18

先行手法: GAN inversion Diffusion GAN inversion 手の情報が消滅 DiffusionCLIP [G. Kim, 2022] 19

評価 sample from stroke stroke-based edit 20

Diffusion Models for Adversarial Purification, (DiffPure) W.Nie, B.Guo, Y.Huang , C.Xiao, A.Vahdat, A. Anandkumar [ICML’22] 21

• https://proceedings.mlr.press/v162/nie22a/nie22a.pdf

評価 22

評価 23

評価 24

Summary 25