【DL輪読会】Flow Matching for Generative Modeling

DEEP LEARNING JP [DL Papers] 論文紹介： Flow Matching for Generative Modeling Ryosuke Ohashi, bestat Inc. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 - ICLR2023 spotlight論文 - Diffusionモデルよりも効率良く訓練・サンプリングできるモデルを提案 2

背景：Diffusionモデル - 最近Diffusionモデルがめちゃ活躍している - 2D画像生成，動画生成，モーション生成，3Dモデル生成，… - Diffusionモデルの良い点・悪い点 - 良い点：安定した訓練，高品質＆多様性の高いサンプル生成 - 悪い点：訓練・サンプル生成に時間がかかる ⇒ 訓練・サンプル生成をもっと効率化できないか？ 3

Flow Matching 著者らはCNFを訓練する新しい方法「Flow Matching」を提案 4

補足：CNF CNF (Continuous Normalizing Flow) [Chen et al. 2018] データ空間の可逆変換のなめらかな列{Φ_t}で，Φ_0=idかつ，Φ_1が事 前確率分布p_0からデータ確率分布p_1への変換を誘導するもののこと p_0 ※p1がΦ_1による確率密度の変数変 換公式に従い与えられる，ということ 5

補足：CNF 実は，{Φ_t}を直接モデリングするより， その時間発展を記述するODEをモデリングしたほうが便利 v_t * Δt “=” Φ_(t+Δt) - Φ_t - v_tは可逆じゃなくてよい，解Φ_tは自動的に可逆になる - 複雑な変換Φよりも差分vのほうがMLPでフィッティングしやすい（ResNet的な） 6

Flow Matching Flow Matchingでは，何らかのCNFを定めるu_tを，MLP v_tにより近似 （推定）することを試みる 7

Flow Matching 著者らは，データ分布qからのサンプルのみが与えられているとき，サンプル 毎の「条件付きベクトル場」の列を使ってCNFを構成＆訓練できることを示 した： ①各データ x_1 に対し，次をみたす条件付き確率の列 を考える (σ << 1) ②境界確率分布の列を考える 構成により，p_0 = p，p_1はqの良い近似になっている 8

Flow Matching ③条件付き確率の列 を考える を誘導する「条件付き」ベクトル場 すると，次のベクトル場（が定めるODEの解）は，②の境界確率分布 の列を誘導する（論文中の定理１） ④u_tへのflow matchingは，以下のconditional flow matchingと同 値（論文中の定理２） 9

Flow Matching 条件付き確率の列がガウシアンで与えられている場合，条件付きベクトル場 の列も閉じた形で書くことができる： は次のような条件付きベクトル場から誘導される（論文中の定理３） 10

具体例① 拡散条件付きベクトル場 (Diffusion Conditional Vector Fields) とすると， 実はこれはODE版NCSN [Song et al. 2020]と同じCNFになっている ※ただし，Score MatchingではODEの係数の一部に現れるスコアのみをマッチングで求め，Flow MatchingではODEの係数そのものをマッチングで求める，という違いがある 11

具体例② 最適輸送条件付きベクトル場 (OT Conditional Vector Fields) とすると， このベクトル場は，最適輸送の理論でdisplacement interpolationと呼ば れる特別な変換になっているらしい 12

実験結果 CIFAR-10，downsampled ImageNetの条件なし生成モデルの性能比較 Flow Matching w/ OT CVFsにより， 既存研究より高品質なサンプルを半分以下のサンプリングステップ数で生成 できることを実験的に示した 13

実験結果 DDPMよりもFIDスコアが順調に下がる 14

実験結果 サンプリング効率もよい ※Flow Matchingでは，サンプリングはODEを数値的に解いて行う SDEを解くより数値誤差を押さえやすく効率が良くなるらしい 15

まとめ・感想 まとめ - CNFの新しい訓練アルゴリズム「Flow Matching」を提案 - Diffusionよりも効率的に訓練・サンプリングできるモデルを提案 感想 - Flow Matchingの定式化は幾何的にイメージしやすい点がいいと思った - 今後実際に何かに試してみたい 16