【論文紹介】Classifier-Free Diffusion Guidance

被引用数： 158 Classifier-Free Diffusion Guidance （NeurIPS 2021 Workshop）Jonathan Ho, Tim Salimans https://arxiv.org/abs/2207.12598 どんなもの？ 技術の手法や肝は？ Classifier Guidance ･ Diffusion Modelのサンプリングを分類器で補助することで，生成の忠実度 を高める手法 Classifier-Free Guidance ･ conditionalなモデルとunconditionalなモデルを同時に考えて，2つのモデ ルを使ってノイズを推定する Classifier-Free Diffusion Guidance ･ Classifierを用いないGuidance手法 先行研究と比べて何がすごい？ ･Classifier Guidanceでは，ノイズがかかった画像を使って分類器を訓練する 必要があり，アーキテクチャが複雑になっていた ･提案手法は，conditional diffusion modelのコードを数行変えるだけで導入 可能な手法 どうやって有効だと検証した？ ･ タスク: 条件付き画像生成 ･ データセット: class-conditional ImageNet 64x64, 128x128 ･ 評価指標: FID, IS ･ 比較手法: BigGAN, ADM, CDM 1 2023/01/11

• https://arxiv.org/abs/2207.12598

どんなもの? Diffusion Model - 概要 Reverse Process Forward Process DDPM [J Ho, NeurIPS 2020] 2

どんなもの? Diffusion Model - ノイズの定式化 Forward Process (ノイズ付与) をこういうふうに考える 分散の強さ (再パラメータ化 ) Reverse Process (ノイズ除去) は が小さいときガウス分布にしたがう なんとかこいつらを計算すれば，ノイズから画像を復元できる DDPM [J Ho, NeurIPS 2020] 3

どんなもの? Diffusion Model - ノイズの定式化 Forward Process (ノイズ付与) をこういうふうに考える 分散の強さ (再パラメータ化 ) Reverse Process (ノイズ除去) は が小さいときガウス分布にしたがう → ネットワークで計算 なんとかこいつらを計算すれば，ノイズから画像を復元できる DDPM [J Ho, NeurIPS 2020] 4

どんなもの? Diffusion Model - 学習 あるタイムステップ の画像 から， を生成するようなノイズの 平均と分散を予測したい 学習には教師データが必要 数学的な背景があって，ノイズの強さ を使ってこれを表せる ネットワークの出力はこれ DDPM [J Ho, NeurIPS 2020] 5

どんなもの? Classifier Guidance Classifier - ノイズ画像で訓練した分類器 Guidance - サンプリングの際に，ノイズ画像に対する分類器の勾 配 を使う 6

どんなもの? Classifier Guidanceの問題点 アーキテクチャが複雑 - 事前にノイズ画像を分類器で学習する必要があり，使いにくい 評価指標が良くない - 分類器の勾配を使ってサンプリングするので，分類器を使う評価指標 (FID, ISなど)の値が，想定 される値よりも良くなってしまう → Classifierを使わないGuidanceが欲しい 7

技術の手法や肝は? 提案手法: Classifier-Free Guidance 目的 - Classifierを使わずに，Classifier Guidanceと同様の効果を得る 手法 - conditionalなモデルとunconditionalなモデルを考えてノイズを予測 - unconditionalなモデル - conditionalなモデル の出力 no 1つのモデルで 2つのモデルを表す の出力 8

技術の手法や肝は? Classifier-Free Guidanceのイメージ イメージ conditional unconditional 9

どんなもの? Classifier-Free Guidanceの適用 学習時 条件付 サンプリング時 10

どうやって有効だと検証した? 定性評価 11

どうやって有効だと検証した? 定量評価 12