【論文紹介】Novel View Synthesis with Diffusion Models

被引用数： 7 Novel view synthesis with diffusion model （ICLR 2023 openreview）Daniel Watson, William Chan, Ricardo Martin-Brualla https://arxiv.org/abs/2210.04628 どんなもの？ 3DiM: 3D Diffuison Model ･Novel View SynthesisのためのDiffusion Model ･single-shotでありながら，繊細にオブジェクトを表現可能 ･オブジェクトの忠実度は犠牲にしている 3D consistency of a generated object ･3次元的な一貫性に関する新たな評価指標を提案 先行研究と比べて何がすごい？ ･embeddingによるfew-shotな手法 -> オブジェクトがぼやける ･制限によるfew-shotな手法 -> 複数シーンへ汎化できない ･提案手法は複数シーンに汎化可能で，ぼやけずにオブジェクトを表現可能 な手法 技術の手法や肝は？ Diffusion Model ･GANなどに比べると，アーキテクチャが単純で，パラメータの調整が容易 Stochastic conditioning ･diffusion stepで確率的に入力の条件づけを行うことで，3次元的な一貫性 を保ったままオブジェクトを表現 どうやって有効だと検証した？ ･ タスク: novel view synthesis (signle-shot) ･ データセット: ShapeNet SRN ･ 評価指標: PSNR, SSIM, FID ･ 比較手法: SRN, PixelNeRF, VisionNeRF, CodeNeRF など 1 2022/11/09

• https://arxiv.org/abs/2210.04628

どんなもの? Diffusion Model - 概要 Reverse Process Forward Process DDPM [J Ho, NeurIPS 2020] 2

どんなもの? Diffusion Model - ノイズの定式化 Forward Process (ノイズ付与) をこういうふうに考える 分散の強さ (再パラメータ化 ) Reverse Process (ノイズ除去) は が小さいときガウス分布にしたがう なんとかこいつらを計算すれば，ノイズから画像を復元できる DDPM [J Ho, NeurIPS 2020] 3

どんなもの? Diffusion Model - ノイズの定式化 Forward Process (ノイズ付与) をこういうふうに考える 分散の強さ (再パラメータ化 ) Reverse Process (ノイズ除去) は が小さいときガウス分布にしたがう → ネットワークで計算 なんとかこいつらを計算すれば，ノイズから画像を復元できる DDPM [J Ho, NeurIPS 2020] 4

どんなもの? Diffusion Model - 学習 あるタイムステップ の画像 から， を生成するようなノイズの 平均と分散を予測したい 学習には教師データが必要 数学的な背景があって，ノイズの強さ を使ってこれを表せる ネットワークの出力はこれ DDPM [J Ho, NeurIPS 2020] 5

どんなもの? 3DiM - 概要 入力 - 完全なノイズ画像 - オブジェクトの画像 - カメラポーズ (R, t) ノイズ画像から，オブジェクトの画像を参照しながら別の 視点 (R, t)から見た画像を生成する カメラポーズ 6

どんなもの? 問題点: 3次元の一貫性 作成 入力 別の視点から見た画像 7

技術の手法や肝は? 対策: Stochastic conditioning 別の視点の画像を生成するとき，生成した viewのすべてを使って 条件付けする (実際には生成した viewの中からdiffusion stepの数だけランダムに選択する ) 8

技術の手法や肝は? 学習 9

技術の手法や肝は? 条件付け 10

技術の手法や肝は? アーキテクチャ: X-UNet 11

どうやって有効だと検証した? 定性評価 12

どうやって有効だと検証した? 定量評価 13

どうやって有効だと検証した? 評価指標: 3D consistency scores 14