[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations

DEEP LEARNING JP [DL Papers] GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations Kento Doi, Matsuo lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • 著者 – Oxford Universityの研究グループ • ICLR2020 under review – スコアが6-6-8なので多分通る?? • 選定理由 – シーン認識において、その構造を理解することは大切 – 特に、潜在表現をシーンを構成する物体ごとに分離したいというモチベーショ ンに共感した ※画像は特に記述のない場合は本論文からの引用 2

論文概要 • モチベーション – シーンの構造を明示的に捉えることのできる潜在変数モデルを作りたい – このとき、物体同士の相互関係も考慮したい • 本論文の貢献 – 物体同士の相互関係を捉えることで, シーンの分解と生成が可能な物体指向の 生成モデルを初めて提案 • シーンの潜在表現を構成要素ごとに分解 • 自己回帰モデルで潜在表現を計算 (物体同士の相互関係をモデリング) • 各潜在表現をdecodeして得られるspatial GMMで画像を表現 – 3D環境をレンダリングした画像データセットで実験 • シーンを構成要素ごとに分解しつつ, 一貫性のあるシーンを生成できた • 学習した潜在表現を用いて積み木が不安定化どうか分類することができた – PyTorch実装を公開 (ありがたい) 3

先行研究 • 確率的生成モデル – エビデンス 𝑝𝜃 𝑥 を最適化 – 例) VAE … 潜在変数zを仮定しエビデンスの下限 (ELBO) を最大化して学習 • シーンの構成を考慮した確率的生成モデル • 潜在変数を構成要素ごとに分解することで, 𝑝𝜃 (𝑥)にシーンの構成的な性質を捉 えさせたい • MONET [Curgess+ 2019], IODINE [Greff+ 2019]が同じモチベーション • これらの手法には以下の課題が × 潜在表現が独立しているため, 物体の相互関係をモデリングできない × CNNによる演算を繰り返すので複雑なシーンにスケールしない ➢ GENESISはこれらの問題を解決 ✓ 物体間の相互関係を自己回帰モデルにより考慮 ✓ 潜在空間は低次元 (CNNの重い計算を繰り返さないので計算効率が良い) 4

先行研究: MONet • マスクの生成→VAEでマスク領 域を再構成 という処理を再帰的 に繰り返し行う • マスクの生成の際にCNNの計算 をマスク数分だけ行うため計算 効率が悪い (GENESIS比) • GENESISとモデル自体はそこま で変わらない C. Burgess et al. “MONet: Unsupervised Scene Decomposition and Representation”, 2019. 5

先行研究: IODINE • 複数物体があるシーンについて, 物体の領域と その見え方をモデリングする – 領域ごとに潜在変数を分離する考え方はGENESISと 同じ • iterative refinementという手法を用いて潜在 変数を段階的にアップデート – 計算コスト高 • 物体ごとの相互関係をモデリングできない K. Greff et al. “Multi-Object Representation Learning with Iterative Variational Inference”, ICML, 2019. 6

提案手法: 生成モデル • Spatial Gaussian mixture model (GMM) – 画像生成を画像と同じ次元のGMMで定式化 – 画像 : – 構成要素: – 混合比 : – 混合比は対応する構成要素の存在を表す”マスク”のような扱い – 混合比の各ピクセル位置での和は1 7

提案手法: 生成モデル • 混合比𝜋𝑘 は対応する潜在変数𝑧𝑘𝑚 により定まる – 添字のmはマスクの意味 𝑚 • K個のマスクの潜在変数𝑧1:𝐾 は, 物体同士の相互関係を考慮するために 自己回帰モデルで計算する – 𝑢𝑘 はRNNの隠れ状態 – 自己回帰モデルの出力は前の時刻の出力に依存するので, 潜在変数の依存関係 をモデルかできる 8

提案手法: 生成モデル • シーンの構成要素𝑥𝑘 はその位置𝑧𝑘𝑚 が与えられたもとで条件付き独立 • 各構成要素𝑥𝑘 に対応する潜在表現𝑧𝑘𝑐 は以下のように与えられる 𝑚 𝑐 • 画像の尤度は𝑧1:𝐾 , 𝑧1:𝐾 から次のように計算される – ただし, 混合比 (マスク) 𝜋𝑘 は以下のようにstick-breaking process [Burgess+ 2019] で𝑧𝑘𝑚 から デコードされる 9

提案手法: 生成モデル • GENESISの生成モデルは結局以下の式で書ける – 確率分布は全てガウシアン – マスクと各構成要素の潜在表現を分けているところがポイント – 実験では潜在表現を分けない確率モデル (GENESIS-S) と比較 10

提案手法: Approximate posterior • ここまではpriorから画像を生成する話 • 画像が与えられた時のposteriorはamortise inferenceで推論する – Amortized Inference…潜在変数を1つ1つ最適化するのではなく関数で推論するhouhou 11

提案手法: Learning • VAEなどど同様, ELBOの最大化で学習 • ここで, 推定した潜在変数𝑞𝜃 = 𝔼𝑝𝑑𝑎𝑡𝑎 (𝑥) [𝑞∅ 𝑧 𝑥 ]がpriorのガウス分布から乖離す ることで, priorから潜在変数をサンプルして生成した画像の質が大きく低下する ことがある ➢ 代わりにGeneralised ELBO with Constrained Optimisation (GECO)を最適化 • 次のように問題を緩和 (KL項がちゃんと小さくなるように学習) 12

提案手法: 全体図 concat 13

提案手法: 既存手法と比較 • GENESISのポイント – 自己回帰モデル (実験ではLSTM) などで潜在変数を計算 – GMMの混合比 (物体領域のマスク) と各構成要素の潜在変数を分ける 14

実験: Dataset • coloured Multi-dSprites dataset • GQN “rooms-ring-camera” datast • ShapeStacks dataset – 積み木のデータセット. 安定・不安定のラベルが付いている (後で使う) https://github.com/deepmind/ dsprites-dataset https://github.com/musyoku/gqn-dataset-renderer https://shapestacks.robots.ox.ac.uk/ 15

• https://shapestacks.robots.ox.ac.uk/
• https://github.com/musyoku/gqn-dataset-renderer

実験: Baseline • GENESIS-S • MONET • VAE (BD-VAE, DC-VAE) – 普通のVAE, decoder部分のアーキテクチャの違い 16

実験: シーン生成 • GQN datasetで学習したモデルを用い てpriorからシーンを生成 • GENESISはシーンの構造を捉えた画 像生成ができている • priorからの生成なのでGECOで学習し ているGENESISが有利なのでは? 🤔 – GECOで学習しているので, KL項の制約が 大きく, priorからの生成がうまくいきや すいはず – MONETはELBOで学習… 17

実験: シーン再構成 • 定性的な傾向は同じ – 背景, 物体がそれぞれ分解されている – 定量評価ではGENESISが勝っていた • segmentation covering (SC) [Arbelaez+ 2010]: • Shape Stack (積み木) のデータセットで GENESIS (SC: 0.64 ± 0.08, mSC: 0.60 ± 0.09) に対してMONet (SC: 0.52 ± 0.09, mSC: 0.49 ± 0.09) 18 • mSCはSCを物体ごとの領域の大きさで正規化したスコア

実験: シーン表現の有用性 • シーン表現が他のタスクに使えるか検証 • 3つの分類タスクで評価 – 積み木の安定性 (stable or unstable) – 積み木の高さ (ブロックの数) – カメラ位置の推定 (16通り) • ベースラインの手法 – GENESIS-S – MONET – VAE (+BD-VAE and DC-VAE) • ベースラインにそこまで勝ってない – Heightのタスクは実質ブロックの数を数えるタスクなので, 提案手法のようにシーンを構成要 素に分解する手法は有効そう 19

実験: 生成画像の質 • priorから生成した画像の質を評価 • FIDスコアにより評価 – 正解データセットとの”分布の差”を調べる評価指標 – 前述のように, MONetは生成のタスクが得意でないのでunfairな比較では?? – “It is not surprising that the FIDs for MONet are relatively large given that it was not designed for generating scenes.” – VAEに勝っているのでシーン表現を分解する手法は有効であることがわかる 20

まとめ • シーンを構成要素ごとに分解するGENESISというモデルを提案 – 出力する画像をspatial GMMでモデリング – GMMの混合比を担当する表現と各構成要素の見た目を表現する表現を分離 – 物体同士の相互関係を表現するため自己回帰モデルで潜在表現を計算 • 実験によりシーンが構成要素ごとに分解されることを確認 – 全体的に, 実験結果が提案手法の良さをそこまで示す結果ではないのが残念 • 感想 – シーンを教師なしで構成要素に分解するという動機は正しそう – 同じ色の領域をまとめているだけでは?という疑問はある – ただ, 構成要素の概念を教示なしで獲得したという事実は大きい • シーンの構成要素をどのように・どの程度分解するかは人間にも難しいので 21

参考文献 • M. Engelcke et al. “GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations”, 2019. • C. Burgess et al. “MONet: Unsupervised Scene Decomposition and Representation”, 2019. • K. Greff et al. “Multi-Object Representation Learning with Iterative Variational Inference”, ICML, 2019. • P. Arbelaez et al. “Contour Detection and Hierarchical Image Segmentation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010. 22