【論文紹介】ShaRF: Shape-conditioned Radiance Fields from a Single View

ShaRF: Shape-conditioned Radiance Fields from a Single View 被引用数： 39 （ICML 2021）Konstantinos Rematas, Ricardo Martin-Brualla, Vittorio Ferrari https://arxiv.org/abs/2102.08860 論文を表す画像 どんなもの？ 技術の手法や肝は？ 事前にオブジェクトのベースとなる形(geometric scaffold)を想定することで ，NeRFをsingle-shotで訓練する Shape network Shape codeからオブジェクトのgeometric scaffoldを生成する NeRFに追加の入力を与える Occupancy: geometric scaffoldの位置pに対応する値 Appearance code: Appearanceを表現する値 Appearance network geometric scaffoldとAppearance codeを考慮し，NeRFを訓練する どうやって有効だと検証した？ 先行研究と比べて何がすごい？ ･ NeRFをsingle-shotで訓練可能 ･ 一つのモデルで複数のシーンを表現可能 ･ 拡張性の高いアーキテクチャ 簡単な条件下でpixelNeRFと同等の性能，複雑な条件下でpixelNeRFを超え る性能を示した - データセット: ShapeNet-SRN, Pix3D - 評価手法: PSNR, SSIM - concurrent work: pixelNeRF - previous work: GRF, SRN, ENRなど 1 2022/10/19

• https://arxiv.org/abs/2102.08860

どんなもの? NeRFとは問題設定が異なる (1) NeRF 学習: → 訓練完了 Dataset (*1) ShaRF → 訓練完了 → fine-tuning: 学習: ShapeNet (*1) NeRF [B Mildenhall ECCV 2020] single-view (*1) 2

• https://arxiv.org/abs/2003.08934

どんなもの? NeRFとは問題設定が異なる (2) NeRF 学習: → 訓練完了 推論に使う 訓練に使う Dataset (*1) ShaRF → 訓練完了 → fine-tuning: 学習: ShapeNet (*1) NeRF [B Mildenhall ECCV 2020] single-view (*1) 3

• https://arxiv.org/abs/2003.08934

技術の手法や肝は? geometric scaffoldとは何か - オブジェクトのベースとなる形 - ボクセルのグリッドで表現され，各ボクセルには占有率(occupancy) が対応付けら れている (*1) (*1) NSVF [L Liu et al. NeurIPS 2020] object geometric scaffold 4

• https://lingjie0206.github.io/papers/NSVF/

技術の手法や肝は? Shape network - geometric scaffoldの生成 - Shape code θからgeometric scaffoldを生成する - 入力座標pに対応するoccupancyを線形補間によって求め，これをネットワークの入力に加 える geometric scaffold (*1) NSVF [L Liu et al. NeurIPS 2020] 5

• https://lingjie0206.github.io/papers/NSVF/

技術の手法や肝は? Shape network, Shape codeの最適化 - 訓練にはShapeNetのあるクラスに対応する3Dオブジェクトを用いる - 訓練の間，Shape Network GのパラメータとShape code θの両方を最適化する - 損失は次の3つ - binary cross entropy loss - symmetry loss - voxel-to-image projection loss Estimated mask Target mask 6

技術の手法や肝は? Appearance Network - もとのNeRFのネットワークにAppearance code Φ, Occupancy αを加える - 訓練の間，Appearance NetworkとともにAppearance codeの最適化を行う geometric scaffold 7

技術の手法や肝は? 推論 - 推論時の画像 I が与えられたとき，shape code, appearance codeを再構築する - 訓練は次の2ステップで行う - Stage1: Shape code θ and network G - Stage2: Appearance code Φ and network F tuning 推論時の画像 8

技術の手法や肝は? Stage1: Shape code θ and network G - appearance networkを固定し，ロスをShape networkへ逆伝播させる - Shape code θ, network G, Appearance code Φを最適化 9

技術の手法や肝は? Stage2: Appearance code Φ and network F - Shape networkを固定し，Appearance code Φとnetwork Fを最適化 10

技術の手法や肝は? Variants Conditional NeRF: shapeを使わず，appearanceとgeometryを一つの潜在変数で表現 Shape From NR: 今回説明したもの Shape From Mask: geometric scaffoldの代わりにmaskを用いたもの Shape From GT: shapeを直接用意するもの 11

どうやって有効だと検証した? 評価 12

どうやって有効だと検証した? Concurrent work (Pixel NeRF)との違い 13