【DL輪読会】GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

DEEP LEARNING JP [DL Papers] 論文紹介： GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images Ryosuke Ohashi, bestat Corp. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 ◆ NeurIPS 2022（2022年12月）採択論文 ◆ DreamFusionと並んで巷で話題の3Dモデル生成に関する論文 ◆ ※紹介論文からの引用は省略させていただきます 2

背景：3Dモデルを大量生成したい ◆ 今後3Dモデルの活用シーンが爆増する？ ⚫ メタバース ⚫ デジタルツイン https://www.nvidia.com/ja-jp/omniverse/ 3

• https://www.nvidia.com/ja-jp/omniverse/

背景：AIで大量生成したい ◆ AIで3Dモデルを大量生成したい！ ⚫ 人手モデリングではスケールに限界あり ⚫ 専門モデラーの確保 ⚫ モデリング工数 ⚫ 品質管理 https://www.turbosquid.com/ja/3dmodel/animal 4

• https://www.turbosquid.com/ja/3d-

本論文の趣旨 ◆ GET3Dという名前の3Dモデル生成モデルを提案 ⚫ a Generative Model of Explicit Textured 3D Meshes ⚫ ⚫ 既存の3Dモデル生成モデルより高品質なテクスチャ付き3Dメッシュを 大量生成できる 3Dモデルの生成モデルを2D画像データのみ使って構築できる ⚫ ※本論文ではテクニカルな理由により，3Dモデルをレンダリングして得た2D画像 を使っている 5

6

https://nv-tlabs.github.io/GET3D/ 7

• https://nv-tlabs.github.io/GET3D/

補足：3Dメッシュ，テクスチャ https://en.wikipedia.org/wiki/Polygon_mes h https://entry.cgworld.jp/terms/UV%E5%BA%A 7%E6%A8%99%E7%B3%BB.html メッシュ テクスチャ ポリゴンメッシュの略．ポリゴンと略すことも多い． メッシュに画像をマッピング投影して見た目や質感を表したもののこと． ポリゴン（多角形）を並べて形状を表したもののこと． 8

• https://en.wikipedia.org/wiki/Polygon_mes

GET3Dの手法概要 ①「形状」と「見た目」の生成器にシード「w1」と「w2」を入れ る ◆ ◆ ②wa rped SDFとテクスチャ場が出てくる ◆ deep marching tetrahedraでSDFを3Dメッシュ化 ◆ ③微分可能レンダラーでテクスチャ付き3Dメッシュを様々な方向から2D画像に レンダリング シード「w1」と「w2」を入れる ◆ ④StyleGANを使って，レンダリングされた画像群が教師2D画像群の分布にマッ チするよう訓練する 9

補足：SDF, marching tetrahedra https://arxiv.org/abs/1901.05103 https://nv-tlabs.github.io/DMTet/ SDF (Signed Distance Function) Marching Tetrahedra ある曲面への最短距離を与える関数． 曲面の外側では正，内側では負の値をとる． SDFが表す曲面をメッシュ化するアルゴリズム． Marching Cubesという直方体を使ったバージョンが有名． f(x) = 0 を満たすxの集合が曲面を表している． 10

• https://arxiv.org/abs/1901.05103
• https://nv-tlabs.github.io/DMTet/

手法の要点 ◆ 基本的には既存研究や論文著者らの先行研究を組み合わせたアルゴリズムになっている ⚫ ◆ DMTET x StyleGAN 「変形可能メッシュ + 微分可能ラスタライザ」という計算コストが低くかつそれなりに表現力・自由度が高い構成をとること で，以下のメリットを実現している ⚫ ⚫ 高解像度で3Dモデルをパラメトライズ・高解像度でレンダリングできるので形状・テクスチャのディテールまで捉えられ る 生成モデルの訓練時間が比較的短くてすむ 11

実験：CGデータセットを使った訓練 ◆ ◆ 「あるクラス」の3Dモデル群をレンダリングして得られる2D画像群を使ってGET3Dを訓練する ⚫ ShapeNetの車モデル約10K個からレンダリングした約200K枚の画像 ⚫ TurboSquidの動物モデル約500個からレンダリングした約50K毎の画像 ⚫ … 3Dモデル生成モデルの形状・見た目に関する評価指標で既存研究より良好な結果が得られた ⚫ 特にバイクのような非常に複雑な形のものについて顕著な向上が見られた 12

既存研究との比較（形状品質） 13

3D awareなシード補間 14

その他の応用 マテリアル付き3Dモデルの生成モ デル テクスチャにマテリアルパラメー ターを入れてIBL対応したレンダ ラーで逆レンダリングする text-guidedな3Dモデル生成モデル CLIPでの埋め込みを使って生成モ デルをfine tuningする 15

制限事項 ◆ 「2D画像群のみを使って」といいつつ，2Dシルエットやカメラのキャリブレーションパラメーターを 活用している ⚫ ◆ セグメンテーションやカメラ位置推定などの技術と組み合わせてリアルの2D画像群に適用できるよ うにできないか？ 生成器の生成対象が（生成器毎に）特定クラスのオブジェクトに限定されている ⚫ 複数クラス対応することでより多様な概念を表現できるようにできないか？ 16

まとめ，感想 ◆ まとめ ◆ ◆ ◆ 既存手法よりも高品質な3Dモデル生成モデル「GET3D」を提案 変形可能メッシュと軽量なレンダラーを使って逆レンダリングすることで従 来より高解像度な3Dモデルの生成を実現した 感想 ◆ ◆ ◆ 可能な限り高速で効果のある手法を使って新しい結果を生み出すところが NVIDIAらしい研究で流石だと思った Appendixにいろんな実験結果や詳細が書かれていてとても勉強になる 生成される3Dモデルの品質や作り込み具合はまだまだ向上の余地があるので 今後の研究の発展が楽しみ 17