[DL輪読会]Learning to Dress 3D People in Generative Clothing

DEEP LEARNING JP [DL Papers] Learning to Dress 3D People in Generative Clothing Masahiro Nakamura http://deeplearning.jp/

• http://deeplearning.jp/

メタ情報 ・著者 Qianli Ma(1) , Jinlong Yang(1) , Anurag Ranjan(1,2), Sergi Pujades(4) , Gerard Pons-Moll(5) , Siyu Tang(3), and Michael J. Black(1) ・所属 (1)Max Planck Institute for Intelligent Systems, Tubingen, Germany (2)University of Tubingen, Germany (3)ETH Zurich, Switzerland (4)Universite Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK, France ´ (5)Max Planck Institute for Informatics, Saarland Informatics Campus, Germany ・CVPR 2020 2

概要と背景：「服」の壁 ・人間のポーズや動きの分析で体の3Dモデルは広く使われてきた ・しかし、スキャンする際身に着けているものは最小限 そのため画像や動画で見るような服の複雑な様子の一般化やポーズに よる変化などを表現するのが難しかった ・これを解決すべく服を着た人の3Dモデルをポーズと服に変化を与えなが らスキャンし3Dのメッシュモデルを生成する術を確立 ・3Dの人体のメッシュに直接服を着せたり違ったポーズを一般化といった 生成モデルは初 3

先行研究の動向と課題 ・二次元の画像や動画から三次元の人間を再現(Image Reconstruction 及び Capture) →ポーズや形、衣服の繋がりにムラが出てしまった ・体のスキャンや体の形やポーズを捉え学習した統計学上の三次元の人体モデル (Clothing Models) →対応できる服が限定的だったり新しいポーズを一般化できなかった 4

提案手法:CAPE(Clothed Auto Person Encoding) ・CAPEは服のタイプや体のポーズを決定づける手法 ・これによってポーズに合わせた形の崩れを作り出しモデリングに活かしていく ・条件付きのMesh-VAE-GANにSMPL body modelを学習するよう教え込ませる →これでポーズと服の種類を決定づける。服のサンプルを抽出し違った体つきでも様々な 服のスタイルやポーズを選ぶことができる。 ・細かい皺を保存するためMesh-VAE-GANでパッチ状の識別機を三次元のメッシュにまで 拡張させる。 5

実験その一：再構築の精度 ・元の三次元の形に対しどれくらい再現度があるか検証 ・PCAやCoMAよりも誤差を小さくできた(ここではミリ単位) ・CAPE内でDiscriminatorなど除外し比較したが重要度が高い ・右からは各手法による精度を視覚で見えるようにしたもの 6

実験その二：衣服の生成(サンプリング) ・訓練に使わなかった新しいポーズに対し服をサンプリング ・緑の後にサンプリングされた５つの青いものが続く ・ポーズと服の複雑な動きの相関を長期的にキャプチャー成功 7

実験その二：衣服の生成(ポーズによる歪み) ・服の種類と形状を固定し、体の向きだけを変える ・自然な歪み方をする一方ポーズによって一貫した服の形を得ること ・２つのポーズの間にある服のレイヤーの違いを計算し色で可視化 ・ポーズによって局所的な形の歪みは変わる一方服のタイプの一貫性を示 すことはできた 8

まとめと今後の課題 ・新たに導入したCAPEを通して 「ポーズや形、衣服の繋がり」「服やポーズの限定性」 といった先行研究の壁の解決が期待できる ・課題としてダイナミックな動きへの対応や特定の服への対応(例： スカートやミットなど)にまだ制約がある。 ・また、幾何学上の細かいレベルでまだ上限がありそれにどう対応 していくかも課題となる。 9