[DL輪読会] The Conditional Analogy GAN: Swapping Fashion Articles on People Images

DEEP LEARNING JP [DL Papers] “The Conditional Analogy GAN: Swapping Fashion Articles on People Images” Ryosuke Goto, VASILY, Inc. http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 • The Conditional Analogy GAN: Swapping Fashion Articles on People Images • 著者 • Nikolay Jetchev, Urs Bergmann • Zalando Research • 選定理由 • 服の着せ替えの仕組みをサービスとして実用化したい • 問題設定がシンプルでよい 2

Zalando? • ドイツのファッションECサイト • ヨーロッパ各国に展開 • 売上はzozotownの7倍 • 技術ブログ • https://jobs.zalando.com/tech/blog/ 3

• https://jobs.zalando.com/tech/blog/

Abstract • 入力xiとyiとyjの関係を学習し、xiとyjに対応するxijを生成するCA-GANを提案 • 服を着ているモデルに別の服を着せ替えることができる 4

Introduction • 利用するデータの種類 Article Human • 置き撮り画像(Article) • モデル着用画像(Human) • ECサイトで入手しやすいペア • どんな商品でも用意されている • 集めるのが簡単 5

Introduction • ファッションビジネスにおける課題 • Humanは着用イメージが湧きやすいため、購買にとって重要 • しかし、Humanの作成は高価で時間がかかる • 置き撮りから生成できると有り難い 6

Introduction • バーチャル試着への応用 • 服の3Dモデル作成の必要 • 写真を取るよりコスト高 • Articleから生成したい https://www.slideshare.net/metatechnology/ magic-mirror-for-fashion-stores 7

Proposed Model • CAGAN • xiとyi Article Human 8

Networks • Generator • 入力 • トリプレット • 出力 Real/Fake • 着せ替えイメージ • フィルタ • Discriminator • 入力 • Human, Articleのペア 9

Loss Function • 3つの損失関数を重み付けしたものを学習 • cGAN（通常のGAN アーキテクチャ） • id loss （フィルターの学習に掛かる制約） • cycle loss （生成物を元に戻した際の差分） 10

cGAN • 各組み合わせをReal/Fakeで識別 • 着せ替え後の生成物はFake 11

id loss • Generatorのアウトプット • フィルターと重ねる前のイメージ • できるだけフィルター範囲を小さく取りたい 12

Cycle Loss • 着せ替え後のモデルに元の服を着せる • 生成結果が整合性を保つために必要 13

Experiments • ADAM (lr = 0.0002) • minibatch: 16 • 3つのlossの比: 1.0 : 0.1 : 1.0 • input 128×98 pixel image 14

Results • 首周りもきちんと着せ替えできている • 着せ替え部分のみに反応するフィルターを獲得 15

Results • 特定のHumanに様々なArticleを着せ替え • 横縞のようなtextureの着せ替えが苦手 16

Results • 様々なHumanに特定のArticleを着せ替え • 顔が崩れる… 17

まとめ • 手に入れやすいHumanとArticleのデータで、精度の高い着せ替えに成功 • 色の着せ替えはうまくいく一方で、横縞などのtexsureの着せ替えが苦手 • future work • 今回は、背景が単純な画像のみのデータセット • 外で撮ったスナップ写真などはより難しいタスクになる 18