[DL輪読会]Adversarial Learning for Zero-shot Domain Adaptation

DEEP LEARNING JP Adversarial Learning for Zero-shot Domain Adaptation [DL Papers] Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1

• http://deeplearning.jp/

書籍情報 • タイトル  Adversarial Learning for Zero-shot Domain Adaptation • 著者  Jinghua Wang and Jianmin Jiang  Shenzhen University • ECCV2020（poster）に採択 • ICCV2019にも、Zero-Shot Domain Adaptation（ZSDA）の論文を投稿した （Conditional Coupled Generative Adversarial Networks for Zero-Shot Domain Adaptation） 2

概要 • 手法の概要： target domainがないzero-shot domain adaptationタスクにおいて、 domainと同じだが、他種別のデータで学習したdomain shiftを適用して target domainのデータを生成する手法 • 提案手法のポイント target/source domainと同じdomainの別の画像データから、domain shift を学習 domain shiftを用いてtarget domainの画像を生成する Co-training方策で、性能を向上する 3

問題定義 • ToI(Task of Interest)において、target domainのデータが存在しない  ToIのdomainと同じかつ、取得できる画像から、IrT(irrelevant task)の学習より、domain shiftを取得する  データの表記： ToI source: 𝑋𝑠𝛼 ToI target: 𝑿𝜶𝒕 （生成対象） 𝛽 IrT source: 𝑋𝑠 𝛽 IrT target: 𝑋𝑡 4

既往研究 • Zero-Shot Domain Adaptationは３つの流派がある ① domain-invariant featuresを抽出することで、domainが異なっても認識できるモデルを 学習する  Domain-invariant component analysis (DICA)[1]、 multi-task autoencoder (MTAE)[2]、 Conditional invariant deep domain generalization (CIDDG)[3]、 deep domain generalization framework (DDG) [4] ② domain情報は、潜在空間上のdomainに依存しないcommon factorとdomain specific factorにより決定されると仮定する。 common factorが分かれば、unseen domainに適 応できる[5], [6], [7], [8] ③ target/source domainの関係性を、別のタスクにより学習し、データに適応する  Zero-shot deep domain adaptation (ZDDA) [9]、 CoCoGAN[10] [1] Muandet, K., Balduzzi, D., Sch¨olkopf, B.: Domain generalization via invariant feature representation. In: ICML (2013) [2] Ghifary, M., Kleijn, W.B., Zhang, M., Balduzzi, D.: Domain generalization for object recognition with multi-task autoencoders. In: ICCV (2015) [3] Li, Y., Tian, X., Gong, M., Liu, Y., Liu, T., Zhang, K., Tao, D.: Deep domain generalization via conditional invariant adversarial networks. In: ECCV (2018) [4] Ding, Z., Fu, Y.: Deep domain generalization with structured low-rank constraint. IEEE Transactions on Image Processing 27(1), 304–313 (2018) [5] Khosla, A., Zhou, T., Malisiewicz, T., Efros, A.A., Torralba, A.: Undoing the damage of dataset bias. In: ECCV (2012) [6] Li, D., Yang, Y., Song, Y.Z., Hospedales, T.M.: Deeper, broader and artier domain generalization. In: ICCV (2017) [7] Yang, Y., Hospedales, T.: Zero-shot domain adaptation via kernel regression on the grassmannian (2015). https://doi.org/10.5244/C.29.DIFFCV.1 [8] Kodirov, E., Xiang, T., Fu, Z., Gong, S.: Unsupervised domain adaptation for zero-shot learning. In: ICCV (2015) [9] Peng, K.C., Wu, Z., Ernst, J.: Zero-shot deep domain adaptation. In: ECCV (2018) [10] Wang, J., Jiang, J.: Conditional coupled generative adversarial networks for zero- shot domain adaptation. In: ICCV (2019) 5

• https://doi.org/10.5244/C.29.DIFFCV.1

既往研究 • Coupled Generative Adversarial Networks (CoGAN)[11]  生成器と識別器の一部分のパラメータを共有する２つのGANを持つ  異なるドメインの画像を同時に生成する  提案手法は、CoGANの構造に基づく [11] Liu, M.Y., Tuzel, O.: Coupled generative adversarial networks. In: NIPS (2016) 6

提案手法の概要 • CoGAN-IrTにより、domain shiftを取得 • CoGAN-ToIにより、取得したdomain shiftを適用すると同時に、するtarget domainを生成 • Co-trainingにより、target domainデータの生成に制約をかける 7

提案手法 • CoGAN-IrT：  ペア画像を入力とし、 target/source domain間のjoint分布を学習  潜在空間上の特徴の違いを、domain shiftとなる • CoGAN-ToI：  domain shiftを適用するため、２つ制約をかける 8

提案手法 • １つ目の制約：Domain shiftが正しく適用されているか 𝛽 𝛽  識別器の共有部（high-level)の表現のelement-wise差分（𝛿ℎ = 𝑅ℎ 𝑥𝑡 𝛽 ⊖ 𝑅ℎ 𝑥𝑠 ） をdomain shiftとする  CoGAN-IrTとCoGAN-ToIにおけるdomain shiftは一緒であるべき 𝛽 分類器で、𝛿ℎ と𝛿ℎ𝛼 を分類する 9

提案手法 • 2つ目の制約：Co-training classifiers  ２つclassifierのconsistencyを利用して、CoGAN-ToIの学習に制約をかける  目的： ２つclassifierは異なるパラメータを持ち、違う視点から入力データを分析する  loss 𝛽 𝛽  入力：𝑅𝑙 𝑥𝑠 , 𝑅𝑙 𝑥𝑡 , 𝑅𝑙 𝑥𝑠𝛼  𝐿𝑤 ：classifierの類似度を測る  𝐿𝑐𝑙𝑠 ：𝑥𝑠𝛼 の分類loss 𝛽 𝛽  𝐿𝑐𝑜𝑛 ：𝑥𝑠 と𝑥𝑡 を入力とした際のconsistency  𝐿𝑑𝑖𝑓𝑓 ：以外のサンプルを入力した際のconsistency  結果、 classifiersは入力がsource/target domainに属するのかを判別できるようにな る。CoGAN-ToIを学習する際のsupervisory signalとなる 10

提案手法 • CoGAN-ToIの学習  ３つの制約で学習する：①𝑥𝑠𝛼 のdomainに従って画像生成、②domain shift、③Cotraning classifiers  CoGANと異なり、別々で学習する  Low-level部分のパラメータは、CoGAN-IrTで学習したもので初期化する 11

実験 • 検証データセット:  MNIST (DM), Fashion-MNIST (DF), NIST (DN), EMNIST (DE) • 検証domain：  gray domain (G–dom), colored domain (C–dom), edge domain (E–dom), negative domain (N–dom) 12

実験 • 既存手法より、高い精度を達した 13

実験 • 検証データセット:  Office-Home, Art (Ar), Clipart (Cl), Product (Pr), and Real-world (Rw) 14

実験 • Loss関数重みに関する検証 • 学習データに関する検証  source/target domain以外の データは２N程度でよい 15

まとめ • zero-shot domain adaptationタスクについて、target domain画像を生成す る手法を提案した • 学習したdomain shiftを生成に適用すること、Co-training classifierにより、 target domain画像の生成に制約をかけることで、性能を向上する • Co-training classifierでは、consistency lossを活用し、supervisory signalを 作り出すことで、学習に制約をかけた • 本提案手法は、物体認識やセグメンテーションにも適用可能 • target domainのデータがないことは、実利用する際によくある課題のため、 参加になった 16