[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentation via Instance Selective Whitening

DEEP LEARNING JP [DL Papers] RobustNet: Improving Domain Generalization in UrbanScene Segmentation via Instance Selective Whitening Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1

• http://deeplearning.jp/

書誌情報 • タイトル  RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening  著者  Sungha Choi*1,3 Sanghun Jung*2 Huiwon Yun4 Joanne T. Kim3 Seungryong Kim3 Jaegul Choo2  1LG AI Research 2KAIST 3Korea University 4Sogang University • CVPR2021(Oral)に採択 • Paper  https://arxiv.org/abs/2103.15597 • Code  https://github.com/shachoi/RobustNet 2

• https://arxiv.org/abs/2103.15597
• https://github.com/shachoi/RobustNet

背景 • Domain Generalization (DG) によるunseen domain領域分割  既存の課題  Domain Adaptation (DA) はtarget domainを必要とするため、実用性にかける  multiple source domain情報からのDomain Generalizationは、コストがかかる  single source domainのDGを提案 3

Motivation • Instance Normalization (IN) – multiple sourceを必要としない汎化性能の向上が可能 – feature covariance (higher-order statistic of future representation) を考慮しない ため、INはdomain-specific style（色・テキスチャー等）の抽出が不十分 • Feature Whitening – image translation, style transfer, DAにおいて、domain-specific style情報を除去 する手法 • feature covarianceにおけるdomain-specific styleとdomain-invariant contentをdecouplingしたい 4

Contribution  instance selective whitening lossを提案し、 feature covarianceから、 domain-specificとdomain-invariant情報を抽出  提案loss関数の計算リソースが低く、各既存手法に適用できる  urban-scene segmentationに実験し、SOTAを達成 5

既往研究 • DA/DG – meta-learning, adversarial training, autoencoder, metric learning, data augmentation – batch normは識別能力を向上できる、instance normは過学習を防げる • Semantic segmentation in DG – DGは画像分類に多く研究されている一方、segmentationに関する研究がまだ少ない • Feature covariance – style transferにおいて、feature covariance (correlations) がstyle informationを表現 できる – whitening transformationはfeature representationsから、style informationを除去で きる • feature covarianceから、domain-specific styleを認識し、 style information を除去する手法を提案 6

Preliminaries • Whitening transformation (WT) – 各channelの分散を１に、任意channel pairの共分散を0にする線形変換 – where, µ=mean vector, Σµ=covariance matrix • WTの欠点 – 固有値（eigenvector）の計算コストが高い – GDWCT（group-wise deep whitening-and-coloring transformation）は、 暗黙的にΣµ を単位行列に近づけるloss関数を提案 – feature covarianceに対し、 domain-specific styleとdomain-invariant contentを分離 していないことが課題 7

提案手法 • whitening transformed featureの学習 – 中間特徴マップに対し、Instance Whitening Loss（IW loss）でXsの学習をguide 8

提案手法 • Margin-based relaxation of whitening loss – IW lossでは、 Σsが全部0になる傾向がある – instance-relaxed whitening (IRW) loss – 汎化性能の向上につながるcovarianceが残っているかの保証がない 9

提案手法 • domain-specific styleとdomain-invariant contentのdecoupling – domain shiftを起こしたstyleに関するcovarianceを特定して取り除く – color jittering/gaussian blurring等のphotometric変換によるaugmentationに起因する domain shiftを対象 • ネットワークの初期化：数epoch程度IW lossでcovariance matrixを学習 • augmentedデータも入力に加え、 それぞれのcovariance matrix (V)の分散行列を計算 • Vはphotometric変換に対するcovarianceの感度を示す。分散が高いcovariance matrix要素には、 domain-specific style情報が入っている 10

提案手法 • domain-specific styleとdomain-invariant contentのdecoupling • k-meansクラスタリングで、covariance matrixの右上の要素に対し、分散の大きさにより分類する • 高い要素を残すように、マスクを生成 • instance selective whitening (ISW) lossで、 domain-invariant content情報を抽出するcovariance matrixの学習をguide 11

提案 • ネットワーク構造 – ResNetを元に、instance norm layerを３つ追加 – それぞれのISW lossを計算 12

実験 – Ablation Studies • 対象:loss関数 – instance weighting (IW) loss – instance-relaxed whitening (IRW) loss – instance selective whitening (ISW) loss • 既存手法は、source domainに過学 習する傾向 • 提案手法は、source dimainでの精度 が低下するのが課題 13

実験 – Ablation Studies • 対象:loss関数 – instance weighting (IW) loss – instance-relaxed whitening (IRW) loss – instance selective whitening (ISW) loss • 既存手法は、source domainに過学 習する傾向 • 提案手法は、source dimainでの精度 が低下するのが課題 14

実験 – Ablation Studies • 対象:backbone – ＳｈｕｆｆｌｅＮｅV２ – MobileNetV2 • 対象 – 複数source domain 15

実験 - 既存手法との比較 • DG手法と比較 • DA手法と比較 – DAはtarget domainを使用する 16

実験 - 計算コスト • 既存手法と同程度 17

実験 – 定性評価 • covariance matrixの可視化 – 左ペアが浅い層の結果、右ペアが深い層の結果 – style情報が浅い層にあり、深い層で除去されたことを確認できる 18

実験 – 定性評価 • whitened featuresで画像を再現 – U-Netで再現 – content情報を保持していることを確認できる 19

考察 • Affine parameters – 既存手法では、元の分布の復元や表現能力の向上のため、norm layerに使う – 本手法では、affine parameters/1x1 convで実験したが、有効性を確認できなかった – affine parameters/1x1 convは、元の分布を復元する能力が欠けている • Photometric transformation – content情報に悪影響を与える – 今後は、他の方法も検討 20

まとめ • instance selective whitening (ISW) lossを提案 – 中間特徴マップに対し、domain-specific styleとdomain-invariant contentを分離 – モデルの汎化性能を向上 – urban-sceneにおけるsegmentationで、提案手法の有効性を確認 • 所感 – domainは有効に拡張されたが、拡張された分類境界に課題が残っている 21