[DL輪読会]Learning by Association - A versatile semi-supervised training method for neural networks[CVPR2017]

Learning by Association A versatile semi-supervised training method for neural networks 東京大学大学院 中山研究室 横田匡史

Semi-Supervised Learning ‣ グラフベース データの類似グラフを作りラベルを伝搬 ‣ 決定境界をデータから遠ざける(擬似データetc) １．学習したモデルを用いて ラベルなしデータをラベル付け(pseudo-label etc.) ２．または、ラベル付きデータにノイズを入れる(VAT) ‣ 多様体学習 多様体の推定にラベル無しデータ用いる(Tanget Manifold Classifier) ‣ 生成モデル ラベルなしデータを特徴量学習に用いるか 不完全データとして学習に用いる(VAE etc.) (参考: https://www.slideshare.net/beam2d/semisupervised-learning-with-deep-generative-models) →今回のテーマは、”グラフベース”と”決定境界をデータから遠ざける”の中間

Idea 記憶 イヌ！ 人間は、学習サンプルに関連付けて考えることができるので 少数サンプルでも正確に回答できる。 →学習サンプルとラベルなしデータを紐付けながら学習する 事で同じことができないか？

Idea Labeled Unlabeled Labeled 同じクラスの２つのラベル付きデータの間に適切な ラベルなしデータを紐付けられるように学習する。

Overview Unlabeled Label X Label Y walkerが「ラベル付き→ラベルなし→ラベル付き」と遷移させた時に スタートとゴールのクラスが同じになるように学習させる。この時 のwalkerは類似度から算出される遷移確率に従い行動する。

Method

Method • A: ラベル付きデータ • B: ラベルなしデータ • AiのデータとBjのデータの類似度Mij: 内積 • この類似度Mを元にwalkerの遷移確率を求める

Method • Transaction Probability • Round Trip Probability

Walker Loss (※H: cross entropy) 同じクラス間のPathの確率は一様分布に、異なるクラス間のPathの遷 移確率が0にさせる。しかし、これだけだと難しいラベルなしデータ (Ex. MNISTの1に似た7のラベルなし画像)の遷移確率も0に近づいてし まい、簡単なデータだけが残ってしまう。

Visit Loss Unlabeled Label X Label Y ここの微妙なポイントも 有効に活用したい。

Visit Loss (※H: cross entropy) Aiから全てのBに対する遷移確率が一様分布にさせる →明らかなデータだけでなく難しいデータも遷移確率 が上がるようにする。

Loss Function Total Loss Function • • は、通常の教師ありで用いる softmax cross entropy。 実際にはVisit Lossには正則化の力が大きいので重み をかけた方が良い結果が得られている(後述)。

Experiment

Experiment - - 検証項目 ‣ 提案手法を用いて性能が上がるかどうか ‣ 上手くラベルなしデータを関連付けできているか ‣ Domain Adaptation(SVHN→MNIST)への応用 Dataset ‣ MNIST: (labeled: 100 or 1000 or All, unlabeled: labeledで使ってないデータ) ‣ STL-10: (labeled: 5k, unlabeled: 100k) ‣ SVHN: (labeled: 0 or 1000 or 2000 or All, unlabeled: labeledで使ってないデータ) ✓ 訓練用データの中のラベル付きデータを一部だけ使い、残りはラベル無しとし て学習を行う。

Setting • Batch Size: 100 • Optimizer: Adam • 出力層以外の活性化関数: elu • 正則化項: L2 norm (重み:10-4)

MNIST Result

遷移確率の変化(MNIST) 学習前 学習後

MNIST エラー分析 全ラベルデータ テストデータの Confusion Matrix テストデータの 間違えた部分 筆者らの主張では、ラベル付きデータにない特徴がテストに存 在したため(Ex. 4の上が閉じていて9に似ている)間違えてしまっ ている。

SLT-10 学習データにないクラスのデータを入力しても、比較 的近いラベルなしデータの関連付けができている。

SVHN Result 少ないサンプルにおいては、先行研究よりかは精度良い。

SVHN ラベルなしデータの効果検証 ラベルなしデータが多くなるにつれて、精度は良 くなっている。

Visit Lossの効果検証 Labeled Data Size: 1000 Visit Lossが大きすぎるとモデルへの正則化が強すぎて、上手 く学習できない。データのバリアンスに応じて重みを調整す べき。(Ex. labeledとunlabeledが似ていない場合、Visit Lossは 小さくする。)

Domain Adaptation 教師あり 学習 Domain Adaptation 教師あり 学習 DA: Domain-Adversarial Training of Neural Network[2016 Ganin et. al.] DS: Domain separation networks [2016 Bousmalis et. al.]

まとめ • ラベルなしデータとラベルありデータに関連付ける ように学習する。 • ラベル付きデータが少なくても、比較的上手く学習 ができる。 • Visit Lossは、データのバリアンスを見て設定する。 • Domain Adaptationに応用しても上手くいった