【DL輪読会】Free Lunch for Few-shot Learning: Distribution Calibration

DEEP LEARNING JP Free Lunch for Few-shot Learning: Distribution Calibration [DL Papers] XIN ZHANG, Matsuo Lab http://deeplearning.jp/

• http://deeplearning.jp/

目次 1. 書誌情報 2. Introduction 3. Free lunch for Few-shot Learning: Distribution Calibration 4. Related Works 5. Experiment Evaluation 6. Discussion 2

書誌情報 ● タイトル： ○ Free lunch for Few-shot Learning: Distribution Calibration ● 著者 ○ Shuo Yang, Lu Liu, Min Xu ● 所属：Australian Artificial Intelligence Institute, University of Technology Sydney ● 投稿日：2021/1/16 (arXiv), ICRL Oral（777） ● 概要 ○ 偏ったサンプルを用いては、汎化性能の良いモデルの学習は難しい ○ 特徴空間上、サンプルの分布を推測してサンプリングする ○ ガウス分布仮説と”類似カテゴリ分布仮説”のもとで、精度の向上につながる 3

• https://arxiv.org/abs/2101.06395
• https://arxiv.org/search/cs?searchtype=author&query=Yang, S

Introduction：Few-shot learning 深層学習は多くのデータを必要と し、データが足りない時は精度が 望ましくない Few-shot learning：１つタスクに おいて学習に使えるデータが少な いが、複数のタスクを用いて学習 する問題設定 タスク：与えられたデータセット に対してN-way, K-shot.の学習をす る。 OPTIMIZATION AS A MODEL FOR FEW-SHOT LEARNING (Ravi and Larochelle et.al 2017) メタ学習がメインな手法で、「タ スクの解き方」を実践通じてを学 習すると解釈できる。 4

Related work - モデルの精度をあげる学習（正統） - メタ学習（MAML、Metric Based） - - 提案手法は、学習パラメータがなく、典型的な機械学習の分類器で使える データ数を増やす - データを生成する（GAN、VAE） - 提案手法は、複雑なモデルとロスの関数の設計を必要としない データ拡張をする（サンプルそのまま、特徴表現） - 提案手法は、分類クラスの分布を推定することで、分布からデータをサン プリングすることが可能 5

Distribution Calibration(DC) - Few-shot learningの課題の一つ：データ分布の推定を行う - 真の分布から偏ったサンプルが出た場合、過学習することでモデルが崩壊する - データの特徴量の分布をガウス分布と仮定する - 平均はgeneral appearanceで、分散は属性の変化範囲（色、形状、姿勢とか）と みなせる。 6

Distribution Calibration(DC) 1. Base class（学習用のclass）の平均と分 散を計算しておく 2. Novel class（予測する class）をガウス 分布っぽくする a. Tukey’s Ladder of Powers Transformation 3. サンプルとBase classの平均との距離を 計算し、Topkを記録する(Euclidean distance) 4. Novel classの平均と分散を較正する 5. 得たガウス分布からデータをサンプリン グする 6. 拡張したデータと取り入れて学習する 7

Distribution Calibration(DC) 1. Base class（学習用のclass）の平均と分 散を計算しておく 2. Novel class（予測する class）をガウス 分布っぽくする a. Tukey’s Ladder of Powers Transformation 3. サンプルとBase classの平均との距離を 計算し、Topkを記録する(Euclidean distance) 4. Novel classの平均と分散を較正する 5. 得たガウス分布からデータをサンプリン グする 6. 拡張したデータと取り入れて学習する 8

Experiments 1. 他の手法と比較して、有効と言えるのか？ How does our distribution calibration strategy perform compared to the state-of-the-art methods? 1. 較正したデータ分布はどうなっているのか？（可視化） What does calibrated distribution look like? Is it an accurate approximation for this class? 1. Tukey’s Ladder of Power transformationの必要性？ How does Tukey’s Ladder of Power transformation interact with the feature generations? How important is each in relation to performance? データセット： 1. miniImageNet（base class: 64, validation class: 16, novel class: 20） 2. tieredImageNet（base class: 351, validation class: 97, novel class: 160） 3. CUB（鳥）（base class: 100, validation class: 50, novel class: 50） 9

• http://www.vision.caltech.edu/visipedia/CUB-200.html

Experiments（有効なのか？） - 簡単な分類器で良い。比較対象がちょっと弱い？（詳細が分からない） rebuttalの追加実験 10

Experiments（DCの可視化） - サンプルした特徴量が良さそうで、明らかに分類制度に明らかに貢献できる サンプル数が５００までは増えれば増えるほど良い。 11

Experiments（Tukey Ladder of Powerのλ） - G分布っぽくなることが右図で確認できる ＊Tukey Ladder of Powerについて 12

• https://onlinestatbook.com/2/transformations/tukey.html

Experiments（その他のハイパラ） 13

Discussion - 提案手法のデータ拡張によって、ロジスティック回帰モデルでもSOTAになれる。 - 提案手法の可視化と実験により、効果が確認できた。 - Future work - More problem setting - - Multi-domain few-shot classification More methods - Metric-based meta-learning algorithms. 14

感想 - アイデアのシンプルさと汎用性が大事。 - 実世界（会社がDeep learning技術を使う）を考えた時に、より良いモデルを作ると いうより、より良いデータセットを用意することの方が実際は有効な気がする。 - Few-shot learningに限らず。（ロボット学習に適応できそう） - データ拡張 + 潜在空間上, で良さそうな気がする？ 15

参考文献 ● 知乎 ○ https://zhuanlan.zhihu.com/p/344531704 ● github ○ https://github.com/ShuoYang-1998/Few_Shot_Distribution_Calibration/blob/master/evaluate_DC.py 16

• https://zhuanlan.zhihu.com/p/344531704
• https://github.com/ShuoYang-1998/Few_Shot_Distribution_Calibration/blob/master/evaluate_DC.py