【深層学習による画像認識の基礎】7.4~7.6

2026年 前期輪読会 深層学習による画像認識の基礎 7.4~7.6 大阪大学 情報科学研究科 M1 緒方 克哉 1 1

アジェンダ ■ 負例が不要な表現学習 ■ 自己教師あり学習手法の性能評価 ■ まとめ 2

アジェンダ ■ 負例が不要な表現学習 ■ 自己教師あり学習手法の性能評価 ■ まとめ 3

負例が不要な表現学習 従来のContrastive Learningを用いた手法 > in contrastive learning, larger batch sizes provide more negative examples, facilitating convergence Figure: Learning Transferable Visual Models From Natural Language Supervision Quote: A Simple Framework for Contrastive Learning of Visual Representations 4

BYOL bootstrap your own latent Bootstrap Your Own Latent A New Approach to Self-Supervised Learnin 5

BYOL boostrap your own latent 損失関数 targetはオンラインネットワークの指数移動平均 Bootstrap Your Own Latent A New Approach to Self-Supervised Learning 6

BYOL なぜ負例なしでうまく学習できるのか 予測ヘッドの最適解 を考える ノイズを用いて表せると仮定 出力テンソルを用いて次のように表せる 理想的なヘッドではWは単位行列になるので ヘッドの出力は単位行列になる（良い特徴） 7

MAE masked autoencoder Masked Autoencoders Are Scalable Vision Learners 8

MAE なぜ負例なしでうまく学習できるのか ● 相互情報量を考える ● 入力されたマスク画像 に対して，マスク対象のパッチ ● H(S)はZ_xと関係しないので上記が成立する ○ 数学的に0という事ではなく、出力Z_xを変えても不変な項なので最適化において消えると いう意味（マスク対象パッチの持つ情報量は不変） ● つまり，MAEの最適解は相互情報量を最大化していると考えられる Masked Autoencoders Are Scalable Vision Learners 9

iBOT image BERT pre-training with online tokenizer (encoder) iBOT: Image BERT Pre-Training with Online Tokenizer 10

iBOT image BERT pre-training with online tokenizer Input: masked tokens (from student/teacher) Patch token reconstruction loss CLS token prediction loss 特徴崩壊を防ぐ工夫 iBOT: Image BERT Pre-Training with Online Tokenizer 11

アジェンダ ■ 負例が不要な表現学習 ■ 自己教師あり学習手法の性能評価 ■ まとめ 12

画像分類での評価 k-NN / Linear probing / Fine-tuning 13

画像分類での評価 性能評価における注意点 ● 先述した3つの指標の性能を総合的に見る必要がある ● たとえば ○ linear probingとfine-tuning制度の間に相関がないことがわかっている ○ つまりそれぞれの指標で別の性能を測っている ● さらに、ハイパーパラメータが下流タスクの性能に与える影響は大きい ○ Contrastive Learning: ミニバッチ数を大きくする必要がある ○ 相関ベース: 出力次元数を大きくする必要がある 14

そのほかのタスクでの評価 物体検出・意味的領域分割・インスタンス領域分割 15

そのほかのタスクでの評価 物体検出 ● bounding boxを出力する必要があるためfine-tuningを行う ● 基本的にMask R-CNNをバックボーンとする ○ このモデルのエンコーダ部分を置き換える ● 標準的な物体検出モデルの学習同様にCOCOやVOCを用いたチューニングを行う ● 結果 ○ 多くの自己教師あり学習手法のエンコーダが性能向上に寄与 ○ 特にViTベースのbackboneで高い性能を示す 16

そのほかのタスクでの評価 意味的・インスタンス領域分割 ● linear-probingかfine-tuningを実施する ● ピクセルごとに色の分類タスクを解けば良いのでlinear-probingでも対応可能 ○ 性能はもちろん低いがエンコーダの特徴表現の精度判定には一定使える ● 物体検出同様にfine-tuningも行う ○ imagenetを用いた教師あり学習よりも良い性能を示していることがわかる 17

アジェンダ ■ 負例が不要な表現学習 ■ 自己教師あり学習手法の性能評価 ■ まとめ 18

まとめ ● 自己教師あり学習 ○ 大規模なラベル付きデータセットがなくても学習することができる ○ 画像の特徴表現を学習する ○ 異なるデータ間の相互情報量を最大化することを目的とする ● 代表的な手法 ○ SimCLR/MoCo ○ 負例が必要ないもの: BYOL/MAE/iBOT ● 自己教師あり学習の精度検証方法 ○ タスク：画像分類・物体検出・意味的/インスタンス領域分割 ○ 手法：linear-probing・fine-tuning・k-NN 19