---
title: 【深層学習による画像認識の基礎】7.4~7.6
tags: 
author: [京都大学人工知能研究会KaiRA](https://docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LE1YW9NN7G.jpg?width=480
description: 【深層学習による画像認識の基礎】7.4~7.6 by 京都大学人工知能研究会KaiRA
published: July 09, 26
canonical: https://docswell.com/s/kyoto-kaira/K8N9WW-2026-07-09-212348
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LE1YW9NN7G.jpg)

2026年 前期輪読会
深層学習による画像認識の基礎
7.4~7.6
大阪大学 情報科学研究科 M1
緒方 克哉
1
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GEWG6NMMJ2.jpg)

アジェンダ
■ 負例が不要な表現学習
■ 自己教師あり学習手法の性能評価
■ まとめ
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/47ZLY3QMJ3.jpg)

アジェンダ
■ 負例が不要な表現学習
■ 自己教師あり学習手法の性能評価
■ まとめ
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YJ6WDX65JV.jpg)

負例が不要な表現学習
従来のContrastive Learningを用いた手法
> in contrastive learning, larger batch sizes provide more negative examples, facilitating convergence
Figure: Learning Transferable Visual Models From Natural Language Supervision
Quote: A Simple Framework for Contrastive Learning of Visual Representations
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GJ5M3X6GJ4.jpg)

BYOL
bootstrap your own latent
Bootstrap Your Own Latent A New Approach to Self-Supervised Learnin
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LE3W6XQPE5.jpg)

BYOL
boostrap your own latent
損失関数
targetはオンラインネットワークの指数移動平均
Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/8EDKV2937G.jpg)

BYOL
なぜ負例なしでうまく学習できるのか
予測ヘッドの最適解
を考える
ノイズを用いて表せると仮定
出力テンソルを用いて次のように表せる
理想的なヘッドではWは単位行列になるので
ヘッドの出力は単位行列になる（良い特徴）
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/V7PKV1ZPJ8.jpg)

MAE
masked autoencoder
Masked Autoencoders Are Scalable Vision Learners
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/2JVVZYWVJQ.jpg)

MAE
なぜ負例なしでうまく学習できるのか
● 相互情報量を考える
● 入力されたマスク画像
に対して，マスク対象のパッチ
● H(S)はZ_xと関係しないので上記が成立する
○ 数学的に0という事ではなく、出力Z_xを変えても不変な項なので最適化において消えると
いう意味（マスク対象パッチの持つ情報量は不変）
● つまり，MAEの最適解は相互情報量を最大化していると考えられる
Masked Autoencoders Are Scalable Vision Learners
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5EGL49D1JL.jpg)

iBOT
image BERT pre-training with online tokenizer (encoder)
iBOT: Image BERT Pre-Training with Online Tokenizer
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JQYGW1N7P.jpg)

iBOT
image BERT pre-training with online tokenizer
Input: masked tokens (from student/teacher)
Patch token reconstruction loss
CLS token prediction loss
特徴崩壊を防ぐ工夫
iBOT: Image BERT Pre-Training with Online Tokenizer
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/K74W5KR3E1.jpg)

アジェンダ
■ 負例が不要な表現学習
■ 自己教師あり学習手法の性能評価
■ まとめ
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LJ1YWXQZEG.jpg)

画像分類での評価
k-NN / Linear probing / Fine-tuning
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/GJWG6NM672.jpg)

画像分類での評価
性能評価における注意点
● 先述した3つの指標の性能を総合的に見る必要がある
● たとえば
○ linear probingとfine-tuning制度の間に相関がないことがわかっている
○ つまりそれぞれの指標で別の性能を測っている
● さらに、ハイパーパラメータが下流タスクの性能に与える影響は大きい
○ Contrastive Learning: ミニバッチ数を大きくする必要がある
○ 相関ベース: 出力次元数を大きくする必要がある
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4EZLY3QR73.jpg)

そのほかのタスクでの評価
物体検出・意味的領域分割・インスタンス領域分割
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/Y76WDX617V.jpg)

そのほかのタスクでの評価
物体検出
● bounding boxを出力する必要があるためfine-tuningを行う
● 基本的にMask R-CNNをバックボーンとする
○ このモデルのエンコーダ部分を置き換える
● 標準的な物体検出モデルの学習同様にCOCOやVOCを用いたチューニングを行う
● 結果
○ 多くの自己教師あり学習手法のエンコーダが性能向上に寄与
○ 特にViTベースのbackboneで高い性能を示す
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/G75M3X6L74.jpg)

そのほかのタスクでの評価
意味的・インスタンス領域分割
● linear-probingかfine-tuningを実施する
● ピクセルごとに色の分類タスクを解けば良いのでlinear-probingでも対応可能
○ 性能はもちろん低いがエンコーダの特徴表現の精度判定には一定使える
● 物体検出同様にfine-tuningも行う
○ imagenetを用いた教師あり学習よりも良い性能を示していることがわかる
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/9J29ZXM3ER.jpg)

アジェンダ
■ 負例が不要な表現学習
■ 自己教師あり学習手法の性能評価
■ まとめ
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/DEY4R8X8JM.jpg)

まとめ
● 自己教師あり学習
○ 大規模なラベル付きデータセットがなくても学習することができる
○ 画像の特徴表現を学習する
○ 異なるデータ間の相互情報量を最大化することを目的とする
● 代表的な手法
○ SimCLR/MoCo
○ 負例が必要ないもの: BYOL/MAE/iBOT
● 自己教師あり学習の精度検証方法
○ タスク：画像分類・物体検出・意味的/インスタンス領域分割
○ 手法：linear-probing・fine-tuning・k-NN
19