---
title: 【深層学習による画像認識の基礎】8.4~8.6
tags: 
author: [京都大学人工知能研究会KaiRA](https://docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VJNYDQ1978.jpg?width=480
description: 【深層学習による画像認識の基礎】8.4~8.6 by 京都大学人工知能研究会KaiRA
published: July 09, 26
canonical: https://docswell.com/s/kyoto-kaira/Z3J97J-2026-07-09-212436
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VJNYDQ1978.jpg)

2026年 前期輪読会
深層学習による画像認識の基礎
8.4~8.6
大阪大学 情報科学研究科 M1
緒方 克哉
1
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YE9PGD53J3.jpg)

アジェンダ
■ 大規模言語モデルを利用したV&L
■ 自然言語を利用した画像認識
■ まとめ
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GE8DV3YLED.jpg)

アジェンダ
■ 大規模言語モデルを利用したV&L
■ 自然言語を利用した画像認識
■ まとめ
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LELM5V4Q7R.jpg)

大規模言語モデルとは
Next token prediction
言語生成のための自己回帰モデリング
• 与えられたコンテキストから残りの文章を予測する
• 連鎖率を用いて残りの文章予測を確率の系列に分解する
• 損失関数は、正解となる系列を出力する尤度が最大化させるため
に、負の対数尤度を最小化するようにパラメータを更新していく
• Transformerでは、Attention Layerを複数回通った後に、線形層と
Softmax関数を通って次のトークンの尤度が出力される
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JMY3GZKJW.jpg)

大規模言語モデルの特徴
Scaling Law / In-context Learning
• In-context Learning
• promptを与えるだけで様々な自然言語タスクを解ける（QA/Translate/Classification）
• QAの例を複数与えることで性能が向上する (Few-shot In-context Learning)
• step-by-stepという指示を与えて段階的に推論させることで性能が向上する
Scaling Law
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PJR9QZ6679.jpg)

BLIP-2
Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (ICML2023)
• Q-former
• STEP-1: 学習済みのLLMとVision Encoderのalignmentを学習する
（Image-Text Contrastive Learning, Image-Text Matching, Caption Generation）
• STEP-2: Q-formerとLLMのalighment
実際にQ-formerの出力をWを通してLLMに入力してNext Token Prediction LossでWを学習
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PEXQ59MDJX.jpg)

InstructBLIP
Towards General-purpose Vision-Language Models with Instruction Tuning
• Instruction Tuning: 与えられた指示に従ってタスクを解くようにする
• Q-former部分のみを言語モデルの損失を用いて学習
• 4BモデルでFlamingo (DeepMind 2022)の8Bを凌駕する性能を示した
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/3EK96PGDED.jpg)

LLaVA
Visual Instruction Tuning (NeurIPS2023)
● Vision Encoder -> TokenへのAdapterを学習する (Vision Encoder: CLIP, LLM: Victuna)
● STEP-1: learnable: adapter, freeze: vision encoder, LLM (Caption Generation)
● STEP-2: learnable: adapter, LLM, freeze: vision encoder (対話データ)
● おすすめ（https://speakerdeck.com/onely7/large-vision-language-model-lvlm-niguan-suruzui-xin-zhi-jian-matome-part-1）
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L73W6XNP75.jpg)

LaVIN
Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models (NeurIPS2023)
●
入力モダリティに応じてroutingを
行うadapterを用いることで
text-onlyの応対精度を保ちながら
image-textの応対に対する
alignmentも獲得する
(同時最適化を行なっていく)
●
modality-tokenを導入し、2つの
ネットワークを混ぜる
(switchingというよりblending)
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/87DKV2W3JG.jpg)

LoRA
Low Rank Adaptation
●
ファインチューニング時にW_0は更新せずにBAのみを更新する
●
LLaVAと同じ性能を保ちながら、訓練時間は7->2時間、ストレージ 26GB->20MB
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/VJPKV19PE8.jpg)

flamingo
a Visual Language Model for Few-Shot Learning
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2EVVZYMVEQ.jpg)

Qwen
Unified Token Interface
● cross attention(learnable query embedding + vision embedding)
● LLaVAと異なるのは、learnable query embeddingとのcross attentionを取ることで画像エンコーダ
からの出力の次元数を制限することができる
（Qwen2-VL: dynamic resolutino, Qwen3-VL: deepstack architecture）
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/57GL49G1EL.jpg)

Gemma4-12B
Encoder free
• Encoder free architecture
• 巨大なvision/audio encoderを廃止し、何層かで処理し
てそのままTransformer Layerに入れる
• 精度はまあまあだけど圧倒的な
メモリの節約と推論時間の短縮を達成
• 特別な訓練方法はしていないが、動画・画像・音声の生
の信号をそのまま処理することに成功
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4EQYGWXNJP.jpg)

アジェンダ
■ 大規模言語モデルを利用したV&L
■ 自然言語を利用した画像認識
■ まとめ
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/KJ4W5K6371.jpg)

自然言語を利用した画像認識
• 自然言語を用いることで以下のような恩恵を受けられる
- アノテーションコストの削減
最初から人の手でアノテーションを行わずともWeb上の画像+テキストのペアさえあれば訓練に使用
することができる
- ラベルの表現力
単純なワンホットベクトルよりも豊富な情報を含むのでこれを用いることでよりよい表現を得ることがで
きる
• 一番大きいのは自然言語を用いて画像認識機を制御できるようになる
• これにより、text-guided…においてCLIP等のVision Language Modelがbackboneに使われているモ
デルは多い (Latent Diffusiom Model etc..)
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LE1YWXVZ7G.jpg)

アジェンダ
■ 大規模言語モデルを利用したV&L
■ 自然言語を利用した画像認識
■ まとめ
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GEWG6NL6J2.jpg)

まとめ
• 深層学習の自然言語×画像認識 (Vision and Language)について紹介してきた
• 2つのモダリティをいかに整合させるかが重要である
• 近年のTransformerを用いたモデルでは、モデルアーキテクチャよりも学習データの大規模化や学習
方法の改善に焦点が当てられている
• 代表的なVision Language ModelであるSigLIP-2やLLaVAを紹介した
これらはinstruction tuningとadapterによりファインチューニングによって成立している
17