【深層学習による画像認識の基礎】8.4~8.6

2026年 前期輪読会 深層学習による画像認識の基礎 8.4~8.6 大阪大学 情報科学研究科 M1 緒方 克哉 1 1

アジェンダ ■ 大規模言語モデルを利用したV&L ■ 自然言語を利用した画像認識 ■ まとめ 2

アジェンダ ■ 大規模言語モデルを利用したV&L ■ 自然言語を利用した画像認識 ■ まとめ 3

大規模言語モデルとは Next token prediction 言語生成のための自己回帰モデリング • 与えられたコンテキストから残りの文章を予測する • 連鎖率を用いて残りの文章予測を確率の系列に分解する • 損失関数は、正解となる系列を出力する尤度が最大化させるため に、負の対数尤度を最小化するようにパラメータを更新していく • Transformerでは、Attention Layerを複数回通った後に、線形層と Softmax関数を通って次のトークンの尤度が出力される 4

大規模言語モデルの特徴 Scaling Law / In-context Learning • In-context Learning • promptを与えるだけで様々な自然言語タスクを解ける（QA/Translate/Classification） • QAの例を複数与えることで性能が向上する (Few-shot In-context Learning) • step-by-stepという指示を与えて段階的に推論させることで性能が向上する Scaling Law 5

BLIP-2 Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (ICML2023) • Q-former • STEP-1: 学習済みのLLMとVision Encoderのalignmentを学習する （Image-Text Contrastive Learning, Image-Text Matching, Caption Generation） • STEP-2: Q-formerとLLMのalighment 実際にQ-formerの出力をWを通してLLMに入力してNext Token Prediction LossでWを学習 6

InstructBLIP Towards General-purpose Vision-Language Models with Instruction Tuning • Instruction Tuning: 与えられた指示に従ってタスクを解くようにする • Q-former部分のみを言語モデルの損失を用いて学習 • 4BモデルでFlamingo (DeepMind 2022)の8Bを凌駕する性能を示した 7

LLaVA Visual Instruction Tuning (NeurIPS2023) ● Vision Encoder -> TokenへのAdapterを学習する (Vision Encoder: CLIP, LLM: Victuna) ● STEP-1: learnable: adapter, freeze: vision encoder, LLM (Caption Generation) ● STEP-2: learnable: adapter, LLM, freeze: vision encoder (対話データ) ● おすすめ（https://speakerdeck.com/onely7/large-vision-language-model-lvlm-niguan-suruzui-xin-zhi-jian-matome-part-1） 8

• https://speakerdeck.com/onely7/large-vision-language-model-lvlm-niguan-suruzui-xin-zhi-jian-matome-part-1

LaVIN Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models (NeurIPS2023) ● 入力モダリティに応じてroutingを 行うadapterを用いることで text-onlyの応対精度を保ちながら image-textの応対に対する alignmentも獲得する (同時最適化を行なっていく) ● modality-tokenを導入し、2つの ネットワークを混ぜる (switchingというよりblending) 9

LoRA Low Rank Adaptation ● ファインチューニング時にW_0は更新せずにBAのみを更新する ● LLaVAと同じ性能を保ちながら、訓練時間は7->2時間、ストレージ 26GB->20MB 10

flamingo a Visual Language Model for Few-Shot Learning 11

Qwen Unified Token Interface ● cross attention(learnable query embedding + vision embedding) ● LLaVAと異なるのは、learnable query embeddingとのcross attentionを取ることで画像エンコーダ からの出力の次元数を制限することができる （Qwen2-VL: dynamic resolutino, Qwen3-VL: deepstack architecture） 12

Gemma4-12B Encoder free • Encoder free architecture • 巨大なvision/audio encoderを廃止し、何層かで処理し てそのままTransformer Layerに入れる • 精度はまあまあだけど圧倒的な メモリの節約と推論時間の短縮を達成 • 特別な訓練方法はしていないが、動画・画像・音声の生 の信号をそのまま処理することに成功 13

アジェンダ ■ 大規模言語モデルを利用したV&L ■ 自然言語を利用した画像認識 ■ まとめ 14

自然言語を利用した画像認識 • 自然言語を用いることで以下のような恩恵を受けられる - アノテーションコストの削減 最初から人の手でアノテーションを行わずともWeb上の画像+テキストのペアさえあれば訓練に使用 することができる - ラベルの表現力 単純なワンホットベクトルよりも豊富な情報を含むのでこれを用いることでよりよい表現を得ることがで きる • 一番大きいのは自然言語を用いて画像認識機を制御できるようになる • これにより、text-guided…においてCLIP等のVision Language Modelがbackboneに使われているモ デルは多い (Latent Diffusiom Model etc..) 15

アジェンダ ■ 大規模言語モデルを利用したV&L ■ 自然言語を利用した画像認識 ■ まとめ 16

まとめ • 深層学習の自然言語×画像認識 (Vision and Language)について紹介してきた • 2つのモダリティをいかに整合させるかが重要である • 近年のTransformerを用いたモデルでは、モデルアーキテクチャよりも学習データの大規模化や学習 方法の改善に焦点が当てられている • 代表的なVision Language ModelであるSigLIP-2やLLaVAを紹介した これらはinstruction tuningとadapterによりファインチューニングによって成立している 17