【Paper&Hacks vol.102】VLM RAG ~目を持つRAG~

（９回シリーズ） RAGの仕組みを理解して改善し続けよう 〜 LangChain Family × GradioによるRAGシステム開発 〜 第７回：VLM RAG 〜 目を持つ RAG 〜 2026/10/20 異業種データサイエンス研究会® 代表 井伊 篤彦

井伊篤彦 Who am I? 1963年（昭和38年）生まれ。京都大学工学部修士課程（合成化学専攻）修了。大学 院で量子化学を副専攻。 前職は一部上場大手日用品製造メーカー研究所。社内で各種製品開発を行うかた わらコンピューターケミストリーを手掛け、化学分子3D表示ソフト等をC言語を用い て開発。 その後、海外駐在やグローバルな商品開発マネージャーを経て、2017年からAI及 びxR (VR, AR, MR) を用いた新規プロジェクトをゼロから立ち上げ率いた。AIプロ ジェクトでは、自ら機械学習モデルを開発した。 2019年に FBコミュニティ「異業種データサイエンス研究会 ®」を立ち上げる。現在 16個のFBコミュニティ を運営している。 プログラミングスクールで AIプログラミングの指導 をする傍ら、 年間数十回のデータサイエンス・AI関連のセミナーを実施 している。

9 回+1 シリーズ： RAG の基礎から実践まで 第一部 基礎編：RAGの仕組みを理解して改善し続けよう 1回目 作る 2回目 測る 動いて中身も見える RAGアプリ Ragas × LangSmith ・Retriever / Prompt / LLM ・Faithfulness / Relevance ・悪い例を追跡 ・ログ（run_id）保存 ・Gradioで体験 ・検索と生成を分解 4回目 選択 5回目 自律化 タスクに応じた generator 選択 / API 利 用 LangGraph / Agentic RAG 3回目 改善する chunk & prompt 戦略 / Advanced RAG ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 ・Embedding選択 ・API利用 ・モデルサイズ選択 ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 GPU 効率利用 LLM 量子化 6回目 評価と基盤固め 7回目 目をもつ 評価法／検索システム ／データ前処理 VLM RAG 8回目 関係を知る 9回目 運用 Graph RAG （11/17予定） MLOpsを組み込んだ実 用的なRAGｼｽﾃﾑ （12/15予定）

9 回+1 シリーズ： RAG の基礎から実践まで 第一部 基礎編：RAGの仕組みを理解して改善し続けよう 1回目 作る 2回目 測る 動いて中身も見える RAGアプリ Ragas × LangSmith ・ログ（run_id）保存 ・Gradioで体験 Relevance ・悪い例を追跡 ・検索と生成を分解 導 入 ・Retriever / Prompt / LLM ・Faithfulness / 4回目 選択 5回目 自律化 タスクに応じた generator 選択 / API 利 用 LangGraph / Agentic RAG 技術紹 3回目 改善する chunk & prompt 戦略 / Advanced RAG ・chunk_size / overlap ソリューション ・Embedding選択 ・当たりチャンク探索 ・改善の再現性 ・API利用 ・モデルサイズ選択 ・検索 / 推論 介/ 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 GPU 効率利用 LLM 量子化 6回目 評価と基盤固め 7回目 目をもつ 評価法／検索システム ／データ前処理 VLM RAG ソリューション 8回目 関係を知る 9回目 運用 Graph RAG （11/17予定） MLOpsを組み込んだ実 用的なRAGｼｽﾃﾑ 技術紹介 実運用 （12/15予定）

9 回+1 シリーズ： RAG の基礎から実践まで 第一部 基礎編：RAGの仕組みを理解して改善し続けよう 1回目 作る 2回目 測る 動いて中身も見える RAGアプリ Ragas × LangSmith ・Retriever / Prompt / LLM ・Faithfulness / Relevance ・悪い例を追跡 ・ログ（run_id）保存 ・Gradioで体験 ・検索と生成を分解 4回目 選択 5回目 自律化 タスクに応じた generator 選択 / API 利 用 LangGraph / Agentic RAG 3回目 改善する chunk & prompt 戦略 / Advanced RAG ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 ・Embedding選択 ・API利用 ・モデルサイズ選択 ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 GPU 効率利用 LLM 量子化 6回目 評価と基盤固め 7回目 目をもつ 評価法／検索システム ／データ前処理 VLM RAG 8回目 関係を知る 9回目 運用 Graph RAG （11/17予定） MLOpsを組み込んだ実 用的なRAGｼｽﾃﾑ （12/15予定）

配布資料用（コードおよび入力データ） https://drive.google.com/drive/folders/1WrR7kr-LyOrhN7BXjgE2ZqLqlKgdXUae?usp=drive_link ※ 本ハンズオンは、事前準備を完了していることを前提に進行します。 コード実行用のキー取得、Google Colab の基本操作、Google Drive のマウント確認は、必ず事前に済ませてください。 ① Google Colab から Google ドライブのマウントの方法については、添付のドキュメントを読み、事前確認お願いします。 https://docs.google.com/document/d/1wJEIOvWlEMdj-DwmvTPgVkWYUSvWsWNc/edit?usp=drive_link&ouid=106881452668 834877355&rtpof=true&sd=true ②ハンズオン用コードを全て動かすには、HuggingFace と OpenAI API（有料版）のシークレットトークン（キー） が必要です。ローカ ルVLM（Bonsai-2）版だけを動かすには、HuggingFace のシークレットトークン（キー） だけあれば実行できます。 HuggingFace シークレットトークン取得参考記事： https://qiita.com/so9_Monodzukuri_AI/items/388e9b546ecb2ecfc420 OpenAI API キー取得参考記事： https://www.tis2010.jp/openai_apikey/ ③ Google Colab のシークレット機能の使い方記事： https://note.com/npaka/n/n79bb63e17685

• https://drive.google.com/drive/folders/1WrR7kr-LyOrhN7BXjgE2ZqLqlKgdXUae?usp=drive_link
• https://docs.google.com/document/d/1wJEIOvWlEMdj-DwmvTPgVkWYUSvWsWNc/edit?usp=drive_link&ouid=106881452668834877355&rtpof=true&sd=true
• https://qiita.com/so9_Monodzukuri_AI/items/388e9b546ecb2ecfc420
• https://www.tis2010.jp/openai_apikey/
• https://note.com/npaka/n/n79bb63e17685

ハンズオンに必要な準備情報は、募集サイトに事前告知してお ります。セミナー当日に準備できていない方は、後日アーカイブ 動画を観てコードを実行してみてください。

第7回 RAGハンズオン 絵画データベース VLM RAG を動かそう HF キーのみお持ちの方 （無料バージョン） ハンズオン用アプリ 01_VLM_RAG_Bonsai2版.ipynb 02_VLM_RAG_モデル統合版 .ipynb HF キーとOpenAI API キーを お持ちの方 （有償バージョン）

RAGの基本フロー Embedding ベクトルDB 生データ 検索 Embedding Retriever コンテキスト 回答 質問 システム プロンプト

今回のVLM RAGは何をするのか 回答 ・入力画像から、DB内の 同一作品・類似作品を探す ・検索結果から作品情報・画家 情報・画風などのメタデータ取 得する 入力は「画像＋質問」 今回のVLM RAGは、画像検索 と画像＋質問の理解 を組み合わせたRAGである。

VLM RAGでは、 Retriever 側と Generator 側の 両方に「目」 が必要。

独自設計 絵画データベース 画像 作品 画家 images.csv artworks.csv artist_id.csv artwork_id COLOR 作品の正本情報 画家の基本情報 GRAY artist_id 作品名 制作年 作品情報 同じ作品に 複数画像を持てる image_id artist_id artwork_id artwork_id 画風 artist_profiles.csv artist_style_profiles.c sv 人物・経歴 特徴・作風 artist_id 検索用の派生データ Embedding プロフィール 正本情報とは分離して管理 IDで「画像 → 作品 → 画家」を 意味的につなぐ 画像ファイルの集合ではなく、意味的に結び付いた DBとして設計する。 1

独自設計 絵画データベース 画像 images.csv COLOR GRAY 同じ作品に 複数画像を持てる image_id artwork_id 画像DBにカラー画像と白黒画像を 登録したことで、色味の違う画僧 や、 白黒画像に対応 させた。

SigLIP2

「探す目」 SigLIP2 今回使用 google/siglip2-base-patch16-384 384px入力 / 768次元Embedding SigLIP2とは：Googleのマルチモーダル Embeddingモデル 画像とテキストを、比較可能な共通Embedding空間へ変換する 画像 COLOR / GRAY テキスト 日本語 / 英語 → SigLIP2 → 共通Embedding空間 画像とテキストを同じ物差し で比較 Image → Image検索 類似画像を探す → Text → Image検索 言葉から画像を探す → 検索結果 → 作品ID / artist_id → 作品・画家情報へ接続 SigLIP2は画像を説明するモデルではなく、画像を「探す目」 を担当する。

SigLIP2は本当に使えるのか Image → Image 加工画像を 元作品へ回収 Top-1 50 / 50 Text → Image 日本語・英語 96 query PASS Top-1一致 37 / 48 明るさ・コントラスト・GRAY・JPEGでも回収 日本語と英語は大枠では近い検索結果 blur / sharpen / sepia / resolution変更でも成立 ただし完全同一ではない GRAY query 8件は、8/8でGRAY画像が代表 特に「構図・視点」で言語差が大きい 同一作品の加工画像を戻す検索は安定 日本語が使えないのではなく、言語差を把握して使う 総合判断：継続採用 実測結果から、SigLIP2をVLM RAGの「探す目」 として継続採用。

Bonsai-2 OpenAI API

「理解する目」 VLM 画像 → VLM 画像を直接入力 → 視覚情報を読む 見えるものは VLMに任せる ・人物 / 服装 / 姿勢 ・背景 / 場面 / 光 ・構図 / 配置 / 雰囲気 ・画像中の細部 確定情報は DBから与える ・作品名 / 作者名 ・制作年 / 所蔵先 ・画家プロフィール ・画風 / 美術史的背景 視覚理解 正本メタデータ 視覚理解と正本情報を分担 VLMには「見えるもの」 を見てもらい、確定情報は DBから与える。

今回使うローカル VLM「Bonsai-2」 Ternary Bonsai-2 27B 発表：2026年9月17日 Vision benchmark 同一評価系の Vision category score Qwen3.8-27B ベース 約5.9GB PTQ1_0 text + image Vision対応 T4 16GBで 実行可能 OpenAI互換APIでGradioへ接続 language model + mmproj Qwen3.6-27B 79.82 Qwen3.8-27B 81.64 Bonsai-2 27B 78.59 Qwen3.8の 約96.3% Vision性能は若干低下するが、 27B級VLMをローカルで使える配置効率が高い Bonsai-2は、Qwen3.8を約5.9GBまで三値化し、Qwen3.6級に近い Vision性能をT4で実行可能 なモデル。

8月の「LLM量子化セミナー」の Bonsai から Bonsai-2 へ 8月 LLMをローカルで動かす → 今回 画像を見る VLMをローカルで動かす 単に小さくする話ではない 低ビット化 + 専用runtime + 実用品質確認 Bonsai 27B Bonsai-2 27B ・1bit / 三値量子化 ・低ビット重みを低ビットのまま処理 ・専用形式・ローダー・ kernelまで含む ・目的： LLMを手元 GPUで使う VLM単体 → ・Qwen3.8ベースのTernary VLM ・画像 + text prompt を処理 ・mmprojでVision入力 ・目的：画像理解をローカル RAGへ入れる VLM + Retrieval → Grounded VLM RAG 8月はLLMをローカルで動かす。今回は画像を見る VLMをローカルで動かす。

VLMだけでは不十分 → 検索結果に応じて答え方を変える VLM単体で 出来ること / 限界 検索結果に応じて 答え方を変える だから ・画像の内容はかなり読める ・一方、作品名・作者名などを 誤ることがある ・「それらしい説明」と 「正しい作品情報」は別 ・RAGで正本メタデータを与える 視覚理解は得意 一致度が高い 作品・作者・制作情報は DBメタデータから回答 類似作品の み 類似作品・画家プロフィール・ 画風を参考情報として使う 根拠が不足 断定せず「分からない」 とする 検索の確かさに応じて断定度を変える VLMの知識を信用しすぎず、見える情報と検索した根拠・メタデータを組み合わせ て答える。

VLM RAGでは、 Retriever 側と Generator 側の 両方に「目」 が必要。

今回の 簡易 VLM RAG のフロー 今回の実装では、 ベクトルDB 画像のみを Embeddingし 検索 メタ情報 ヒットしたメタ情報を コンテキストとして渡す コンテキスト Retriever

今回の 簡易 VLM RAG の処理フロー 探す目：検索とメタデータ取得 入力 画像 SigLIP2 画像 Embedding 類似画像を 検索 ベクトルDB 正本メタデータ取得 artworks / profiles / style 作品ID 作者ID ※今回は閾値 0.9 に設定 ※DBに絵画情報がない という情報も渡す 質問 この絵画について、作品 名、作者、描かれている内 容を含めて分かりやすく説 明してください。分からな い情報は断定しないでくだ さい。 DB情報 ＋ 画像 ＋ 質問 VLMが 最終回答 理解する目：画像を読解 画像検索 で根拠を集め、画像・質問 とともにVLMへ渡して回答する

今回の 簡易 VLM RAG のフロー 画像 Embedding の ベクトルDB 作品ID 検索 メタ情報 作者ID cosine 類似度で ヒットした画像を ID でメタ情報と接続 メタ情報から コンテキスト取得 Retriever

DB登録絵画 No RAG Bonsai-2 単独（No RAG）ではハルシネーション が起こる。

DB登録絵画 RAG 今回の VLM RAG はDB登録絵画 では正しい情報 を回答。

DB登録外絵画 No RAG Bonsai-2 単独（No RAG）ではハルシネーション が起こる。

DB登録外絵画 RAG 今回の VLM RAG はDB登録外の絵画 では、ハルシネーション防止 を行っている。

プロンプト 画像一致か 否かで分岐

プロンプト 画像が一致した場合 - VERIFIED情報はDBで確認済みの正本情報として使用してください。 - 作者名、作品名、制作年、所蔵先など、DBに存在する固有情報を画像から独自推測して変更しな いでください。 - 描かれている対象、色彩、構図、人物、雰囲気などは入力画像を直接観察して回答 してください。 - DB情報を機械的に列挙せず、ユーザーの質問に必要な情報だけを使って自然に回答してくださ い。

プロンプト 画像が一致しなかった場合 - この入力画像はDB登録作品そのものとは一致していません。その事実を回答で明示 してください。 - RETRIEVED_REFERENCEは検索結果に基づく参考情報 であり、入力画像そのものについて確認済みの事 実ではありません。 - 参考作者候補を入力画像の作者だと決めつけない でください。実作者が候補群に含まれない可能性がありま す。 - 入力画像を直接観察した内容を回答 の中心にしてください。 - 作者を推定する場合は、画像の視覚的特徴と参考作者候補の画風情報を照合し、「〜の可能性があります」 「〜に近い特徴があります」など、推定であることが分かる表現 を使用してください。 - 根拠が弱い場合は作者を特定せず、「この情報だけでは作者を確定できません」 と答えてください。 - 作品名、制作年、所蔵先などを断定しないでください 。 - 類似作品の情報を入力画像そのものの事実として言い換えないでください。

No RAGとRAGで何が変わるか No RAG 画像＋質問をVLMへ 直接入力 視覚情報＋モデル自身の 知識・推測 作品名・作者などを 誤って断定 する場合がある RAG 処理 根拠 回答 画像検索でDB情報を取得 画像＋質問とともにVLMへ 視覚情報＋検索結果＋ 作品・画家の正本情報 DB登録：正本情報で回答 DB登録外： 根拠なければ断定しない 検索結果の確かさに応じて、作品情報を「断定する／しない」を判断する VLMは共通。RAGは根拠を与え 、回答の断定度を変える 。

第7回 RAGハンズオン 絵画データベース VLM RAG を動かそう ハンズオン用アプリ 01_VLM_RAG_Bonsai2版.ipynb 02_VLM_RAG_モデル統合版 .ipynb

登録絵画 共通プロンプト 登録外絵画 VLM、RAG / No RAGの選択

まとめ：目を持つ RAGとは何か 探す目 理解する目 マルチモーダル Embedding VLM Generator SigLIP2 Bonsai-2 / OpenAI API 画像から作品を探す 画像を読み、質問に答える 2つの目を支える「 意味を保った絵画 DB」 画像 → 作品 → 画家 ／ 作品・画家の正本情報 検索根拠に応じて、作品情報を「断定する／しない」を判断 探す目で根拠を見つけ、理解する目 で画像を読み、DBの正本情報と組み合わせ て答える。

9 回+1 シリーズ： RAG の基礎から実践まで 第一部 基礎編：RAGの仕組みを理解して改善し続けよう 1回目 作る 2回目 測る 動いて中身も見える RAGアプリ Ragas × LangSmith ・Retriever / Prompt / LLM ・Faithfulness / Relevance ・悪い例を追跡 ・ログ（run_id）保存 ・Gradioで体験 ・検索と生成を分解 4回目 選択 5回目 自律化 タスクに応じた generator 選択 / API 利 用 LangGraph / Agentic RAG 3回目 改善する chunk & prompt 戦略 / Advanced RAG ・chunk_size / overlap ・当たりチャンク探索 ・改善の再現性 ・Embedding選択 ・API利用 ・モデルサイズ選択 ・検索 / 推論 / 生成 ・ループで精度改善 ・運用に近い形へ 第二部 実践編：現場で扱うための拡張と運用 GPU 効率利用 LLM 量子化 6回目 評価と基盤固め 7回目 目をもつ 評価法／検索システム ／データ前処理 VLM RAG 8回目 関係を知る 9回目 運用 Graph RAG （11/17予定） MLOpsを組み込んだ実 用的なRAGｼｽﾃﾑ （12/15予定）

2027年企画予告：自作小型 GPTスクラッチ開発ハンズオン（仮） 1/19（火）20:00 - 21:30 予定（仮題：小型GPTを作ってみよう ― 開発の全体像とアプリ事例） 2/23（火）20:00 - 21:30 予定（仮題：GPTをゼロから作る ― モデル設計とスクラッチ事前学習） 3/23（火）20:00 - 21:30 予定（仮題：GPTを育てる ― 継続事前学習とモデルの能力拡張） 4/20（火）20:00 - 21:30 予定（仮題：GPTと会話する ― SFTとチャットボット開発） 5/25（火）20:00 - 21:30 予定（仮題：GPTを賢く使う ― GRPOとRAGアプリ開発） モデルサイズ： 69 MB

異業種データサイエンス研究会 ® では、 AI、データサイエンス、 Pythonレッスン等の 無料セミナーを行っています。 ご興味があるかたは、一度告知サイトを覗 いてみてください。 https://datascienceteam.connpass.com/

• https://datascienceteam.connpass.com/

APPENDIX

今回の実装から、大規模絵画 DB拡張の可能性 今回の実装 大規模化しても維持 10作品 × COLOR / GRAY 画像Embedding 20画像・768次元Embedding SigLIP2 拡張時に Retrieverを選択 Faiss 画像ベクトル検索の高 速化 Chroma Embedding＋metadat aを一体管理 作品単位へ統合 SigLIP2 max(COLOR, GRAY) ↓ IDで意味的に接続 NumPy 配列全件 cosine 類似度比較 小規模では簡潔・透明 image_id → artwork_id → artist_id 根拠付き回答 正本metadata → VLM OpenSearch キーワード＋ Vector＋ 条件検索 件数だけでなく、検索要件で選ぶ 「画像 → 作品 → 画家」の構造を保持 し、Retrieverを段階的に置き換える

オリジナルアスペクト比 非常に高い cosine 類似度で正しく検索

切り抜き 切り抜き画像 でも閾値 (0.9) 以上の cosine 類似度で正しく検索

オリジナル

回転

左右反転

上下反転 上下反転では cosine 類似度が低い