--- title: 【Paper&Hacks Vol.94】AIコード生成の裏側で動くRAG：リポジトリレベルコード生成 tags: author: [松尾研LLMコミュニティ](https://docswell.com/user/matsuo-lab_llm) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/L7LM1L1VJR.jpg?width=480 description: 本イベントは、原則毎週火曜日20:00から松尾・岩澤研究室 LLMコミュニティが主催するLLMに関する輪読会 & 実装のオンラインイベントです。 【アーカイブはこちら】 https://youtu.be/3PxYqN0ii2s?si=fLeFBgOoqEKHQYlE 【イベント概要】 対象: 普段から論文を読んでいる/普段からLLMの実装を行なっている方々 レベル: ★★★★☆　(Expert) 発表者: 中原龍一（岡山大学 運動器地域健康推進講座） タイトル: 『AIコード生成の裏側で動くRAG：リポジトリレベルコード生成』 発表カテゴリ: バランス型（理論と実践のちょうど中間くらい） イベント内容：最近、「RAGはもう終わり」「これからは長コンテキストLLMやエージェントだ」という空気もありますが、実際のコード生成システムの中では、RAGの考え方は形を変えて実装され続けています。 特に、リポジトリ全体を見ながらコードを書き換えるリポジトリレベルコード生成（RLCG）の世界では、RAG技術がリポジトリの構造や依存関係を整理し、AIにとって扱いやすい形で提供する基盤技術として利用されており、RAG技術の意味づけそのものを変えつつあります。 本発表では、最新のRLCGのレビュー論文の紹介を中心に、RAGの実装が「文章やコードを理解するAIの外側の技術」として発展している現状を報告します。 扱う論文：https://arxiv.org/pdf/2510.04905 Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approaches 【松尾研LLMコミュニティについて】 松尾研LLMコミュニティは、「大規模言語モデルについて知って学べるオンライン空間」として、東京大学松尾・岩澤研究室が運営するコミュニティです。現在、学生を中心とした16,000名以上が、原則無償で参加しています。 ※ 現在、松尾研LLMコミュニティへの新規参加申込み受付を停止しております。 ーーー 【松尾研大規模言語モデル講座開講のお知らせ】 昨年大好評だった松尾研大規模言語モデル講座を今年も完全オンラインにて開講いたします！ 今年は内容をグレードアップし、大規模言語モデル1,2,3の3段階構成でお送りすることになりました。 生成AIの基盤技術である大規模言語モデル（LLM）の原理からアーキテクチャーまで取り扱う実践的な講義となっております。座学のみならず演習を通して、手を動かしながら技術を深く理解し、幅広いトピックを網羅します。 詳細は以下のURLからご覧ください！ 大規模言語モデル1：https://x.gd/Dy8yg ※事前に受講申込が必須 ※参加対象者やその他条件がございますので、必ずHPをご確認下さい。 published: August 04, 26 canonical: https://docswell.com/s/matsuo-lab_llm/51QWP2-Paper&HacksVol.94 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/L7LM1L1VJR.jpg) # Page. 2 ![Page Image](https://bcdn.docswell.com/page/4EMYWMWNEW.jpg) 【Paper&Hacks #��】 AIコード生成の裏側で動くRAG：リポジトリレベルコード生 成 自己紹介： 中原龍一（岡山大学病院整形外科・運動器地域健康推進講座） 地方医師＋AI 研究（超音波画像 AI、電子カルテ AI） プログラム・数学が好き ⇒ 医数工連携 「100 時間で学んだことを 1 時間で伝えたい！」 動機： AI プログラムが改善した背景が知りたい 伝えたいこと： RLCG/RACG という概念が RAG の改善版として出現した # Page. 3 ![Page Image](https://bcdn.docswell.com/page/PER9YVY4J9.jpg) 初期のRAGが目指したこと RAG（Retrieval-Augmented Generation） ①Retrieval ニュースの スペインだよ！ ② Augmented Generation データベース プロンプト ＋情報 AI/LLM ワールドカップ決勝 で勝利したのは？ 関係あるのは 「ワールドカップ の勝敗の情報」 類似テキストのベクトル検索 Retriever # Page. 4 ![Page Image](https://bcdn.docswell.com/page/P7XQGZGZEX.jpg) 初期型RAGの問題点⇒グラフRAGの出現 ベクトル検索 平坦な文章の集まりなら類似度でわか るけど文章の関係構造が分からない グラフ検索 文章をグラフにして「グラフ 検索」したら構造で検索でき るのでは？ # Page. 5 ![Page Image](https://bcdn.docswell.com/page/37K9484V7D.jpg) グラフ化の問題 ルールが必要 ベクトル化は簡単 文章データベース グラフ化はルールが必要 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/LJ3WL2DQJ5.jpg) ルールが明快な文章群 ⇒ プログラム！ 文法解析 プログラム ファイル プログラムの グラフRAG # Page. 7 ![Page Image](https://bcdn.docswell.com/page/8JDKNZPWEG.jpg) AIプログラム支援の弱点プログラムコード 量が多くなると急に性能低下 プログラムファイル プログラムファイル AIの限界を超えると AI は機能追加に失敗する AIが理解可能 な文脈サイズ AIが理解可 能な文脈サ イズ # Page. 8 ![Page Image](https://bcdn.docswell.com/page/VEPK5DNX78.jpg) https://arxiv.org/pdf/2601.02902 AIは理解可能な情報構造に限界がある Logical Phase Transitions: Understanding Collapse in LLM Logical Reasoning • AIは限界を超えると急にアホになり、さらに増えると、内容理解もできなくなる Xinglang Zhang et al, arXiv, 2026 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/27VVP1K37Q.jpg) プログラムファイルをRAG文章に見立ててプ ロンプトに応じて必要部位を取り出すニーズ プログラムファイル プログラムファイル 必要部位だけ 取り出した い！ AIが理解可 能なサイズ AIが理解可 能なサイズ # Page. 10 ![Page Image](https://bcdn.docswell.com/page/5JGLP2QY7L.jpg) AIプログラム支援の発展プログラ ムファイルからリポジトリへ リポジトリ 作ったよ！ 作ったよ！ こんな機能を お願いしま す！ ディレクトリ構造 を含むプログラム 文章群 こんな機能を お願いしま す！ # Page. 11 ![Page Image](https://bcdn.docswell.com/page/47QY2PK6EP.jpg) リポジトリ全体をRAG文章に見立ててプロン プトに応じて必要部位を取り出すニーズ リポジトリ全体 リポジトリ全体 必要部位だけ取 り出したい！ Repository-Level Code Generation（RLCG） AIが理解可 能なサイズ AIが理解可 能なサイズ # Page. 12 ![Page Image](https://bcdn.docswell.com/page/KE4WLYPMJ1.jpg) https://arxiv.org/pdf/2510.04905 Repository-Level Code Generation（RLCG） ⇒ プロ グラムリポジトリを構造化する新型RAG分野 Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approaches ✓ = fully covered, ~ = partially covered, × = not covered. Yicheng Tao et al, arXiv, 2026 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/L71YL69YJG.jpg) RLCG（課題名）とRACG（解決策）の違い • RLCG（Repository-Level Code Generation：レポジトリレベルコード 生成） • リポジトリレベルのプログラムをどう解決するかというタスク名。 • 複数ファイルを横断する開発、バグ検出、イシューに対する対応など • RACG（Retrieval-Augmented Code Generation：検索拡張コード生 成） • 検索（Retrieval）を通じて、AIの外側でRLCGの課題を解決補助する技 術 タスクの名前 RLCG 解決策の名前 RACG： AIの外で解決を補助 AIにリポジトリごと全部入れる # Page. 14 ![Page Image](https://bcdn.docswell.com/page/G7WGVWQ1E2.jpg) https://arxiv.org/pdf/2510.04905 図３： RACG論文の分布 Figure 3: Distribution of selected RACG papers across publication venues. 主要会議＋ arXivから条件 を満たしたもの 152本 arXivが37%で最多 学会は言語系が 多いがあちこち に散らばってい る Yicheng Tao et al, arXiv, 2026 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/4JZL45WXE3.jpg) https://arxiv.org/pdf/2510.04905 図４ RACGに貢献している大学と企業 北京大学 浙江大学 中国科学院大 学（北京） カーネギーメ ロン（米国） 復旦大学（上海） マイクロソフト バイトダンス アマゾン アリババ イリノイ大学アーバ ナ・シャンペーン校 セールスフォー スアントグルー プ 中国と米国が強い。大学も企業も。 Yicheng Tao et al, arXiv, 2026 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/YE6W39GPEV.jpg) ここまでのまとめ RLCG（Repository-Level Code Generation) リポジトリ RACG（Retrieval-Augmented Code Generation) リポジトリ全体 AIが理解可能な文脈量 ロングコンテキスト AI による力業 •リポジトリレベルのコード生成を 意味するタスク名。 •コード生成 やバグ検出を含む AIが理解可能な文脈量 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/GE5MLNVPE4.jpg) https://arxiv.org/pdf/2510.04905 RLCG論文で提示され３つの課題 • 1. 長距離依存関係のモデリング (Long-range dependency modeling) • 複数のファイルに及ぶ関数名などの依存関係をどうやってモデル化？ ⇒ グラフ or ベクトル or 他？ • 2. 効率性と正確性のトレードオフ (Efficiency‒ correctness trade-off) • バグ修正などは正確さが必要だけど、遅いと使い物にならない • 低遅延と正確さをどうやって成立させるか？ • クラウドの計算能力を使えばいい？ ⇒ Cursorの解決策 • �. 実用上の制約 (Practical constraints) • しかしクラウドにプログラムを上げることは企業開発では困難 · 企業 環境などでも適応可能な仕組みが欲しい Yicheng Tao et al, arXiv, 2026 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/9729L53ZJR.jpg) 図６ RACGの技術系統 非グラフ的手法 グラフ的手法 新潮流（コマ ンド駆動·静 的解析 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/DJY4QK1N7M.jpg) https://arxiv.org/pdf/2510.04905 非グラフ手法の進化 • 第1世代（語彙ベース）: • BM��やJaccard係数などを使う。 • キーワードや識別子の完全一致が必要 • 第2世代（意味ベース）: • GraphCodeBERTやUniXcoderなどのモデルが登場 • コードをベクトル（埋め込み）としてインデックス化 • キーワードが一致しなくても意味的な類似性で検索可能に • 第3世代（構造の模倣）: • RAG的テキスト解析だけでは複雑な依存関係を捉えれない • AST（抽象構文木）に基づいてテキストをチャンク分割 • 関数レベルとブロックレベルで階層的にインデックスを整理 • テキストデータの中に「構造的なシグナル」を埋め込む工夫 ベクトル ⇒ 階層的なシグナル（グラフ的要素） Yicheng Tao et al, arXiv, 2026 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/V7NYKR2VE8.jpg) https://arxiv.org/pdf/2510.04905 グラフベースの手法の進化 • 基礎的なグラフ: • リポジトリを文法解析してグラフ表現 • 「ディレクトリ」「モジュール（ファイル）」「クラス」「関数」とい ったノード（V）と、「包含（Contain）」「呼び出し（Invoke）」 「継承（Inherit）」といったエッジ（E）で繋いだ、比較的シンプルな 階層型インデックス。 • 詳細な依存関係グラフ: • データフローや条件分岐などの制御フローまでもエッジとしてインデッ クス化し、コードの実行セマンティクスを忠実に再現する方向へ進化 • 複数レベル·知識グラフへの拡張: • コードに加えて、GitHubのIssueやPull Request、履歴などの外部メタ データを統合した「ナレッジグラフ（知識グラフ）」へと拡張 • 粗いモジュールレベルのグラフと細かい関数レベルのグラフを組み合わ せるなど、複数のインデックス型を統合 グラフ ⇒ 文法解析 ⇒ 制御情報 ⇒ プルリクエストなどの外部情報 統合 ⇒ リポジトリの関係情報をすべて表現する仕組みに Yicheng Tao et al, arXiv, 2026 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/YJ9PVM1V73.jpg) AIの進化： RACG的手法の実装 リポジトリを自分で読んで 必要な部位を抜き出そう！ 必要な部位が分かりました。 作ります。作ります。 リポジトリ > grep ** こんな機能を お願いします！ AI自らがコマンド操作でリポジトリから必要部位を抜き出せるようになった。 ⇒ AIがRACG的な検索手法を得た。 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/GJ8DPL44JD.jpg) ここまでのまとめ タスク名 解決策 RACG（Retrieval-Augmented Code Generation) リポジトリ全体 RLCG（Repository-Level Code Generation) リポジトリ AIの外でリポジト リを理解しよう！ ロングコンテキスト化 AI による力業 AIの能力アッ プで解決！ AI 自身が RACG 能力を得る (Agent 型 ) リポジトリ全体 New! 自分で必要部 位を抜き出そ う # Page. 23 ![Page Image](https://bcdn.docswell.com/page/LJLM1L6VER.jpg) RACGのAgent型進化 Figure 7: Three-tier classification of agent-based architectures in RACG (left) RACGにもAgent型が生まれた レベル１： 検索システムを何度も繰り返して判断する レベル２： 検索システムだけでなく計画·記憶などの様々な機能を持つ 実際は7割はLevel �なので リポジトリに構造を追加するだけで改善する余地はまだまだあいている # Page. 24 ![Page Image](https://bcdn.docswell.com/page/47MYWM5N7W.jpg) AIの進化： 要約システムの実装 再開しやすいように要約ファイ ルを部分ごとに作っておこう リポジトリ mdファイル こんな機能 をお願いし ます なるほど。必要な部位 が分かったぞ リポジトリ mdファイル 続きを！ AIが要約ファイル(mdファイル)を部分ごとに記録するようになっ た結果、 RACGがなくても必要な部位をAI自身が理解できるように なってきた # Page. 25 ![Page Image](https://bcdn.docswell.com/page/P7R9YV34E9.jpg) RACGの進化 mdファイルを含めた構造 化をグラフやベクトルで行 おう！ RACG グラフ·ベクトルにこだわらな くても JSONなどの文章でもい いのでは？ リポジトリ リポジトリ mdファイル mdファイル 構造化文章 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/PJXQGZ4Z7X.jpg) RACG： リポジトリ構造の表現技術の進化 高次元ベクトル 確率論的 ベクトル 数値 グラフ ベクトル＋グラフ Unified Vector-Graph 決定論的 時代の進化 構造化文章 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/3JK948ZVJD.jpg) ベクトル·グラフ or mdファイル ⇒ それぞれに価値がある 3つの課題を軽減する力はある が、結局はAIに問題が移動 グラフ ベクトル mdファイル リポジトリ mdファイル 大規模リポジトリでも可能 計算コスト重い 頻繁な更新が困 難 中立的 AI能力依存で扱えるリポ ジトリサイズに上限あり 計算コスト≒AIコ スト頻繁な更新が 可能 AIの主観的：確率的主観 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/LE3WL2XQE5.jpg) ここまでのまとめ AI の進化 ロングコンテキスト化 AI による力業 AIの能力アップで解決！ AI 自身がコマンドを介した RACG 能力を得る 自分で必要部位 を抜き出そう AI 自身が md ファイル作成を用いた RACG 能力を得る リポジトリ mdファイル mdファイルを通 じた必要部位把握 RACG（Retrieval-Augmented Code Generation) AI の外でのリポジトリ理解 初期RACG:AIの外でリポジトリを理解しよ う！ リポジトリに検索能力を与える Agent型 RACG リポジトリをAgenticに検索 mdファイルも理解できる RACG リポジトリ mdファイル mdファイルを含めたリポジトリ理解 # Page. 29 ![Page Image](https://bcdn.docswell.com/page/8EDKNZ2W7G.jpg) 結語： 我々がRAGに求めていた「文章群理解」なのでは？ RACG（Retrieval-Augmented Code Generation) 文章群が理解できる 文章データベース 文章群に検索能力を与える Agent型に文章が理解できる 文章群をAgenticに検索 mdファイル（文章群の意図）も理解できる リポジトリ mdファイル mdファイルを含めた文章群理解 文章群はプログラムと違って文法が不明などの弱点はあるが、知っておく価値はあ る # Page. 30 ![Page Image](https://bcdn.docswell.com/page/V7PK5D1XJ8.jpg) ご清聴ありがとうございました • 高橋康様をはじめとした NEC の皆様 • 慶應大学工学部の吉岡先生 • 岡山大学工学部の竹内先生 • エルピクセル株式会社の皆様 • 帝人ナカシマメディカルの皆さま • 藤田医科大学の笠井聡先生 • サムスン電子ジャパンの井上健様 • 片岡先生をはじめとした産総研の皆様 • 医療 AI 勉強会（通称うなぎAI）の栗田先生・津山先生 • AI 勉強会の AICIA 先生 • 岡山大学人体構成学の皆様（百田先生、小坂先生、川口先生） • 岡山大学形成外科の品岡先生 • 岡山大学 AI プロジェクト定例ミーティングの先生方 • 品川先生をはじめとした SBint の皆さま • 旭化成の鎌倉様・加藤様・岩崎様 • エイブリックの小林様・玉村様・皆様 医療 画像・言語 AI・数学 医療と AI の架け橋になるために 尾崎敏文先生 西田圭一郎先生 中田英二先生 那須義久先生 原田遼三先生 長谷井嬢先生 堀田昌宏先生 松山宜之先生 いつもありがとうございます # Page. 31 ![Page Image](https://bcdn.docswell.com/page/2JVVP1Y3JQ.jpg) 引用 • Xinglang Zhang et al, arXiv, ���� • Logical Phase Transitions: Understanding Collapse in LLM Logical Reasoning • https://arxiv.org/pdf/����.����� • Yicheng Tao et al, arXiv, ���� • Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approaches • arXiv:����.�����（v�, ����年5月） 初出は����年だがv�は2026年5月 • https://arxiv.org/pdf/����.�����